Meta evaluación del Fondo Nacional para el Fomento de las …inapam.gob.mx/work/models/SEDESOL/EvaluacionProgramas... · 2014-09-22 · Meta evaluación del Fondo Nacional para el

Meta evaluación del Fondo Nacional para el Fomento

de las Artesanías (FONART)

Octubre, 2012

Equipo Evaluador:

Guillermo M. Cejudo

(coordinador)

Cynthia L. Michel

Roberto Gerhard

Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012

2

Resumen Ejecutivo Este documento presenta los hallazgos de la Meta Evaluación 2007-2012 del Fondo Nacional para

el Fomento de las Artesanías (FONART). Esta meta evaluación tuvo por objeto analizar los

avances y logros del programa en términos de evaluación y monitoreo, durante el periodo

2007-2012. Asimismo, en la meta evaluación se buscó identificar las áreas de oportunidad del

programa para mejorar su desempeño en lo referente al monitoreo y evaluación, en el periodo

2013-2018.

Según las Reglas de Operación (ROP) del FONART, el programa inició sus operaciones

en 1995 en un esfuerzo por promover la actividad artesanal del país, y de esta forma contribuir

al aumento en el ingreso familiar de los artesanos, a través de su desarrollo humano, social y

económico (ROP FONART, 2012: 16). Así, el objetivo general del programa consiste en

contribuir a mejorar las fuentes de ingreso de los artesanos cuyo ingreso es inferior a la línea de

bienestar, mejorando sus condiciones productivas (ROP FONART, 2012: 16).

Durante el periodo 2007-20012, el FONART fue evaluado de manera regular. Las

evaluaciones muestran que existe un avance en las definiciones de las PP y PO, y que los

indicadores siempre han superado sus metas, excepto por el indicador de Fin, para el cual no

existe información. Aún cuando es necesario hacer explícitos los criterios que se utilizan para

definir cada meta a fin de poder valorar adecuadamente el desempeño de los indicadores, los

resultados del programa indican que 32% de los artesanos beneficiados por adquisición de

artesanías y apoyos a la comercialización ampliaron mercado; 73% de los artesanos que

participaron en los concursos de artes popular declararon mejoras en la calidad de su

producción; todos los artesanos beneficiados con apoyos a la producción incrementaron su

producción, y 76% de los artesanos capacitados aplican en su producción las técnicas

enseñadas. Sin embargo, en algunas evaluaciones, también se indicó que los mecanismos de

recolección de información no permiten obtener información objetiva y veraz, pues parten de

la percepción de los beneficiarios. Además, las evaluaciones indican que los beneficiarios no

siempre se sienten satisfechos por el beneficio que reciben del programa.

En esta meta evaluación se revisaron las evaluaciones de seis programas similares al

FONART en otros países, a partir de las cuales se identificó una gran variedad de

particularidades en cuanto al diseño de los programas, que pueden ser útiles para mejorar el

diseño del FONART, en específico en lo relativo a la impartición de talleres y cursos sobre temas


3

empresariales y administrativos, así como a la importancia de evaluar la sostenibilidad de los

proyectos artesanales que se apoyan.

Con base en este análisis, se recomienda una agenda de evaluación con la cual se busca

identificar, de forma más clara, el problema público que el FONART busca atender, mediante la

realización de un nuevo diagnóstico. Además, se propone la implementación de una evaluación

de indicadores con el fin de verificar que los indicadores de la MIR del FONART en efecto estén

capturando la información para la cual fueron diseñados. La evaluación complementaria

propuesta busca generar evidencia empírica para conocer los atributos de diseño con los que

debe contar el programa para ser más eficaz. Además, a partir de la implementación de la

evaluación de procesos se busca conocer los aspectos que deben ser mejorados en la

operación del programa. En la agenda de evaluación se incorporó también una evaluación de

impacto con miras a conocer los efectos del programa en el ingreso de los beneficiarios, en el

desarrollo de sus condiciones productivas y en la preservación de la actividad artesanal.

En materia de Monitoreo, la meta evaluación identificó que la MIR redujo el número de

indicadores a lo largo del periodo de análisis. En cuanto a los resúmenes narrativos de los

niveles de Fin y Propósito, vale anotar que aunque ambos han transitado a definiciones cada

vez más precisas. En el caso del Resumen Narrativo de Fin se identificó que el objetivo último al

que el programa busca contribuir es ambiguo en tanto que no queda claro cómo es que el

programa “mejora las fuentes” de ingreso. En todo caso, se considera que el fin último al que el

programa contribuye es al bienestar económico1, y se recomienda que así se exprese en el

Resumen Narrativo correspondiente. Por otra parte, el Resumen Narrativo a nivel de Propósito

fue valorado positivamente; sin embargo, los indicadores establecidos para este nivel reflejan

los bienes y servicios que produce el programa en lugar de reflejar el resultado que se busca

generar a partir de dichos bienes y servicios. En este sentido, en la meta evaluación se

recomendó como indicador para el nivel de Propósito uno que indicara el incremento en el

nivel de ventas, pues éstas son una expresión del aumento en las condiciones productivas de

los beneficiarios. Para el nivel de Fin, se recomendó un indicador que midiera el número de

proyectos que permanecen por más de dos años, a fin de conocer su sostenibilidad.

1 Por bienestar económico se hace referencia al “ingreso del que disponen las personas para la adquisición de bienes y servicios en el mercado, específicamente, el ingreso corriente, el cual representa el flujo de entradas, no necesariamente monetarias (puede incluir los productos recibidos o disponibles en especie, entre otros), que le permiten a los hogares obtener los satisfactores que requieren, sin disminuir los bienes o activos que poseen” (CONEVAL, 2009: 38-39).


4

En general, la meta evaluación encontró como principales fortalezas del programa que

su Propósito esté alineado con la estrategia 1.4 del Programa Sectorial de Desarrollo, así como

la correcta definición de dicho indicador. También es destacable el esfuerzo que el programa ha

realizado para atender las recomendaciones hechas por los evaluadores externos, a fin de

mejorar la operación y planeación del programa. Finalmente, en materia de evaluación se

considera que es una fortaleza del programa la regularidad con la que éste se sujeta a

evaluaciones. Sin embargo, en esta meta evaluación también se identificó una inadecuada

definición del problema público que el FONART busca atender, pues éste ha sido definido de

forma muy poco clara, por lo que existe una constante tensión en el diseño del programa que

impide identificar en qué medida las acciones del mismo deben orientarse a la preservación de

la actividad artesanal, y en qué medida deben hacerlo al bienestar económico.

Se recomienda que una vez que el problema haya sido claramente definido en el

diagnóstico, el FONART: (a) incorpore el elemento de “sostenibilidad” a las características que

idealmente deben tener los proyectos artesanales, pues así contribuye a la preservación de las

artesanías, (b) mejore las definiciones tanto de los resúmenes narrativos para los niveles de Fin

y de Propósito, así como las de sus indicadores, de conformidad con lo propuesto en esta

metaevaluación, (c) mejore los mecanismos de recolección de información a fin de asegurar la

confiabilidad y objetividad de los resultados obtenidos, y (d) haga explícitos los criterios

mediante los cuales se establecen las metas de los indicadores, con el fin de conocer si los

resultados de éstos son producto de un buen desempeño del programa, o de metas muy laxas.

En conclusión, el FONART es un programa que necesita contar con evidencia teórica y

empírica que justifique su intervención, y que permita conocer si ésta tiene un efecto positivo

en la población que atiende. El programa presenta problemas muy elementales que amenazan

su eficacia: el problema público que busca atender no ha sido definido y la calidad de la

información que se utiliza para alimentar los indicadores es cuestionable.


5

LISTA DE ACRÓNIMOS

ADEX: Asociación de Exportadores de Perú

ASM: Aspectos Susceptibles de Mejora

ATA: Aid to Artisans

ATAG: Aid to Artisans Ghana

Coneval: Consejo Nacional de Evaluación de la Política de Desarrollo Social

CUIS: Cuestionario Único de Información Socioeconómica

DD: Método de Diferencia en Diferencias

DGEMPS: Dirección General de Evaluación y Monitoreo de los Programas Sociales

ECyR: Evaluación de Consistencia y Resultados

EED: Evaluación Específica de Desempeño

FONART: Fondo Nacional para el Fomento de las Artesanías

HACER: Honduran Artisans Catalyzing Economic Revitalization

IMSAB: Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales

MIR: Matriz de Indicadores para Resultados

MSP: Microentreprise and Small Producers Support Project

OSC: Organizaciones de la Sociedad Civil

PA: Población Atendida

PASH: Portal Aplicativo de la Secretaría de Hacienda

PO: Población Objetivo

PP: Población Potencial

ROP: Reglas de Operación del Programa

SCC: Sharan Craft Center

SEDESOL: Secretaría de Desarrollo Social

URP: Unidad Responsable del Programa

USAID: Agencia de los Estados Unidos para el Desarrollo Internacional


6

Tabla de contenido

1. INTRODUCCIÓN .................................................................................................................. 8

2. DESCRIPCIÓN DEL PROGRAMA .......................................................................................10

2.1 Antecedentes ..................................................................................................................10

2.2 Descripción de los objetivos del programa así como de los apoyos que ofrece ...... 11

2.3 Identificación y cuantificación de la población potencial (PP), objetivo (PO) y atendida (PA) ........................................................................................................................ 13

3. SECCIÓN DE EVALUACIÓN ............................................................................................... 15

3.1 Evaluaciones a las que ha estado sujeto el FONART .................................................... 15

3.1.1 Evaluación de Consistencia y Resultados 2007 (ECyR 07) ......................................... 16

3.1.2Evaluación de Específica de Desempeño 2008-2009 (EED 08-09) ............................ 22

3.1.3Evaluación de Específica de Desempeño 2009-2010 (EED 09-10) ............................. 25

3.1.4 Evaluación de Específica de Desempeño 2010-2011 (EED10-11) ................................ 30

3.1.5 Evaluación de Consistencia y Resultados 2011- 2012 ( ECyR 11-12) ............................ 33

3.1.6 Evaluación de Satisfacción 2012 ................................................................................. 37

3.1.7 Conclusiones ................................................................................................................ 38

3.2 Evaluaciones de programas similares a FONART ....................................................... 40

3.2.1 HACER: Honduran Artisans Catalyzing Economic Revitalization .............................41

3.2.3 Microentreprise and Small Producers Support Project (MSP)............................... 44

3.2.4 Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia 46

3.2.5 Sharan Craft Center (SCC) .......................................................................................... 48

3.2.6 Aid to Artisans Ghana (ATAG) .................................................................................... 51

3.2.7 Mpukunyoni Craft Market Project ............................................................................ 53

2.2.8 Hallazgos del análisis de las evaluaciones realizadas a programas similares al FONART ................................................................................................................................ 56

3.3 Agenda de Evaluación ................................................................................................... 58

4. SECCIÓN DE MONITOREO .............................................................................................. 65

4.1 Análisis histórico de los principales cambios en la MIR del FONART ........................ 65

4.2 Cambios en el Resumen Narrativo del nivel de Fin .................................................... 67

4.3 Cambios en el Resumen Narrativo del nivel de Propósito ......................................... 69


7

4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y actividades del FONART ................................................................................................................................. 71

4.5 Análisis de los indicadores para los niveles de Fin y Propósito ................................. 74

4.6 Conclusiones .................................................................................................................. 93

5. ANÁLISIS FODA ................................................................................................................ 96

6. CONCLUSIÓN ................................................................................................................. 100

7. GLOSARIO ....................................................................................................................... 103

8. REFERENCIAS BIBLIOGRÁFICAS ................................................................................... 104

9. ANEXOS .......................................................................................................................... 106


8

1. INTRODUCCIÓN

Este documento presenta los hallazgos de la Meta Evaluación 2007-2012 del Fondo

Nacional para el Fomento de las Artesanías (FONART). Esta meta evaluación tuvo por

objeto analizar los avances y logros del programa en términos de evaluación y

monitoreo, durante el periodo 2007-2012. Asimismo, se buscó identificar las áreas de

oportunidad del programa para mejorar su desempeño en lo referente al monitoreo y

evaluación, en el periodo 2013-2018.

A continuación se presenta un apartado que brinda, a grandes rasgos, una

descripción del programa, de sus objetivos y de su población potencial, objetivo y

atendida. Posteriormente, en el apartado de “Evaluación” se realiza un análisis de las

evaluaciones a las que ha estado sujeto el programa en el periodo 2007-2012. En dicho

apartado se presentan de forma sucinta los principales resultados y hallazgos

derivados de cada una de ellas, y se emite una valoración sobre la mismas.

Dentro de la sección de “Evaluación” también se presentan informes de

evaluaciones de programas similares al FONART, que se llevaron a cabo en el ámbito

nacional o internacional. Se realiza una síntesis de los principales resultados y se realiza

una valoración técnica de la metodología empleada.

A partir del estudio tanto de las evaluaciones realizadas al programa durante el

periodo de análisis, como de las evaluaciones realizadas a programas similares al

FONART, se detectaron los aspectos del programa que no habían sido evaluados, o que

requerían ser evaluados en un nuevo contexto, tomando en cuenta las tendencias

identificadas en las evaluaciones de programas internacionales que pudieren ser útiles

para el caso del FONART. Así, se presenta una agenda de evaluación para el periodo

2013-2018 en la cual se justifica técnica o empíricamente la importancia de cada una de

las evaluaciones propuestas para el programa.

Posteriormente se presenta el apartado de “Monitoreo”, en el cual se realiza un

análisis histórico (2007-2012) de los principales cambios que ha sufrido la Matriz de

Indicadores para Resultados (MIR), y se identifica si dichos cambios obedecen a las


9

observaciones emitidas por los actores involucrados en su revisión, o si son producto

de los hallazgos o resultados de evaluaciones externas. Adicionalmente, en el apartado

de monitoreo se presenta un análisis sobre la pertinencia y congruencia tanto de los

resúmenes narrativos de los Niveles de Fin y Propósito como de sus indicadores, a

partir de los bienes y servicios que entrega el programa.

Finalmente se presenta un Análisis FODA sobre el programa, y se realizan las

recomendaciones pertinentes para atender las debilidades y oportunidades

detectadas.


10

2. DESCRIPCIÓN DEL PROGRAMA

El FONART es operado por la Secretaría de Desarrollo Social (SEDESOL). El FONART

existe como fondo desde 1974 y comenzó a ser operado por la Secretaría de Desarrollo

Social (SEDESOL) en 1995 (ECyR, 2007: 9).

2.1 Antecedentes

El FONART surgió “como una respuesta a la necesidad de promover la actividad

artesanal del país y contribuir así a la generación de un mayor ingreso familiar de los

artesanos; mediante su desarrollo humano, social y económico” (ROP FONART, 2012:

16). De acuerdo con el Diagnóstico de la capacidad de los artesanos en pobreza para

generar ingresos sostenibles, la calidad de vida del gremio de los artesanos se ha

deteriorado con el paso del tiempo debido a que habitan en localidades poco

vinculadas con el mercado nacional o internacional, porque sus proyectos no son

rentables, porque existe una valoración insuficiente de las artesanías y porque el uso

que hacen de los recursos naturales no siempre es sustentable, lo cual afecta su

subsistencia y el equilibrio del medio ambiente.

Estas condiciones han resultado en una pérdida del oficio del artesano, un

deterioro de sus condiciones de salud, pérdida o deterioro de su patrimonio y de los

recursos naturales así como una transmisión intergeneracional de la pobreza. En ese

sentido, el problema central que busca atender el FONART es “la falta de mecanismos

que permitan a los artesanos en pobreza generar ingresos sostenibles y romper con el

ciclo de transmisión intergeneracional de la pobreza” (Nota sobre Población Potencial y

Población Objetivo, 2011: 2). De tal forma, el FONART busca ser un vehículo para lograr

la independencia económica de los artesanos mexicanos de acuerdo con una

perspectiva multidimensional del fenómeno artesanal, es decir, que contempla su

carácter social, económico y cultural, bajo criterios que definen los artesanos como

generadores de su propio desarrollo.


11

2.2 Descripción de los objetivos del programa así como de los apoyos que

ofrece

El FONART tiene como objetivo general contribuir a mejorar las fuentes de ingreso de

los artesanos cuyo ingreso es inferior a la línea de bienestar, mejorando sus

condiciones productivas. El objetivo específico del programa es mejorar la condición

productiva de los artesanos cuyo ingreso es inferior a la línea de bienestar.

Como se puede apreciar en la Tabla 1, el FONART desempeña cuatro vertientes

de actividades para apoyar la actividad artesanal: Capacitación Integral y Asistencia

Técnica, Apoyos a la Producción, Adquisición de Artesanías y Apoyos a la

Comercialización, y Concursos de Arte Popular, con el propósito de atenderlos de

forma integral y complementaria. “Además, FONART realiza actividades tales como

compras a consignación; comercialización y apertura de mercados; ferias y

exposiciones; organización de reuniones y foros nacionales de especialistas del sector;

y realización y publicación de textos especializados en temas artesanales” (ECyR, 2011:

2).

De acuerdo con las ROP 2012, Con estas acciones “el FONART busca ser la

institución que coordine de forma dinámica y efectiva las distintas políticas y recursos

entre los organismos públicos municipales, estatales y federales, sectores social y

privado con el propósito fundamental de fomentar la actividad artesanal y proteger su

desarrollo” (2012: 2).


12

Tabla 1. Actividades del FONART y montos de apoyo.

Vertientes Actividades Monto

Capacitación

Capacitación Integral

Transmisión de conocimientos en organización, materias primas, proceso productivo, comercialización, informática, administración y valoración cultural.

$12,000 por artesano.

Asistencia Técnica

Mejoramiento de la condición productiva de los artesanos.

$6,000 por artesano

Apoyos a la producción

Individuales Para la adquisición de activo fijo y capital de trabajo destinado a la producción artesanal.

$15,000 una sola vez al año.

Grupales $225,000 sin

rebasar $15,000 por persona.

Adquisición de artesanías y apoyo a la comercialización

Se compra la producción de un artesano.

$15,000 al año.

Apoyos a la comercialización (renta de espacios, empaques, transportes, etc.)

Individuales $ 15,000

Grupales $225,000 sin

rebasar $15,000 por persona.

Concursos de Arte Popular

Nacional $ 125,000

Estatal $ 15,000

Regional $ 10,000

Fuente: elaboración propia con base en las Reglas de Operación 2012.


13

2.3 Identificación y cuantificación de la población potencial (PP), objetivo

(PO) y atendida (PA)

De acuerdo con el documento Nota sobre Población Potencial y Población Objetivo, la PP

está definida como “el conjunto de artesanos cuyo ingreso es inferior a la Línea de

Bienestar” (2011: 8). 2 El mismo documento explica que “[e]n el Diagnóstico 3

únicamente se definió y caracterizó a la población potencial. Ello debido a que el propio

Diagnóstico señala que la población objetivo es un subgrupo de la potencial que se

define en función del presupuesto asignado anualmente al Programa y al tipo de

convocatorias que éste emita.” (2011: 5). Es decir, que la población objetivo será

cuantificada en función de los recursos presupuestales de cada año y su definición está

delimitada a un subconjunto de la PP. No obstante, al revisar las ROP (2012: 17) resulta

que la PO está definida como los artesanos cuyo ingreso es inferior a la línea de

bienestar, esto indica que existe una falta de precisión entre las definiciones de las PP y

PO.

La PA, comprendida como los artesanos que fueron apoyados por el FONART

durante 2011, fue de 17, 243.

Como se puede apreciar en la gráfica 1, la PA siempre ha superado a la PO, para

la cual no hay estimación en 2011. También se observa que la PA tuvo un pico en 2009 y

a partir de entonces ha disminuido año tras año (pareciera que se dirige hacia una

convergencia con la última estimación de PO).

Por otro lado, se observa que el presupuesto aumentó hasta 2010 y en 2011 tuvo

una disminución. En teoría, dada la definición de PO, se esperaría que su desarrollo

2 “El cambio en la definición de la población potencial implica que la línea de referencia para identificar a los artesanos pobres, es decir la líneas de pobreza patrimonial, cede su lugar a la denominada Línea de Bienestar, cuyo valor en agosto de 2010, el mes de referencia para la medición oficial de la pobreza, fue de $2,114 en el ámbito urbano y $1,329 en el rural”(Nota sobre Población Potencial y Población Objetivo, 2011: 8-9).

3 Diagnóstico de la capacidad de los artesanos en pobreza para generar ingresos sostenibles, 2012.


14

estuviera ligado a la par del presupuesto del FONART, sin embargo los picos en la

gráfica de PO y presupuesto ejercido no coinciden.

Gráfica 1. Evolución de la PO, PA y presupuesto ejercido.

Fuente: elaboración propia con base en Informes trimestrales a la cámara de diputados y las EED 2008-2009 y EED 2010-2011.

$ 50,000

$ 50,050,000

$ 100,050,000

$ 150,050,000

$ 200,050,000

$ 250,050,000

5,000

10,000

15,000

20,000

25,000

30,000

2008 2009 2010 2011

Pres

upue

sto

en p

esos

Núm

ero

de b

enef

icia

rios

P. Objetivo P. Atendida Total de presupuesto ejercido


15

3. SECCIÓN DE EVALUACIÓN

En esta sección se analizan las evaluaciones a las que estuvo sujeto el FONART, así

como evaluaciones de programas internacionales semejantes. En primer lugar, la

sección sobre las evaluaciones a las que estuvo sujeto el FONART permite identificar

temas que se señalaron de manera recurrente, los cambios que realizó el programa en

función de las recomendaciones o si es que hubieron temas importantes que no se

analizaron. Así, esta sección permite evaluar la capacidad de reacción del programa

ante las evaluaciones y también la calidad de las evaluaciones mismas.

Por su parte, la sección de evaluaciones de programas internacionales sirve para

comparar la forma en la que programas similares al FONART se han evaluado en otras

partes del mundo, qué resultados han obtenido y cómo realizaron dichas

intervenciones de política pública. Los programas revisados comparten con el FONART

el hecho de estar dirigidos a artesanos y el que sean utilizados como un medio para

combatir la pobreza y estimular el desarrollo económico y social de los beneficiarios.

Esta sección permitió identificar algunos resultados generales como el hecho de que

tuvieron un impacto positivo sobre la vida de los beneficiarios medido a través del

ingreso de los artesanos algunos años después de la intervención (entre 2 y 5 años

después), que los talleres impartidos resultaron ser básicos para la supervivencia de los

proyectos artesanales (individuales o de grupo) y que es fundamental tener buena

comunicación y confianza entre los elementos de la cadena que vincula al artesano con

el mercado nacional e internacional.

3.1 Evaluaciones a las que ha estado sujeto el FONART

El análisis que a continuación se presenta ha tomado como referencia a las

Evaluaciones Externas del Programa FONART realizadas en el periodo 2007-2012 (véase


16

Anexo 1) 4 , por lo que todos los resultados y hallazgos citados, así como las

recomendaciones que derivaron del ejercicio de evaluación de los años de estudio

contemplados, han sido analizadas y atendidas por el Programa conforme a la

normatividad establecida en el Mecanismo para el seguimiento a los aspectos

susceptibles de mejora derivados de informes y evaluaciones a los programas

presupuestarios de la Administración Pública Federal. Por consiguiente, todas las

opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva

responsabilidad del equipo evaluador.

En general, los principales resultados de este análisis permiten identificar

omisiones en las evaluaciones, problemas recurrentes, así como las fuentes de cambios

en la MIR. Este análisis identificó que nunca se ha recomendado al programa ajustar la

forma en la que estima las metas de sus indicadores a pesar de que las supera

regularmente. El programa tampoco ha cambiado la forma en la que estima sus

indicadores de Propósito por algún tipo de medición objetiva, a pesar de que han sido

cuestionados por provenir de una encuesta y reflejar la opinión de los beneficiarios. Por

último, existen recomendaciones recurrentes como la realización de un estudio de

seguimiento a los beneficiarios; o la necesidad de elaborar una Estrategia de Cobertura,

así como un Plan Estratégico –que de acuerdo con el análisis de las evaluaciones estos

documentos estuvieron listos para 2011 pero se identificaron áreas de mejora en cuanto

a la justificación de la intervención del programa.

3.1.1 Evaluación de Consistencia y Resultados 2007 (ECyR 07)

El FONART estuvo sujeto a una evaluación de Consistencia y Resultados (ECyR) en el

año 2007, realizada por Alternativas en Economía Consultores. La ECyR 07 evaluó la

consistencia y orientación a resultados del FONART con la finalidad de proveer

información que retroalimentara su diseño, gestión y resultados. La evaluación analizó

4 se analizaron todas las evaluaciones externas realizadas durante el periodo 2007-2012, que están normadas en los Programas Anuales de Evaluación (PEA)


17

los siguientes temas: diseño, planeación estratégica, cobertura y focalización,

operación, la percepción de la población atendida y la medición de los resultados. Para

realizar esta evaluación se realizó trabajo de gabinete en el que se revisaron los

resultados finales de la MIR, el análisis de la cobertura del FONART así como de su

presupuesto y evaluaciones previas al programa.

La ECyR 07 señaló que el programa no demostró un adecuado progreso para

alcanzar su Propósito y Fin porque tiene importantes problemas en el Diseño. Respecto

al diseño del FONART la ECyR 07 destacó que la lógica vertical de la MIR se validó “ya

que las actividades señaladas son necesarias y suficientes para el logro de los

Componentes; los Componentes de la Matriz modificada son indicados para alcanzar el

Propósito; el Propósito está claramente definido -artesanos en situación de pobreza

fortalecidos en su ciclo productivo- y el logro del mismo contribuye plenamente al logro

del Fin” (ECyR 2007: 1). La lógica horizontal de la MIR también se validó pues “todos los

indicadores de la Matriz modificada son claros, relevantes, económicos, adecuados y

monitoreables; los indicadores tienen línea base, y los supuestos son consistentes para

la realización del objetivo del nivel inmediato superior” (ibíd). Sin embargo, en la

evaluación se estableció que “el problema al que va enfocado FONART no está definido

con claridad, ya que presenta el doble objetivo de atender a los artesanos en pobreza y

de fomentar las artesanías tradicionales y de calidad” (ibíd). Otros aspectos negativos

del diseño, según esta evaluación, se encontraban en la ausencia de un diagnóstico

actualizado que justificara o sustentara la existencia del programa. Asimismo, se señaló

que tampoco se contaba con una definición exacta de la PP,5 y que la definición de la

PO era imprecisa en las ROP (de acuerdo a los criterios establecidos por CONEVAL). Se

señaló que el FONART también carecía de datos sobre las características

socioeconómicas de los artesanos beneficiarios y que en 2007 tampoco contó con un

mecanismo específico para determinar duplicidades con otros programas.

El análisis de la Planeación Estratégica realizado en la ECyR 07 reveló que el

FONART contaba con planes de corto y mediano plazo, que recolectaba información

5 La falta de exactitud se refiere al tipo de artesano que presenta el problema al que se dirige el programa.


18

sobre su operación de manera periódica, que tenía metas y plazos específicos para sus

indicadores de gestión, y que realizó evaluaciones externas cuyas recomendaciones

usó para mejorar su operación. Sin embargo, entre los aspectos negativos de la

planeación del programa se identificó que los planes de corto y mediano plazo no

contaban con estrategias para alcanzar sus metas, y que no se especificaron planes de

trabajo para implementar sus estrategias.

Con respecto a la Cobertura y Focalización de la PP y PO, la ECyR 07 identificó

varios problemas; en primer lugar, que FONART carecía de un método para cuantificar

ambas poblaciones, en segundo lugar, que la PA en 2007 no se apegó a las

especificaciones de las ROP (pues no todos los artesanos se encontraban en situación

de pobreza) y, en tercer lugar, que las vertientes del programa estimaron como metas

las acciones a realizar y no el número de artesanos por beneficiar, lo que impidió

evaluar correctamente el logro de sus objetivos.

De acuerdo con la ECyR 07, el FONART realizó distintas acciones para mejorar su

operación, entre ellas se destacó el que haya logrado la “unificación del padrón de

beneficiarios, [la] reducción de tiempos de entrega de las piezas que participan en los

concursos, [la] reducción de tiempos de respuesta a las solicitudes de financiamiento y

en el proceso de capacitación” (ECyR, 2007: 4). A pesar de estas mejoras, muchas de las

debilidades identificadas por la ECyR 07 se ubicaron en la sección de operación. Los

hallazgos sobre resultados del programa fueron algo contradictorios y se retomarán en

la valoración técnica de la evaluación.

Para mejorar el diseño del programa, la ECyR 07 recomendó que se reflejara en

el diseño del FONART su doble objetivo: a) establecer un programa específico que

atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las

que operaba entonces FONART (capacitación, financiamiento, adquisición y

concursos)6 y b) generar los lineamientos particulares para atender el fomento y

comercialización de los artesanos en general bajo una perspectiva de fomento

artesanal en el país. No obstante, esta recomendación no podía ser implementada

6 De esta manera, las Reglas de Operación normarían, en su caso, al “Programa de Atención a Artesanos en Pobreza”, lo que daría claridad al diseño del Programa.


19

únicamente por FONART, pues requería la participación de la SEDESOL y de la SHCP.

También se recomendó generar un diagnóstico que permitiera identificar la

problemática que existe en el sector artesanal del país en 2007, así como las

características y necesidades de los artesanos, mediante la realización de los estudios

que se consideraran necesarios para tener un diagnóstico claro, conciso y adecuado.

También se recomendó especificar los criterios de elegibilidad para los artesanos que

buscaran financiamiento, así como analizar la viabilidad de incorporar montos

máximos.

Con relación a la cobertura y focalización, la evaluación mencionó que también

era importante establecer en las ROP definiciones concisas de las PP y PO; delimitando

la PP a los artesanos que presentan la problemática en general. Además, se estableció

también la necesidad de cuantificar ambas poblaciones (las propuestas para hacerlo se

presentaron en el anexo IX de la ECyR 07).7

Por otro lado, se consideró que la planeación del programa podría mejorar si se

diseñaba una estrategia de cobertura de corto, mediano y largo plazo para cada una de

las vertientes del programa. Respecto a la operación del programa la ECyR 07 destacó

que se debería agregar una Cédula de Información Socioeconómica a la solicitud para

incorporar esos datos en el padrón de beneficiarios, y que éste cumpliera con los

criterios de padrones de SEDESOL. También se sugirió establecer un mecanismo de

coordinación con otros programas para garantizar que el FONART no presentara

duplicidades con otros programas del gobierno federal. Con relación a las solicitudes de

apoyo, la evaluación recomendó que se elaborara un formato único para las cuatro

vertientes y que se registraran todas las solicitudes de apoyo en una base de datos.

También recomendaron que debía haber una estructura organizacional, con el personal

suficiente, encargada de la vertiente de Financiamiento. Finalmente, la evaluación

recomendó diseñar cuestionarios que le permitieran al FONART identificar la opinión de

sus beneficiarios respecto de sus resultados y procesos.

7 El anexo mencionado no se pudo revisar porque no venía en la evaluación.


20

De acuerdo con la evaluación, una fortaleza del FONART fue que su Fin y

Propósito contribuyeron a la solución del problema identificados y que estaban

claramente definidos. También se consideró como fortaleza del programa el hecho de

que la lógica vertical y horizontal de la MIR se validaran.

Otra fortaleza detectada fue que el FONART usó las recomendaciones de las

evaluaciones externas para mejorar su operación; de acuerdo con la ECyR 07, entre

estas mejoras destacaron la unificación del padrón de beneficiarios, la reducción de

tiempos de entrega de las piezas que participan en los concursos y la reducción en los

tiempos de respuesta a las solicitudes de financiamiento y en el proceso de

capacitación.

El análisis de la ECyR 07 permitió concluir que una debilidad del FONART es que

no reflejó en su diseño el doble objetivo de atender a artesanos en pobreza y de

fomentar las artesanías. Otras debilidades relacionadas con el diseño del programa se

refirieron a la ausencia de un diagnóstico que sustentara su existencia, la incorrecta

definición de las PP y PO y la ausencia de su cuantificación. Otra debilidad que se halló

en las ROP fue la falta de criterios de elegibilidad para la vertiente de Financiamiento,

así como la falta de información sobre los montos máximos del resto de las vertientes.

La ECyR 07 del FONART también identificó debilidades en el área de planeación,

pues el programa carecía de un sistema de información que le permitiera conocer la

demanda total de apoyos. Además, se detectó que ninguna de las vertientes del

FONART contaba con una estrategia de cobertura de corto, mediano y largo plazos.

Con respecto a la vertiente de Financiamiento del FONART, la ECyR 07 apuntó que otra

debilidad fue la falta de un área responsable de dicha vertiente.

Con relación a la operación del programa se consideró una debilidad la ausencia

de información socioeconómica de sus beneficiarios, así como la de un mecanismo que

le permitiera determinar duplicidades con otros programas federales. Otras debilidades

identificadas por la ECyR 07 fueron:

La ausencia de un sistema que le permita conocer la demanda total de apoyos.


21

La falta de homogeneidad entre los formatos de solicitud de apoyos de las

distintas vertientes.

La presencia de un mecanismo de actualización del padrón que no era adecuado

pues no contaba con procedimientos ni documentación que permitiera validar

su creación y actualización.

Los sistemas para llevar la administración financiera estaban desintegrados.

El FONART carecía de una cuantificación sobre el costo de apoyo de cada

vertiente, es decir, no establecía un costo de operación, tampoco contaba con

el costo de efectividad de su ejecución.

Con respecto a la medición de resultados, se consideró como una debilidad el

hecho de que ninguno de los indicadores midiera el impacto que las acciones del

FONART tuvo sobre sus beneficiarios y que tampoco contara con instrumentos para

medir su nivel de satisfacción.

La ECyR 07 al FONART ofreció una visión general sobre el programa. En general,

se consideran bien identificadas las debilidades del programa, así como pertinentes las

recomendaciones emitidas. Sin embargo, se detectaron algunas inconsistencias dentro

de la evaluación. En primer lugar, respecto al apartado de resultados del FONART, la

ECyR 07 declaró que el “FONART ha realizado evaluaciones externas basadas en

metodologías rigurosas, que le han permitido medir el impacto del Programa en su

población objetivo y registrar la percepción de sus beneficiarios” (ECyR, 2007: 5). No

obstante, un par de líneas más adelante la evaluación estableció que "el Diseño del

Programa no [permitía] la elaboración de evaluaciones de impacto rigurosas debido a

que el FONART, al determinar su población objetivo en Reglas de Operación, establece

condiciones simultáneas, que no necesariamente se pueden cumplir" (ibídem). Por lo

tanto, no queda claro si las evaluaciones referidas al principio carecen de rigor o si se

realizaron con una definición distinta de PO que sí permitía que se hicieran

evaluaciones metodológicamente rigurosas.


22

En segundo lugar la evaluación identificó como una fortaleza del FONART que el

Fin y Propósito del programa contribuyen a la solución del problema identificado; no

obstante, también señaló que el programa no cuenta con un Diagnóstico que le de

sustento, ni con una buena definición del problema que se pretende resolver. De tal

manera que, si no se tiene bien definido el problema por resolver, no puede ser posible

que el Fin y Propósito del programa contribuyan a su solución.

3.1.2Evaluación de Específica de Desempeño 2008-2009 (EED 08-09)

El FONART estuvo sujeto a una Evaluación Específica de Desempeño en el año 2008,

fue realizada por El Colegio de México. La evaluación evaluó el desempeño del FONART

a la luz de sus indicadores. Para hacer esta evaluación se realizó un trabajo de gabinete

en el que se revisaron distintos documentos del programa entre los que se encuentran:

el Portal Aplicativo de la Secretaría de Hacienda (PASH)8 –para revisar la información

reportada en la Cuenta Publica sobre el resultado definitivo de los indicadores-, los

documentos de seguimiento a los Aspectos Susceptibles de Mejora (ASM),

Evaluaciones previas, la cobertura que ha tenido el programa así como la evaluación de

su presupuesto.

Los resultados de la EED 2008-2009 se pueden agrupar en tres: los relacionados

con los indicadores, los relacionados con cobertura y presupuesto y los relacionados

con ASM. En cuanto a la valoración sobre los resultados y productos, la EED señaló que

"los indicadores estratégicos y de gestión toman como base una encuesta de artesanos

con datos para 2006. Asimismo, los indicadores no son totalmente confiables porque

se basan en la opinión de los beneficiarios" (EED, 2008: 12). Más adelante, la EED señaló

que "el principal problema para evaluar la eficiencia de los indicadores radica en que no

existe la definición y cuantificación de las poblaciones potencial y objetivo" (ibíd.: 13).

También destacó que "hay indicadores que se refieren a grupos solidarios -definidos

8 El PASH es un portal a través del cual se sistematiza la información indispensable sobre los programas públicos, y facilita su acceso para mejorar la gestión de los mismos


23

como grupos de 5 artesanos o más- lo cual provoca confusión respecto a la unidad de

medida del indicador, a saber, artesanos en lugar de grupos solidarios" (ibíd.: 14).

Con respecto al presupuesto aprobado la EED 2008-2009 identificó que éste ha

aumentado cada año desde 2003 hasta 2008 y presentó un ligero decrecimiento en

2009. La EED también resaltó el hecho de que la PA superó a la PO y explicó que esto se

pudo deber a que la cobertura del FONART depende del presupuesto asignado, no

obstante recalcó que no se aclaró cómo se determinó la cifra de la PO. De acuerdo con

la EED, si bien el programa tuvo cobertura en 30 estados, sus acciones se concentran

en 10 entidades.

Respecto a la valoración de los ASM la EED señaló que las propuestas realizadas

por la evaluación externa en 2007 resultaron en cambios a las ROP y a los criterios de

operación del programa, mismos que mejoraron su funcionamiento y que comenzaron

a aplicarse en 2008. La evolución destacó la disposición del FONART para atender las

recomendaciones de evaluaciones externas.

Aunque la EED no emitió recomendaciones señaló que el FONART no cuenta con

evaluaciones externas de impacto ni de seguimiento a sus beneficiarios; lo cual se

interpreta como una recomendación por atender por parte del programa.

La EED 2008-2009 identificó como fortalezas del FONART el haber ampliado su

cobertura y haber mejorado los criterios de selección de los beneficiarios. También

destacó el incremento en el número de acciones aplicadas –suponiendo que se refiere

al desempeño de los indicadores-, y por último, se destacaron los esfuerzos por vincular

diferentes programas para ofrecer un apoyo integral al beneficiario.

De acuerdo con la EED 2008-2009, entre las debilidades identificadas se cuentan

la falta de una correcta definición y cuantificación de las poblaciones potencial y

objetivo. En este grupo también cabe la falta de precisión técnica respecto a algunos

conceptos: "aunque en las ROP 2008 se define el término 'técnicas tradicionales', el

programa debe precisar la manera en que califica las adquisiciones de artesanías como

'realizadas con técnicas y diseños tradicionales'" (ibíd.: 19).


24

En la evaluación se detectaron algunas inconsistencias. Aunado a esto, debido a

lo escueto de las recomendaciones y la falta de análisis se considera que la evaluación

no aportó a la mejora del FONART. Una de las primeras inconsistencias identificadas se

refiere a la declarada falta de cuantificación de la PO, sin embargo, en la sección de

análisis de cobertura del programa sí presentó una cifra que cuantifica dicha población -

aclarando que se les explicó cómo se determinó dicha cantidad-, por lo tanto, el lector

se puede confundir respecto a este tema. Sobre este mismo tema se detectó otro error

el cual consistió en reportar que no existía una definición de PO para 2008 cuando en

las ROP 2008 se definió a la PO como los “productores que están en condiciones de

pobreza de acuerdo a los criterios establecidos por el Consejo” (ROP, 2008: 4).

Una segunda inconsistencia se refirió al hecho de la EED hizo una valoración

positiva de la ECyR 07 y declaró que la "evaluación externa realizada para el ejercicio

2007 propuso una serie de mejoras que resultaron oportunas y pertinentes"; sin

embargo, dicha evaluación consideró que los indicadores revisados por esta evaluación

medían adecuadamente el desempeño del programa a nivel de propósito, mismos que

fueron criticados por provenir de una encuesta y depender de la opinión de los

beneficiarios.

Otra debilidad de esta evaluación se refirió a la falta de recomendaciones ante

las debilidades identificadas. No se observó ninguna recomendación de mejora con

respecto a: 1) definición y cuantificación de las PP y PO, 2) cómo subsanar la

confiabilidad de los indicadores, y 3) cómo llevar a cabo una evaluación de impacto.

Por último, la información plasmada en la evaluación reveló que la mayoría de

los indicadores analizados (6 de 10) superaron sus metas por un margen importante

(en el menor de los casos se superó la meta por más de 12%), sin embargo este dato no

fue comentado. Por el contrario, la valoración de dichos indicadores se limitó a

identificarlos como pertinentes, relevantes y confiables.9 Habría sido deseable algún

9 Los indicadores en la evaluación que superaron sus metas son 6 de 10: “Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados”, “Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición”, “Porcentaje de artesanos que incrementaron su producción con respecto al total de artesanos financiados”, “Porcentaje de artesanos que declararon


25

comentario respecto a la estimación (o subestimación) de las metas y cómo se podría

haber corregido el problema. Otra inconsistencia relativa a la valoración de los

indicadores se refiere al hecho de haberlos calificado como confiables en el apartado

de valoración de cada indicador y posteriormente criticar que la mayoría de ellos

provinieran de una encuesta a los beneficiarios, lo cual “no les da plena confiabilidad”

(EED, 2008, : 14).

3.1.3Evaluación de Específica de Desempeño 2009-2010 (EED 09-10)


que fue realizada por el Colegio Mexiquense. Se evaluó el desempeño del FONART a la

luz de sus indicadores mediante trabajo de gabinete. Se revisaron distintos

documentos del programa entre los que se encuentran: el PASH –para revisar la

información reportada en la Cuenta Pública sobre el resultado definitivo de los

indicadores-, los documentos de seguimiento a los ASM, evaluaciones previas, la

cobertura que ha tenido el programa así como la evaluación de su presupuesto.

Los principales resultados de la EED 2009-2010 se pueden agrupar en los

hallazgos de los indicadores y los resultados del programa, su cobertura y, por último,

los hallazgos relevantes y las acciones de mejora implementadas. Respecto al análisis

de los indicadores de resultados, 4 de los 5 indicadores fueron identificados como

relevantes y confiables. Respecto al indicador de "Porcentaje de artesanos que

declararon mejora en la calidad de su producción después de participar en los

concursos" se señaló que requería de mayor claridad conceptual para ser confiable. Por

otra parte, la revisión llevada a cabo por la EED respecto a los indicadores de gestión

del FONART identificó a los 5 indicadores revisados como pertinentes, relevantes y

confiables. En su conjunto, la valoración de la EED sobre los indicadores del FONART

mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes”, “Porcentaje de ejecución de presupuesto para capacitación respecto a los recursos programados para capacitación” y “Porcentaje de recursos ejercidos por financiamiento respecto a los recursos programados para financiamiento”.


26

señaló que su mayoría registraron valores superiores a sus metas, "siguiendo la

tendencia del año anterior” y que no se cuenta con elementos en el SED “para explicar

cambios entre periodos o cumplimientos de metas” (EED, 2009-2010, p. 12).

Respecto a la cobertura del programa, la EED identificó que "se observó una

clara mejoría en la medición de la población objetivo y en su definición" y señaló que

"tanto la población objetivo como la población atendida presentan una tendencia

positiva respecto del año anterior. La población atendida creció́ aproximadamente 36%.

Que la población atendida sea mayor a la objetivo puede deberse a la disponibilidad de

recursos asignados" (ibíd.:19).

Finalmente, con relación a las mejoras del programa la EED declaró que se han

implementado en su totalidad las acciones relativas al diseño y a la gestión que se

plantearon en la ECyR 07. En cuanto al análisis de los hallazgos relevantes, destacaron

el "haber incorporado en la definición de la población objetivo los artesanos en

condición de pobreza patrimonial [lo cual] es un primer paso importante en mejorar la

eficacia y eficiencia del programa", también "se ha avanzado en homogeneizar los

mecanismos para la identificación de los beneficiarios al incorporar en reglas de

operación el Cuestionario Único de Información Socioeconómica" y el que se hubieran

realizado "los pasos necesarios para diferenciar claramente el objetivo institucional del

fideicomiso con el propósito definido en la Matriz de Indicadores del programa

FONART. Esto evita confusiones y duplicidades" (EED, 2009: 13).

Las principales recomendaciones de la EED se refirieron a los indicadores del

FONART, a la necesidad de elaborar un plan estratégico, a acciones de mejora respecto

a la planeación del programa y a una sugerencia sobre futuras evaluaciones. En

particular, se recomendó definir de forma más clara uno de los indicadores de

Propósito (Porcentaje de artesanos que declararon mejora en la calidad de su producción

después de participar en los concursos), a fin de lograr que éste fuera confiable. Con

relación a los indicadores de gestión la EED recomendó considerar el diseño de

indicadores de tiempos programados para el otorgamiento de cada uno de los apoyos.


27

Respecto a la planeación del FONART, la EED sugirió "concretar convenios a fin

de evitar duplicidades y aprovechar complementariedades y producir un Plan

Estratégico y una Estrategia de Cobertura de corto, mediano y largo plazo" (ibíd.: 22).

Cuando se concrete el Plan Estratégico del programa sería recomendable “diseñar

indicadores que además de la relación ejecutado/programado, incluyan la relación

ejecutado/demandado” (ibíd.:15). Así mismo, se recomendó avanzar en el mecanismo

de criterios para la recolección de información de los indicadores. Con respecto a la

operación del programa la evaluación sugirió seguir "avanzando en adecuar la

estructura organizacional de las cuatro vertientes del programa" (ibíd.: 22). Por último,

se recomendó estudiar la factibilidad de dar seguimiento de los beneficiarios.

De acuerdo con la EED 2009-2010, las principales fortalezas del FONART se

relacionan con las acciones de mejora implementadas (especialmente en cuanto al

diseño), la inclusión de nuevos indicadores y el hecho de recolectar información

abundante que se podría usar para crear indicadores más relevantes, y avances en

cuanto a la definición y cuantificación de la PO.

La EED destacó que el programa implementó en su totalidad las acciones que se

plantearon en la ECyR 07, las acciones de mejora en materia de diseño se concluyeron

satisfactoriamente. Uno de sus productos relevantes fue la elaboración de un

diagnóstico adecuado y actualizado, que sirvió para avanzar en la definición del

problema que busca resolver. El diseño del FONART también mejoró gracias a que el

programa se centró en apoyar los artesanos quienes, a partir de su ingreso, se les

puede clasificar en situación de pobreza. Finalmente, también fue importante que las

cuatro vertientes del programa contaran con un indicador que midiera la capacidad

ejecutora del programa.

Respecto a los indicadores la EED resaltó que es "destacable el esfuerzo en

diseñar un mayor número de indicadores de actividades" (ibíd.:15), por otro lado el

programa está recolectando bastante información sobre su operación –como se puede

ver en los informes trimestrales- que “permitirá́ avanzar en el diseño de indicadores

más relevantes del comportamiento de los componentes” (ibídem).


28

Por último, respecto a la cobertura del programa, se destacó que se hubieran

establecido los criterios de elegibilidad así como los montos máximos de apoyo para las

cuatro vertientes. También se resaltó que la focalización del programa mejoró de

manera sustantiva gracias a la recolección de información socioeconómica y al uso de

Zonas de Atención Prioritaria (ZAP). Estas acciones ayudaron a mejorar la definición de

PO. Finalmente, se mencionó que las acciones de cobertura se han complementado

con la medición de la satisfacción de los beneficiarios.

La evaluación no tiene un apartado específico de debilidades, pero con base en

las recomendaciones se puede inferir que el estado en el que se encuentra el Plan

Estratégico del FONART es una debilidad y su conclusión fortalecería al programa al

permitirle avanzar sobre el desarrollo de una estrategia de cobertura nacional de

mediano y largo plazo ajustada a la actividad artesanal del país.

Las recomendaciones de la EED 2009-2010 son pertinentes y buscan la mejora

del programa, sin embargo hubo ciertas inconsistencias técnicas que, de haberse

evitado, habrían resultado en una mejor evaluación. Una primera inconsistencia

importante se refirió a la valoración sobre la definición y cuantificación de la PO. La EED

declaró que "se observó una clara mejoría en la medición de la población objetivo y en

su definición" (ibíd.: 19), como se puede apreciar en la Tabla 2, la mejoría estriba en que

se agregó la palabra “artesanos” productores, pero se perdió la especificación sobre de

dónde provienen los criterios de pobreza utilizados. Por otro lado, la definición de PO

presentada en la evaluación no coincide exactamente con la de las ROP 2009.10

Otro problema de la EED respecto al análisis de la población se refirió al hecho

de que definió de la misma manera a la PP y PO (artesanos productores en situación de

pobreza patrimonial), pero presentó cifras diferentes para cada una. En términos de

lógica, no se puede explicar que dos ideas compartan la misma definición y se

cuantifiquen de manera diferente.

10 La definición tampoco coincide exactamente con la de las ROP 2010 “la población objetivo de FONART son los artesanos productores que habiten en Zonas de Atención Prioritaria, o que vivan fuera de éstas y se encuentren en situación de pobreza patrimonial” (ROP 2010, p. 3).


29

Tabla 2. Comparación entre definiciones de PO.

Definición de PO en ROP 2008 Definición de PO en ROP 2009 Definición de PO en la EED 2009-

2010

La población objetivo de FONART son productores que están en condiciones de pobreza de acuerdo a los criterios establecidos por el CONEVAL.

La población objetivo de FONART son los artesanos productores en condiciones de pobreza.

Artesanos productores en situación de pobreza patrimonial.

Fuente: elaboración propia con base en las ROP 2008, 2009 y la EED 2009-2010.

Una segunda inconsistencia detectada se refirió al análisis del indicador

"Porcentaje de ejecución de presupuesto para capacitación". La evaluación declaró que

era "pertinente, relevante y confiable" y que "mide la capacidad ejecutora de los

recursos del programa en la vertiente de capacitación"; no obstante la definición del

indicador declara que este refleja los "artesanos capacitados para mejorar el proceso y

la calidad de su producto". Esto quiere decir que no existe consistencia entre el título

del indicador y su definición (una cosa es el presupuesto y otra es el número de

artesanos capacitados), y en ese sentido se debería haber señalado que la definición no

corresponde con el título ni con el método de cálculo y, por lo tanto, se hubiera tenido

que ajustar, por ejemplo: porcentaje de los recursos que se ejercen para la capacitación

de artesanos entre el total del monto de recursos programados para su capacitación.

El contraste entre la EED 2008-2009 y 2009-2010 reveló que tienen opiniones

diferentes sobre la confiabilidad de la fuente de datos pues si bien la EED 2008-2009

señaló que los datos de una encuesta a los beneficiarios podrían no ser del todo

confiables; la EED 2009-2010 no comentó nada al respecto y en su valoración identificó

a dichos indicadores como claros.


30

Por último, de acuerdo con la EED, el FONART implementó en su totalidad las

acciones que se plantearon en la ECyR 07, no obstante, una de las observaciones de la

ECyR 07 fue "definir entre los objetivos estratégicos del FONART el fomento y la

comercialización de las artesanías con un enfoque dirigido a todos los artesanos que

cumplan con los requisitos de promover la actividad artesanal del país preservando

técnicas y colores tradicionales y, adicionalmente, establecer un programa específico

que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención

serían las que operan hoy en FONART (capacitación, financiamiento, adquisición y

concursos)". Esta sugerencia no fue retomada por las EED y podría ayudar a refinar las

definiciones de Población Potencial y Población Objetivo así como su cuantificación.

3.1.4 Evaluación de Específica de Desempeño 2010-2011 (EED10-11)


realizada nuevamente por el Colegio Mexiquense. Se evaluó el desempeño del FONART

a la luz de sus indicadores. Para llevar a cabo esta evaluación se realizó un trabajo de

gabinete en el que se revisaron distintos documentos del programa entre los que se

encuentran: el PASH –para revisar la información reportada en la Cuenta Publica sobre

el resultado definitivo de los indicadores-, los documentos de seguimiento a los ASM,

Evaluaciones previas, la cobertura que ha tenido el programa así como la evaluación de

su presupuesto.

Los principales resultados de la EED 10-11 se concentraron en hallazgos de

evaluaciones previas así como las acciones realizadas a partir de recomendaciones,

mejoras en la definición de PO, perspectiva de género en los indicadores y las

limitaciones del mecanismo utilizado para evitar duplicidad con otros programas

federales.

Con respecto a los principales hallazgos de Fin y Propósito, la EED destacó el

trabajo en ciertas tareas de seguimiento a los beneficiarios que, de concretarse,

permitirían determinar si el programa contribuye a mejorar los ingresos de los


31

artesanos. Por otro lado, al revisar los ASM, producto de evaluaciones pasadas, la EED

destacó los esfuerzos realizados por el FONART para perfeccionar su MIR, el trabajo en

curso por estudiar la factibilidad de darle seguimiento a los beneficiarios, la conclusión

de las estrategias de corto, mediano y largo plazo, así como la estrategia de cobertura y

del padrón de beneficiarios. La EED también identificó que para el año 2009 se habían

implementado la totalidad las acciones de la ECyR 07 y se resaltó la adecuación de la

estructura organizacional del FONART a través de la elaboración de un Manual de

Organización General y el mecanismo para prevenir duplicidades con otros programas

Federales. Sin embargo, se mencionó que este mecanismo se refiere a una pregunta en

el CUIS, y presenta importantes "limitaciones porque no garantiza que se dupliquen los

apoyos en la medida que depende de la buena fe del potencial beneficiario" (EED 2010:

4).

La mejora a la definición de PO volvió identificarse como uno de los resultados

destacados de la evaluación. El cambio se refiere a la inclusión de “los artesanos que

habitan en las Zonas de Atención Prioritaria, y los que habitan fuera de éstas y se

encuentran en pobreza patrimonial”.

Con respecto a indicadores con perspectiva de género la EED 10-11 destacó que

se observó “una incipiente preocupación por elaborar mecanismos concretos del

programa que propicien una igualdad de oportunidades entre hombres y mujeres"

(ibíd).

La revisión de la EED 10-11 permitió agrupar sus recomendaciones en tres temas

generales: el diseño, la definición de PO y la planeación del programa. Respecto al

diseño del programa se recomendó ajustar su estructura organizacional a las cuatro

vertientes que tiene, continuar mejorando la MIR cuidando los indicadores de

componentes, servicio y gestión; estos últimos tienen espacio de mejora si

desarrollaran indicadores que midieran la eficacia del programa en términos de

tiempos programados, por ejemplo: tiempo promedio para la recepción de la solicitud y

la respuesta, tiempo promedio para cobrar los apoyos, etc. Con respecto a los

indicadores de Propósito se sugirió avanzar en una medición objetiva, en vez de la


32

percepción de los beneficiarios, sobre la mejora en su condición productiva. Por último,

la EED remarcó que es “imprescindible disponer de información desagregada por sexo,

así como elaborar un plan de mediano y largo plazo para incorporar la perspectiva de

género al programa” (EED 2010: 13).

La EED enfatizó la importancia de finalizar los siguientes proyectos: un plan

estratégico de corto, mediano y largo plazo, una estrategia de cobertura de corto,

mediano y largo plazo y, el Padrón de Beneficiarios. Por último, la EED mencionó lo

importante que sería adecuar la PP a la nueva medición multidimensional de pobreza.

Las fortalezas identificadas por la revisión de la EED se concentraron en temas

de diseño y operación. En el rubro de diseño, destacó la mejora en la definición de PO

gracias a la incorporación de Zonas de Atención Prioritaria y la medición de la pobreza

patrimonial; también se señaló que fortalecieron la confiabilidad de los indicadores de

propósito mediante la reelaboración de su línea base. En el rubro de operación, se

identificó que se habían concretado algunos mecanismos para evitar duplicidades con

otros programas y que se estaba analizando la factibilidad de un estudio de

seguimiento de los beneficiarios –lo cual podría ofrecer una alternativa a la medición

del incremento del ingreso de los beneficiarios-.

Al analizar las observaciones realizadas por la EED se infiere que las debilidades

del FONART se referían a la ausencia de documentos metodológicos y de discusión

teórica sobre la construcción de sus indicadores, métodos de cálculo y dificultades

operativas que impactan en la confiabilidad de los indicadores. Otra debilidad que se

identificó fue la necesidad de que los indicadores de resultados del FONART fueran

objetivos y no fueran productos de las opiniones de los beneficiarios. Por último,

también se podría considerar como una debilidad el hecho de que los indicadores de

propósito y componentes hubieran sido declarados muy parecidos.

Esta EED incorporó las preocupaciones generales de las EED anteriores: la

necesidad de terminar un plan estratégico, así como una estrategia de cobertura,

orientar los indicadores de resultados hacia mediciones más objetivas, incorporar en la

MIR indicadores relativos a los tiempos de entrega de distintos procesos, evaluar la


33

necesidad de realizar un estudio de seguimiento a los beneficiarios y la evolución

constante de la definición de PO.

La lectura de la EED 2010-2011 no reveló que se hubieran atendido todas las

recomendaciones que se detectaron en la EED 2009-2010, pues no se identificó el

seguimiento que se hizo a la recomendación respecto al indicador de "Porcentaje de

artesanos que declararon mejora en la calidad de su producción después de participar

en los concursos" para el que se señaló que requería de mayor claridad conceptual para

ser confiable (por otra parte la EED 2009-2010 tampoco hizo recomendaciones

concretas de mejora). Vale la pena destacar que en esta evaluación la definición de PO

y su cuantificación sí correspondieron a un subconjunto de la PP.

3.1.5 Evaluación de Consistencia y Resultados 2011- 2012 ( ECyR 11-12)

El FONART estuvo sujeto a una Evaluación de Consistencia y Resultados en el periodo

de 2011-2012. La ECyR 11-12 evaluó la consistencia y orientación a resultados del FONART

con la finalidad de proveer información que retroalimentara su diseño, gestión y

resultados. La evaluación analizó los siguientes temas: diseño, planeación estratégica,

cobertura y focalización, operación, percepción de la población atendida y la medición

de los resultados. Para realizar esta evaluación se realizó trabajo de gabinete en el que

se revisaron los resultados finales de la MIR, los ASM, análisis de la cobertura del

FONART así como de su presupuesto y evaluaciones previas al programa.

Los resultados de la ECyR 11-12 se pueden agrupar en los siguientes grandes

temas: diseño, planeación, cobertura, operación, percepción de la PO y medición de

resultados. Entre los resultados destacados relativos al diseño del FONART se encontró

el que hubiera cumplido con los requisitos administrativos de tener un diagnóstico, una

justificación, una vinculación con objetivos sectoriales, además de estar alineado con

los objetivos del milenio. Para la realización de la ECyR 11-12 el FONART también contó

con una definición de PP y una metodología para su medición. Otra de las conclusiones


34

respecto al análisis del diseño del FONART fue que existía correspondencia entre las

ROP y la MIR.

Por su parte, los principales resultados respecto a la planeación del FONART, se

refirieron a la subestimación de la PO (por lo cual la PA siempre ha superado a la PO) y a

la falta de evidencia sobre la contribución del programa para mejorar el ingreso de los

beneficiarios. Los hallazgos positivos relacionados con la planeación se refirieron a las

mejoras en el Plan Operativo (ya que ahora incorporó misión, visión y objetivos del

programa, así como actividades y componentes) y a la generación de información que

le permitió identificar si estaba cumpliendo con sus actividades y componentes.

La ECyR 11-12 señaló que la cobertura creció sistemáticamente durante la

administración. La ECyR 11-12 ofreció más hallazgos con relación a la operación del

FONART pues, para empezar, destacó que el programa registró mejoras en sus ROP

respecto a los montos económicos para los beneficiarios (para las vertientes de apoyo

a la producción y la comercialización), pero que es un proceso que debe continuar y

que el siguiente paso sería documentar una serie de acciones que el programa realiza

pero que no están contempladas en las ROP, por ejemplo la asistencia a espacios y

eventos artesanales, registro de marca, renta, construcción o acondicionamiento de

espacios artesanales, inclusión de niños como beneficiarios (en la vertiente de

Concursos de Arte Popular), entre otros.

En el área de percepción de la PO, la evaluación concluyó que el programa contó

con 10 ítems dicotómicos para medir el grado de satisfacción de los beneficiarios, lo

cual demostró el interés por conocer la percepción que tiene la población atendida. Sin

embargo, las metas establecidas para los mismos deberían ser revisadas, ya que es

prácticamente un hecho, independientemente de lo que suceda, que éstas se alcancen,

lo cual sugiere que han sido subestimadas. Una ausencia considerable fue la falta de

evaluaciones externas que les hubieran permitido identificar el impacto del programa

en términos de Fin y Propósito.

Las recomendaciones de la evaluación se refirieron al diseño, la planeación, la

operación y la percepción de la PA. Para refinar el diseño del FONART se recomendó


35

mejorar la calidad del diagnóstico y fortalecer su justificación. La ECyR 11-12 también

indicó la necesidad de homogeneizar los términos utilizados en los distintos

documentos del programa (por ejemplo, en el Documento Estratégico y en el

Diagnóstico se refieren con términos diferentes a la PP en algunos casos se refiere a

indígenas y en otros a artesanos en pobreza y en otros a artesanos en pobreza

patrimonial). Finalmente, con respecto a los indicadores de resultados la ECyR 11-12

consideró recomendable revisar su definición, cuidando que se midieran los efectos del

programa en términos de Fin y Propósito.

Por otra parte, la ECyR 11-12 consideró que la planeación del FONART podría

mejorar si precisaran la definición de la PP y PO, no obstante, reconoció que “esto no

puede ocurrir en el corto plazo dado que la política social en su conjunto se encuentra

en un periodo de alineación a la medición de pobreza multidimensional” (ECyR 2011: 3).

Para apuntalar la estrategia de cobertura del programa se sugirió que el Documento

Estratégico contara con un apartado para este tema. Respecto al Documento

Estratégico del FONART la ECyR 11-12 consideró necesario reforzar su justificación sobre

por qué “el oficio de artesano es una actividad económica que forma parte de este

patrimonio cultural inmaterial, pero esto sólo se menciona, no se justifica” (ECyR 2011:

9). La evaluación también consideró necesario justificar teórica o empíricamente el

hecho de que la intervención del FONART sea la mejor opción de política pública. Con

respecto a la operación del FONART, la ECyR 11-12 consideró que hay actividades que el

programa realizó y que no están contempladas en las ROP y por lo tanto, no se pueden

documentar.

Por último, para mejorar el componente de medición de la percepción de la PO

la ECyR 11-12 recomendó mejorar el diseño y el método del instrumento para medir el

grado de satisfacción de los beneficiarios refinando la definición conceptual y empírica

de satisfacción, y usando una escala numérica del 1 al 10, para tener mayor varianza. Por

otro lado, se indicó que las metas se deben establecer con el fin de lograr los objetivos

de Fin y Propósito del programa, y no con el fin de cumplir un requisito administrativo.

Finalmente, la ECyR 11-12 manifestó que las limitaciones presupuestales no se pueden


36

convertir en la justificación para no realizar evaluaciones de impacto o de seguimiento

a los beneficiarios, para superar este obstáculo se recomienda explorar alternativas

viables económicamente y sólidas desde un punto de vista técnico.

La mayoría de las fortalezas identificadas por la ECyR 11-12 se refirieron a

características del diseño y el uso de las evaluaciones. De tal manera que se resaltó el

que el FONART hubiera usado las recomendaciones de las evaluaciones externas para

mejorar su operación, entre las recomendaciones destacó la unificación del padrón de

beneficiarios, la reducción de tiempos de entrega de las piezas que participan en los

concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y

en el proceso de capacitación –salvo por el padrón unificado de beneficiarios, no se

identificaron estas recomendaciones en las evaluaciones revisadas en este análisis.

También se identificaron como fortalezas el que el Fin y Propósito del programa

contribuyeran a la solución del problema identificado y estuvieran claramente

definidos. En ese sentido, la evaluación consideró que la lógica vertical y horizontal del

programa se validaron en su totalidad. La lógica vertical de la MIR se validó pues contó

con los elementos que garantizan el logro del Propósito y Fin; y la lógica horizontal de

la MIR se validó porque los indicadores son claros, relevantes, económicos, adecuados,

monitoreables, y los supuestos son los adecuados para el logro del nivel inmediato

superior.

Las debilidades identificadas por la ECyR 11-12 se refirieron a problemas de

estimación de metas y la falta de evidencia del impacto del programa. Respecto al tema

de metas la ECyR 11-12 declaró que “[l]a definición de población objetivo ha sido

subestimada a lo largo de la Administración, con lo cual la población atendida resulta

muy por encima de la población objetivo” (ibíd.: 3), y relacionado a este tema se sumó

el hecho de que, al momento de la ECyR 11-12, no se contaba con una Estrategia de

Cobertura.

El otro conjunto de debilidades identificado se refirió a que el programa no

cuenta con evidencia sobre su contribución “a mejorar las fuentes de ingreso (y/o la

condición productiva) de los artesanos que habitan en Zonas de Atención Prioritaria”


37

(ibídem), la falta de evidencia se extiende a una falta de evaluaciones que permitan

identificar los logros en términos de Fin y Propósito. Se recomendó que ante las

limitaciones presupuestales se buscaran alternativas viables económica y

técnicamente.

Se considera que la evaluación ofreció una visión general sobre el FONART y sus

principales obstáculos, pero no abordó uno de los problemas señalados regularmente

en las evaluaciones previas, la subjetividad de los indicadores de propósito. La

evaluación también reveló que las debilidades se concentran en el área de planeación

(particularmente la estimación de su PO) y en la de medición de resultados.

Llama la atención que no se hubiera mencionado el tema de la fuente de

información subjetiva con la que se alimentan los indicadores de propósito del

programa. Esta fue una discusión que estuvo presente a lo largo de las evaluaciones

previas pero que fue obviada.

Por otra parte, se detectaron algunas inconsistencias dentro de la evaluación. La

primera radica en que la ECyR 11-12 señaló como fortaleza del programa la validación de

su lógica vertical, no obstante, también señaló que se deben revisar los indicadores de

resultados, cuidando que se cumpla con el requisito de medir los efectos del programa

en términos del fin y el propósito. Se considera que no se puede validar la lógica

vertical si los indicadores de resultados no miden los efectos del programa.

Otra inconsistencia de la ECyR 11-12 residió en que se señaló que no se contaba

con información para saber si el programa cumplía con el indicador de satisfacción de

los beneficiarios, aún cuando en otro apartado de la evaluación se hizo referencia a “un

instrumento de 10 ítems dicotómicos para medir el grado de satisfacción de los

beneficiarios”, e incluso se propusieron algunas mejoras para dicho instrumento.

3.1.6 Evaluación de Satisfacción 2012

FONART estuvo sujeto a una evaluación de satisfacción en el año 2012, realizada por la

Universidad Autónoma de Tamaulipas. El objetivo del proyecto consistió en la


38

elaboración de una metodología homogénea que permitiera estimar la satisfacción de

los beneficiarios de los Programas Sociales a cargo de SEDESOL. Para este fin, en un

primer momento, se construyó un modelo teórico para estimar el Índice Mexicano de

Satisfacción de los Beneficiarios de los Programas Sociales (IMSAB), a través del uso de

ecuaciones estructurales con variables latentes. Posteriormente, se llevó a cabo la

estimación de los índices de satisfacción de cuatro programas sociales, entre ellos

FONART, a través del Método de Estimación de Máxima Verosimilitud.

Los principales resultados de la evaluación indican que el FONART cumple sólo

“regularmente” con las expectativas del beneficiario, por lo que el nivel de satisfacción

fue de 7.20 (en una escala del 1 al 10). Esto tiene que ver con dos cuestiones

fundamentales. En primer lugar, los beneficiarios perciben poca amabilidad por parte

del personal del programa y de quienes les entrega el apoyo; en segunda instancia, los

beneficiarios perciben un efecto “regular” en sus condiciones de vida tras haber

recibido el apoyo, lo cual se explica por el hecho de que probablemente los artesanos

continúan padeciendo problemas de ingresos.

En el informe de la evaluación se presentan los resultados del índice, más no se

hace referencia a las fortalezas, oportunidades o debilidades de los programas a los

que se aplicó el IMSAB. En consecuencia, tampoco se hicieron recomendaciones para

mejorar la satisfacción de los beneficiarios de los apoyos de los programas sociales.

Se considera que en el informe de la evaluación se explica claramente el proceso

a través del cual se creó el IMSAB; sin embargo, no se hacen explícitos los rangos

utilizados para determinar a qué nivel de satisfacción corresponde el puntaje obtenido

en el índice. Es decir, no queda claro por qué el nivel de satisfacción “regularmente

satisfecho” entra en un rango que abarca el puntaje 7.2. Aclarar este punto resulta

importante para darle validez externa a la metodología utilizada en la creación de este

índice.

3.1.7 Conclusiones


39

Durante el periodo analizado el FONART fue evaluado de manera regular. La ECyR 07

hizo recomendaciones pertinentes que ayudaron a mejorar la operación del FONART,

entre ellas se destacó la necesidad de elaborar un documento diagnóstico y un plan de

cobertura de mediano y largo plazo, la necesidad de incorporar una CUIS en las

solicitudes de acceso al programa y la importancia de tener una estructura

organizacional adecuada a las vertientes de beneficios que ofrece el programa.

Las EED que se le realizaron al FONART fueron dispares respecto a su utilidad y

recomendaciones puesto que la primera (2008-2009) realizó un análisis poco crítico,

del cual se derivaron recomendaciones poco relevantes para lograr una verdadera

mejoría en el desempeño del programa; por el contrario, las siguientes evaluaciones

revisaron con mayor detalle los indicadores, la cobertura, los ASM y detallaron mejor

sus recomendaciones.

La revisión de las EED 09-10 y 10-11 muestran que el FONART trabajó de manera

continua para precisar la definición de su PO, de tal manera que cada año se reconoció

el esfuerzo por mejorarla. Por otro lado, la revisión de estos documentos también

reveló que los evaluadores presentaron opiniones encontradas sobre a los mecanismos

implementados por el FONART para evitar duplicidades ya que para la EED 09-10 se

consideró una mejora el haber desarrollado dicho mecanismo –incorporado en la

solicitud para ingresar al programa-, mientras que para la EED 10-11, éste fue motivo de

crítica por consistir solamente en una pregunta dentro de la solicitud de incorporación

al programa. Entre estas evaluaciones también existe una falta consenso respecto a la

confiabilidad de los indicadores que provienen de la opinión de los beneficiarios.

En todas las EED se identificó que los indicadores de desempeño del programa

superaron sus metas de manera considerable y ninguna recomendó revalorar la forma

en la que se establecían las metas del programa. Se considera que ésta es una ausencia

importante pues uno de los objetivos de las EED es revisar el desempeño del programa

a la luz de sus indicadores, y en el caso de ser necesario, recomendar los ajustes

pertinentes.


40

La segunda evaluación de consistencia y resultados que se revisó del FONART

(2011), si se le compara con la primera, ilustra muchos de los cambios realizados por el

programa: elaboración de documento diagnóstico, una definición de PO, PP y una

metodología para su medición, una elaboración de un padrón de beneficiarios y un

instrumento para medir la satisfacción de sus beneficiarios. Sin embargo, señaló un

defecto importante de la planeación del programa que se refirió a la subestimación de

la PO –que lo mismo se podría decir respecto al desempeño de sus indicadores- y la

falta de evidencia sobre el impacto del programa para mejorar el ingreso de sus

beneficiarios.

En general, la mayoría de las evaluaciones revisadas coincidieron en recomendar

mejorar la definición y cuantificación de PO, misma que fue cambiando regularmente, y

en la importancia de contar con un diagnóstico del problema así como en un programa

de mediano y largo plazo.

3.2 Evaluaciones de programas similares a FONART

A FONART se le puede comparar con una serie de intervenciones que se han llevado a

cabo en distintos países con el fin de estimular el sector de las artesanías y mejorar la

situación económica de sus beneficiarios a través de capacitaciones en cuestiones

productivas (véase la Tabla 3). A pesar de que las evaluaciones revisadas para estas

intervenciones, en muchos casos, se titulan de impacto, en realidad se aproximan más

a evaluaciones de resultados pues en ningún caso se realizó una evaluación en la que se

buscara aislar el efecto del programa y se comparara a los beneficiarios con un grupo

de control. Sin embargo, las evaluaciones son reveladoras del tipo de indicadores a los

que podría recurrir el FONART y tener una mejor percepción del efecto que está

logrando sobre sus beneficiarios. En esta sección se analizaron los programas HACER

(Honduras, 2003), Microenterprise and Small Producers (Perú, 2005), Fostering Craft

Enterprise and the Voluntary Buisness Assistance Sector (Rusia, 2005), Sharan Craft

Center (Armenia, 2005), Aid to Artisans (Ghana, 2005) y Mpukunyoni Craft Market


41

Project (Sudáfrica, 2005), realizados, en su mayoría, con el apoyo de la Agencia del

Gobierno de Estados Unidos para el Desarrollo Internacional (USAID) (véase Anexo 2).

Se seleccionaron estas intervenciones porque tienen objetivos similares a los del

FONART y realizan actividades similares. En general las evaluaciones revisadas

permitieron identificar que este tipo de programas tienen resultados positivos sobre el

ingreso de los artesanos beneficiarios, sobre el sector de las artesanías (en general

medido a través de su volumen de exportación), además de que una vez terminada la

intervención la mayoría de los proyectos han continuado operando de forma autónoma

y de manera exitosa.

Tabla 3. Evaluaciones analizadas de programas similares al FONART

Nombre del programa País donde se implementa Tipo de evaluación Año de la

evaluación HACER: Honduran Artisans Catalyzing Economic Revitalization

Honduras Resultados 2003

Microenterprise and Small Producers Support Project

Perú Impacto 2005

Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia

Rusia Impacto 2005

Sharan Craft Center Armenia Desempeño 2005

Aid to Artisans Ghana Ghana Resultados 2005

Mpukunyoni Craft Market Project Sudáfrica Impacto 2005

Fuente: elaboración propia

3.2.1 HACER: Honduran Artisans Catalyzing Economic Revitalization

El programa HACER se implementó en Honduras y se revisó su evaluación de resultados

realizada en 2003. HACER buscó aumentar las oportunidades de empleo y el acceso a

los mercados de los artesanos de bajos ingresos en zonas urbanas y rurales; así mismo

buscó aumentar la capacidad de producción y marketing de las artesanías hondureñas.

Por último, buscó integrar a los artesanos hondureños al mercado internacional. Las

actividades que realizaron se hicieron en comunidades seleccionadas por el tipo de

habilidades, la necesidad de asistencia técnica y probabilidad de vender los productos

(marketability). Las actividades que se desarrollaron fueron: desarrollo del producto y


42

diseño, talleres de control de calidad y eficiencia en la producción, un programa de

entrenamiento en producción y un programa de entrenamiento sobre el mercado

(realizado en Estados Unidos), participación en ferias internacionales y el desarrollo de

mercados para exportar. Se considera que la población objetivo de FONART y HACER

era similar, así como los objetivos que buscaba (aumentar las oportunidades de

empleo, acceso a los mercados y capacidades de producción).

Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, de su

revisión se puede inferir que el programa tuvo un efecto sostenible pues, gracias a los

entrenamientos ofrecidos, los artesanos tuvieron la capacidad de innovar

constantemente y de ponerse al corriente de las tendencias del mercado. El estudio

reveló que el programa tuvo un efecto positivo sobre la autoestima de los artesanos

beneficiarios. Otra virtud fue que se fortalecieron las redes del sector artesanal y se

espera que, en un futuro, tenga mayor dinamismo gracias a la competencia interna del

sector y ayude a preservar tradiciones culturales.

Entre las debilidades del programa se podría señalar la corta duración que tuvo

(2.5 años). El desempeño del programa estuvo influido por un entorno caracterizado

por una cultura identificada como poco empresarial, ajena al funcionamiento del

mercado y a las reglas básicas de administración.

El estudio buscó medir el impacto directo e indirecto del programa, de acuerdo

con sus objetivos. También estudió la sostenibilidad del impacto logrado, identificó

efectos no anticipados del programa sobre el sector de artesanías hondureño, otro de

los objetivos de la evaluación fue identificar lecciones aprendidas de la intervención y

cuáles son las necesidades del sector que no se han atendido. Para lograr sus objetivos

la evaluación recopiló información cualitativa y cuantitativa, combinado entrevistas

(140 artesanos, líderes artesanales, socios exportadores, compradores de las artesanías

y personal de Aid to Artisans –ATA-), visitas a las oficinas y a las tiendas. Los datos se

obtuvieron de los reportes que cada tres meses la organización HACER enviaba a

Estados Unidos sobre ventas, creación de empleos, empresas artesanales beneficiadas

por el programa, etc.


43

Los resultados de la evaluación se pueden agregar en 3 conjuntos: las

actividades realizadas, el efecto del programa sobre los artesanos y sobre el sector

artesanal. De acuerdo con la evaluación, con las actividades del programa se benefició a

2, 209 artesanos (la meta era de 2000). De los beneficiarios, 70% fueron mujeres, y se

estimó que el programa influyó la vida de 8,000 individuos. Se ofrecieron 1,748 días de

entrenamientos en temas diversos y asesorados por profesionales de las industrias de

regalos, accesorios y productos para el hogar. El costo de incorporar nuevos

beneficiarios disminuyó con el tiempo, sobre todo después de la fase inicial en la que

incorporó el mayor número de artesanos.

El proyecto terminó 6 meses antes de lo planeado, sin embargo en dos años y

medio cubrieron 70% de la meta en términos de ingresos por las ventas de artesanías

(USD $614,000 de $800,000). Así mismo, las proyecciones reportadas por la evaluación

sobre las ventas, una vez que hubiera terminado la evaluación, eran positivas.

El proyecto generó aproximadamente 800 trabajos u oportunidades de generar

ingresos para 800 artesanos; la evaluación estimó que estos trabajos deben haber

generado, en promedio, un ingreso de USD$ 2,300 anuales, lo cual representó un

ingreso mensual promedio de USD$164 (entre 35 y 42% por encima del salario mínimo

en Honduras). El aumento en el ingreso de los artesanos tuvo efectos positivos sobre

sus familias pues en algunos casos aumentaron los recursos destinados para la

educación de sus hijos, en la infraestructura de sus hogares (pisos de concreto) o en la

autoestima de los beneficiarios.

La evaluación se avocó a conseguir principalmente información de tipo

cualitativa para dimensionar y contextualizar el análisis de los indicadores del

programa. No fue propiamente una evaluación de impacto en cuanto que no existió un

grupo de control. No obstante, con la información recabada por el programa y las

entrevistas, se realizó un reporte bastante completo que señaló el desempeño del

programa respecto a sus metas e integró las opiniones de los actores principales.

Hay que tener en cuenta que esta es una intervención realizada por el gobierno

estadounidense, que sólo duró dos años y medio (en vez de los 3 que estaba


44

programado) y que sólo funcionó en 8 de las 17 municipalidades de Honduras. La

información en la evaluación no deja del todo claro cómo se llevó el registro de las

ventas de las artesanías ni sobre sus precios. Aunque no fue una evaluación de impacto

propiamente dicha, pues careció de grupo de control, logró ofrecer una perspectiva

bastante general sobre el desempeño del programa gracias al haber contado con

objetivos claros e indicadores relevantes para monitorear su desempeño –en este caso

todo estaba claramente dirigido a medirse en términos económicos.

3.2.3 Microentreprise and Small Producers Support Project (MSP)

El segundo programa revisado fue el de Microentreprise and Small Producers Support

Project (MSP) y se implementó en Perú entre los años 1994-2002. El objetivo del

programa fue reducir la pobreza entre los artesanos a través un aumento en las

exportaciones de artesanías. Las principales actividades realizadas fueron 18

presentaciones en exhibiciones internacionales, identificación de compradores para las

artesanías y 850 días de talleres sobre el diseño y producción. El programa compartía

con el FONART el buscar mejorar la calidad de vida de sus beneficiarios a través del

mercado de las artesanías.

Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, de su

revisión se puede inferir que en el primer grupo se cuenta el que hubieran

documentado ampliamente todas sus actividades y los logros del programa como el

haber mejorado los ingresos de los beneficiarios, así como el aumento en las ventas por

exportaciones de artesanías. Por el contrario, entre las debilidades se podría considerar

que el número de artesanos fue muy pequeño –con relación al sector de artesanías en

Perú-, el financiamiento insuficiente impidió el desarrollo exitoso de varias empresas lo

cual evitó que más artesanos se beneficiaran del programa. La evaluación también

identificó que hubo problemas de agenda entre la organización encargada de la

operación del programa en Perú y la organización representante de USAID. Otra

debilidad importante fue la sostenibilidad del proyecto pues los artesanos beneficiarios


45

sienten que las relaciones establecidas con los compradores internacionales no están

suficientemente consolidadas, lo cual hace dudar sobre la sustentabilidad de estas

relaciones y las exportaciones de artesanías.

La evaluación buscó medir el impacto que tuvo el programa, evaluar su

desempeño y derivar algunas lecciones sobre la intervención en Perú. Para lograr sus

objetivos la evaluación recopiló información cuantitativa y cualitativa, la cual se obtuvo

por medio de encuestas (se encuestó a 65 artesanos principalmente ubicados en Lima,

10 exportadores, 8 compradores de las artesanías y 5 miembros de Aid to Artisans –

ATA-). La parte cuantitativa provino de datos que se obtuvieron de los reportes que

cada tres meses la Asociación de Exportadores de Perú (ADEX) y ATA tenían que en

enviar sobre ventas, creación de empleos, empresas artesanales beneficiadas por el

programa, etc.

Los resultados de la evaluación se pueden integrar en dos conjuntos, los efectos

sobre los artesanos y los efectos sobre el mercado de las artesanías. Respecto a los

efectos sobre los artesanos, la evaluación reveló que en el proyecto participaron 30

exportadores y se ofrecieron talleres a 600 artesanos. De acuerdo con la encuesta, los

salarios de artesanos están tan bien remunerados como cualquier otro trabajo que los

artesanos pudieran desempeñar dadas sus calificaciones. Los trabajos de artesano son

ligeramente más demandantes pues tienen que trabajar entre 6 y 9 horas al día.

La evaluación identificó que era más probable que los artesanos beneficiarios

tuvieran los recursos suficientes para cubrir sus necesidades diarias. La evaluación

también identificó que el programa tuvo un efecto positivo sobre la vida de los

artesanos pues consideraban que tenían más dinero y estabilidad.

De acuerdo con la evaluación, los efectos del programa sobre el sector artesanal

fueron considerables, sobre todo en el sector de exportaciones. El programa tuvo un

fuerte impacto sobre la exportación de artesanías peruanas lo cual revitalizó al sector,

las exportaciones aumentaron de USD $16 a USD $29.8 millones. A pesar de sus logros,

el programa sólo benefició a un reducido número de artesanos.


46

La evaluación buscó conseguir principalmente información de tipo cualitativa a

través de una encuesta. Se averiguó sobre los ingresos en los trabajos que realizaban

antes de dedicarse a ser artesanos de tiempo completo; así como los ingresos de

trabajos alternativos. En la evaluación no dice cómo fue que se seleccionó a los

beneficiarios, y entre los beneficiarios tampoco explicó cómo se seleccionó a los que

serían encuestados. No obstante, con la información recabada por el programa y las

entrevistas se realizó un reporte comprensivo sobre el desempeño del programa

respecto a sus metas y las condiciones de vida de los artesanos.

Hay que tener en cuenta que ésta fue una intervención realizada por el gobierno

estadounidense, que duró 8 años y que en esta ocasión se trabajó directamente con los

exportadores, y sólo de manera indirecta con los artesanos. Habría que analizar por

qué después del tiempo que operó el proyecto los actores involucrados sentían que las

relaciones no están suficientemente consolidadas. Al leer la evaluación se percibe que

hubo una controversia sobre el enfoque de trabajar directamente con los exportadores

que no se aclaró.

3.2.4 Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia

El tercer programa revisado se implementó en Rusia entre los años 1993-1996. Los

objetivos de la intervención en Rusia fueron, en primer lugar, aumentar las

oportunidades de empleo, especialmente para las mujeres; y en segundo lugar,

fortalecer las ayudas de las Organizaciones de las Sociedad Civil (OSC) hacia el sector

artesanal. Para llevar a cabo sus objetivos, el programa realizó talleres de capacitación

a los artesanos, colocó las artesanías en cuatro exposiciones internacionales y facilitó

vínculos con importadores estadounidenses. Se considera que el FONART compartía

con esta intervención las actividades de capacitación a los artesanos así como el interés

por fortalecer el sector artesanal.

Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, su

análisis reveló que en el primer grupo se podría contar el haber mejorado el ingreso de


47

los beneficiarios, o el haber facilitado a un reducido grupo dentro del sector de las

artesanías la transición de una económica controlada a una de libre mercado. También

se podría considerar una fortaleza el que se hubieran mantenido por sí solas las

principales compañías de artesanas ocho años después de que terminó la intervención.

Por el contrario, entre las debilidades se podría considerar el hecho de que la

innovación en cuanto al diseño de productos ha sido mínima desde que terminó el

proyecto o que los salarios de las artesanas son muy bajos.

Ocho años después de haber terminado la intervención, la evaluación midió el

impacto que tuvo el programa, así como su sostenibilidad. Para lograr sus objetivos la

evaluación trató de localizar a las OSC con las que colaboró así como a los beneficiarios

para entrevistarlos sobre su vida como artesanos y la influencia del programa. La

brecha temporal entre la intervención y la evaluación puede ser un rasgo positivo en

términos de la posibilidad de conocer los efectos de largo plazo del programa; pero

también puede levantar dudar sobre la confiabilidad de la información.

Los principales resultados del estudio se pueden agrupar en tres categorías: el

tamaño de las ventas, lo que sucedió con las OSC y las empresas que participaron, y el

impacto sobre la vida de las artesanas. De acuerdo con el estudio revisado, las ventas

acumuladas superaron el monto de financiamiento del programa a 4 años de haber

terminado el proyecto; se alcanzaron ventas por USD$60,ooo de artesanías al final del

proyecto.

Por otro lado, la mayoría de las OSC con las que se había trabajado se habían

disuelto. Las principales empresas de artesanas seguían operando y daban trabajo a

169 personas. Adicionalmente, el principal importador americano de productos rusos

daba trabajo a 200 artesanos, lo cual da un total de 369 trabajos que se sostuvieron por

8 años.

En términos de ingreso, las artesanas ganaban 100,000 rublos al mes, esto

significa un ingreso entre 35 y 53% menor que el ingreso per cápita nacional; sin

embargo este salario es mayor que la mayoría de trabajos disponibles para mujeres.


48

La evaluación llevó a cabo un trabajo destacado al buscar a los beneficiarios y

actores principales del proyecto 8 años después de que terminó la intervención. Esta

evaluación reveló información sobre la sostenibilidad del proyecto para el caso ruso –

que se enfocó principalmente en mujeres artesanas. Por otro lado, no es una

evaluación de impacto pues no hay grupo de control y toda la información proviene de

entrevistas.

Hay que tener en cuenta que esta es una intervención realizada por el gobierno

estadounidense, que duró 3 años y que se evaluó 8 años después de que había

terminado, que no se contó un una línea base y que la mayoría de los beneficiarios

fueron mujeres. Un aspecto positivo de la evaluación fue que incorporó un anexo con

los principales indicadores de resultados del proyecto (definición, meta y resultados al

final del proyecto). Estos indicadores podrían servir como sugerencias para refinar los

indicadores del FONART.

3.2.5 Sharan Craft Center (SCC)

El programa Sharan Craft Center se desarrollo en la región de Yerevan, en Armenia

entre 1995-1997. Los principales objetivos del proyecto fueron generar empleos dentro

del sector artesanal, preservar la cultura de artesanías en Armenia y mejorar la calidad

de vida de los artesanos. El proyecto ofreció asistencia técnica en cuestiones

empresariales, realizó talleres con consultores sobre pequeños cambios o

adecuaciones para que sus productos tuvieran mayor posibilidad de insertarse en el

mercado internacional, facilitó la exposición de las artesanías a través de su

presentación en ferias y facilitó el vínculo con importadores. Al igual que el FONART el

programa buscó mejorar la calidad de vida de los artesanos y preservar la cultura de las

artesanías, entre las actividades similares se encuentra el hecho de realizar talleres así

como la exposición de los productos. El programa comenzó a operar en Armenia en un

periodo de transición después de la caída de la Unión Soviética, en esta etapa el país


49

entró en crisis y el desempleo aumentó significativamente. En este escenario muchas

personas calificadas recurrieron a las artesanías para sobrevivir.

Si bien el programa no presentó un apartado específico de Fortalezas y

Debilidades, de su análisis se podría considerar en el primer grupo el hecho de que el

proyecto hubiera sobrevivido 5 años después que terminara la intervención. Otra

fortaleza sería el que hubieran aumentado los salarios de los artesanos y que éstos

fueran, en promedio, mayores al ingreso armenio promedio. En términos del volumen

de venta también se considera que la intervención fue exitosa pues aumentó. Los

artesanos entrevistados consideraron que los consultores externos y los

entrenamientos aportaron habilidades y conocimientos fundamentales para el

adecuado desarrollo del proyecto y su sostenibilidad. Una última fortaleza fue que

llevaron a cabo actividades previas al inicio del proyecto que abonaron a su factibilidad.

Por el contrario, entre las debilidades de la intervención se podría contar el que

fueron muy pocos los artesanos beneficiarios, o que se creó una gran dependencia

sobre la compañía exportadora, de tal manera que si esta quebrara todos los artesanos

se quedarían sin vínculos con el mercado externo. Una última debilidad podría ser que

conforme la economía mejore, existe la posibilidad de que los artesanos busquen

regresar a los trabajos que tenían antes de la crisis.

El estudio buscó determinar los factores que contribuyeron al éxito de la

compañía SCC, enfatizando los insumos provistos por la organización ATA; asimismo

evaluó la sostenibilidad del proyecto al darle seguimiento 5 años después de que

hubiera concluido la intervención. El estudio revisó los documentos y reportes de la

intervención y realizó entrevistas con artesanos (22), consultores, personal de ATA y

SCC así como con consumidores. El estudio se realizó en 2002.

De acuerdo con el estudio, los resultados se pueden agregar entre los efectos

sobre el sector artesanal, el papel de la intervención durante la independencia de la

URSS y los efectos sobre los artesanos. Respecto al sector artesanal, el proyecto

comenzó con la meta de generar empleos para 300 artesanos, cuando éste concluyó

505 estaban empleados. De los 1,100 artesanos que se registraron al principio del


50

proyecto con SCC, 500 seguían activos en 2002, de los cuales 400 eran mujeres.

Durante los primeros 17 meses de vida del proyecto se generaron ventas por USD$ 61,

124. En contraste, los últimos seis meses del proyecto las ventas ascendieron a USD$

129,000. Las ventas continuaron creciendo y cubriendo sus objetivos hasta superar los

USD$ 600,000 en el año 2002.

Entre los resultados de la evaluación destacó que la intervención sirvió para

encarar la crisis por la que atravesó Armenia luego de su independencia de la URSS en

1991, y ante la enorme tasa de desempleo algunas personas encontraron refugio en el

sector artesanal; de acuerdo con la evaluación, muchos artesanos eran ingenieros,

físicos, maestros y trabajadores de fábricas durante la era soviética.

Al inicio del proyecto se buscó que el ingreso mensual de los artesanos se

aproximara a USD$ 30, al concluir el proyecto, el ingreso mensual promedio de los

artesanos armenios durante el tiempo de la intervención fue de USD$ 30.7 lo cual era

164% superior al ingreso promedio nacional. Para 2002, la evaluación halló que el

ingreso de los artesanos beneficiarios había aumentado a USD$ 60 al mes y que era

128% mayor al salario promedio en Armenia.

El estudio ofreció información que permitió contextualizar el desempeño de la

intervención en términos de ventas, empleos generados, la tasa de retorno de la

inversión y la opinión de los beneficiarios. Hay que tener en cuenta que ésta es una

intervención realizada por el gobierno estadounidense, que duró 2 años y que se evaluó

5 años después de que había terminado y que no se contó con una línea base. En esta

intervención la OSC vinculada con ATA se convirtió en una empresa exportadora y de

ventas locales de artesanías y para 2002 empleaba a 500 artesanos. Los indicadores

para medir el éxito del proyecto cambiaron conforme el proyecto se fue desarrollando.

Al inicio del proyecto el indicador principal era el número de artesanos empleados, sin

embargo, hacia el final del proyecto se enfatizó la necesidad de generar suficientes

ingresos para cubrir los costos de operación, logrando así transitar de una lógica de

proyecto de asistencia para las artesanías a una lógica de negocios orientada al

mercado. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de


51

ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer

más rentables los productos artesanales en el mercado moderno y el uso de nuevas

técnicas han sido fundamentales para el éxito de los proyectos.

3.2.6 Aid to Artisans Ghana (ATAG)

El quinto programa revisado se implementó en Ghana entre los años 1993 y 1997. El

objetivo del programa fue mejorar la calidad de vida de los artesanos y de sus familias,

para lograrlo se ofrecieron capacitaciones (sobre la calidad del producto y sobre

cuestiones administrativa), se promocionaron los productos y se creó una red de

consumidores internacionales. El FONART compartía con esta intervención las

actividades de capacitación a los artesanos así como el interés por fortalecer el sector

artesanal.

Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, el

análisis reveló que dentro del primer grupo se podría considerar el que hubiera existido

una buena coordinación entre ATA y ATAG, y el hecho de que al término de la

intervención ATAG hubiera continuado realizando talleres y vinculando artesanos con

importadores fue muy importante. Otra fortaleza de la intervención fue haber logrado

un aumento en el número de empresas artesanales. De acuerdo con las entrevistas

realizadas, el hecho de haber otorgado talleres sobre innovación en los diseños

artesanales resultó en una ventaja para las artesanías ghanesas a la hora de venderse

en el mercado internacional. En general, la intervención resultó en efectos positivos

sobre las vidas de los artesanos en términos de ingresos, ahorros y compra de equipo.

Por el contrario, entre las debilidades de la intervención se podría considerar el

que hubiera existido desconfianza entre el gremio de artesanos ante los miembros de

ATAG una vez que ellos crearon sus propias empresas de artesanías, en este sentido, el

hecho de que ATAG estaba tratando de adoptar una actitud más empresarial la podría

poner en una situación de competencia con los que fueron anteriormente sus

beneficiarios.


52

La ATAG realizó labores relacionadas con las artesanías en Ghana desde 1987, sin

embargo la evaluación se concentró en el periodo de 1993-1997, el tiempo que duró la

intervención financiada por USAID. La evaluación documentó las principales

actividades, los resultados y las lecciones aprendidas del proyecto; y ofreció un

seguimiento a las empresas artesanales que fueron beneficiarias. El estudio revisó los

documentos y reportes de la intervención y realizó entrevistas con artesanos (62),

consultores (2), personal de ATAG así como con consumidores, en total se

entrevistaron a 100 personas. El estudio se realizó en 2003, 6 años después que terminó

la intervención.

Los resultados del estudio se pueden agregar en tres categorías: los resultados

de la intervención sobre el valor de las ventas de artesanías y las actividades realizadas,

el impacto sobre la vida de los artesanos y el impacto sobre el sector artesanal.

Respecto al valor de las ventas acumuladas, éste se aproximó a USD$ 859,000, lo cual

superó el presupuesto destinado por ATA para la operación del proyecto. Las

exportaciones de artesanías de Ghana aumentaron de USD$ 160,000 en 1989 a USD$ 11

millones en 2002; de acuerdo con la evaluación, 60% de este aumento es atribuible a la

intervención de ATA y ATAG. Respecto a las actividades realizadas, el estudio

documentó que entre 11 consultores se impartieron 424 días de talleres sobre diseño,

asesoría de negocios y un programa de entrenamiento para el mercado que se impartió

en Nueva York. Así mismo, se difundió el trabajo de los artesanos en 8 ferias

internacionales y también se coordinaron visitas de los compradores al sitio.

Respecto a la vida de los artesanos, éstos reportaron tener un ingreso 155%

superior al ingreso promedio en Ghana, sin embargo, en promedio pasan 3 meses sin

trabajo.

Por último, el impacto de la intervención sobre el sector artesanal, de acuerdo

con la evaluación, se relacionó con la existencia de 6 empresas artesanales

identificadas como grandes productores/exportadores (es decir contaban con un

modelo de producción en el que vendían colecciones enteras a mercados americanos y

europeos, que contaban con una bodega, daban seguimiento y análisis a sus ventas y


53

que tenían procesos de empaquetado y envío). Así mismo, se crearon más de una

docena de pequeñas y medianas empresas artesanales que no existían antes de la

intervención, y que daban crédito a los talleres de diseño impartidos por la ATA por

haber sido fundamentales para su supervivencia.

El estudio reconoció que es imposible distinguir los impactos derivados de la

intervención realizada con financiamiento de USAID del trabajo realizado por ATAG de

manera posterior. La mayoría de los datos del estudio provinieron de los reportes de

indicadores del programa y esta información se complementó con las entrevistas con

los actores relevantes del proceso que sirvieron para contextualizar los resultados de la

intervención.

Hay que tener en cuenta que ésta fue una intervención realizada por el gobierno

estadounidense, que duró 4 años, se evaluó 6 años después de que terminó y no se

contó con un una línea base. Una carencia de la evaluación es que no reportó cuántos

artesanos se capacitaron, la mayoría de los logros de la intervención se presentaron en

términos de ventas de artesanías. Una conclusión recurrente de las evaluaciones

realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y

administración, las asesorías para hacer más rentables los productos artesanales en el

mercado moderno y el uso de nuevas técnicas fueron fundamentales para el éxito de

los proyectos. En términos de sostenibilidad y ventas de artesanías se podría decir que

la intervención en Ghana fue exitosa.

3.2.7 Mpukunyoni Craft Market Project

El proyecto de mercado de artesanías Mpukunyoni se realizó en Sudáfrica y se evaluó

en 2005. El programa se ubicó dentro del Proyecto de Desarrollo Económico Local del

gobierno local de KwaZulu-Natal, cuyo objetivo general era estimular y apoyar el

desarrollo económico a nivel local. El proyecto surgió por iniciativa de los artesanos en

la municipalidad de Hlabisa, quienes operaban de manera informal en sus casas y se

concibió como una oportunidad para que los artesanos rurales involucrados con la


54

elaboración de prendas tradicionales expusieran sus trabajos y mejoraran su situación

económica al conectarse a los mercados doméstico, provincial, nacional e

internacional. El producto final de la intervención fue la creación de un espacio en el

que los artesanos de la región pudieran concentrarse y exponer sus productos. El

objetivo particular del programa de artesanías era reducir la pobreza mediante la

creación de empleo en el sector de las artesanías, enfocado para mujeres y jóvenes en

la municipalidad de Hlabisa. El proyecto se implementó a lo largo de la ruta R618 para

atender las necesidades los artesanos de la región. Compartía con el FONART el hecho

de que buscaba reducir la pobreza enfocándose al sector de las artesanías y que

buscaba facilitar su acceso al mercado.

Si bien la evaluación no tuvo un apartado de Fortalezas y Debilidades, su revisión

permite inferir que en el primer grupo se podría considerar el hecho de que, de acuerdo

con las entrevistas, los beneficiarios consideran que este era un proyecto importante

en su región, por encima de otros relacionados con parques o aves de corral.

Entre las debilidades se podrían ubicar la falta de una adecuada comunicación

entre las autoridades y los beneficiarios, que redundó en una percepción de que el plan

de negocios no fue adecuadamente monitoreado; además que no se le dio seguimiento

por parte de las autoridades. Un grave problema que tuvo este programa se refirió a la

falta de registros documentales. Finalmente, otro problema fue la falta de continuidad

entre los coordinadores del proyecto, lo cual dio una mala impresión a los beneficiarios

y afecto el liderazgo del proyecto.

La evaluación buscó averiguar cuál fue la utilidad de los recursos destinados

para este programa y si se lograron sus objetivos. Un segundo objetivo de la evaluación

fue probar diferentes herramientas de evaluación y monitoreo. Para evaluar el impacto

del programa se recurrió a una revisión de los documentos del programa así como a

una serie de entrevistas con los actores principales. El análisis documental se hizo con

base en los términos de referencia del programa y el reporte de cierre de actividades,

sin embargo se identificó una falta de soporte documental y no se pudieron localizar las

copias sobre la factibilidad para realizara la intervención o un plan de negocios,


55

documentos que supuestamente tenían toda la información para justificar la

intervención. Por su parte, a las entrevistas asistieron 25 participantes y se les preguntó

su opinión sobre el éxito del proyecto, sus retos y las lecciones aprendidas.

Las entrevistas con los beneficiarios indagaron sobre los orígenes del programa,

a lo cual los artesanos respondieron que había sido producto de una iniciativa de varias

organizaciones artesanales que se congregaban a vender sus artesanías a lo largo de la

carretera –nunca mencionaron que había sido el gobierno-. Los beneficiarios

reportaron que el propósito del proyecto es crear una situación de ingreso estable y

sostenible, consideran que las artesanías son una opción de tiempo completo con lo

que podrán reducir la pobreza.

Respecto al financiamiento los beneficiarios reportaron que los recursos se

usaron para la adquisición de estructura física, poner bardas, entrenamientos de

habilidades artísticas, compra de maquinaria y materia prima. En términos de

perspectiva de género se constató que el proyecto está dirigido por mujeres y sólo un

hombre atendió a los talleres. Respecto las habilidades de los artesanos, los

beneficiarios reportaron que no se sentían con el mismo entrenamiento que otros

competidores en la región y que por lo tanto sus productos eran de menor calidad.

En el sentido estricto, ésta no es una evaluación de impacto pues no se comparó

el efecto de la intervención sobre un grupo de tratamiento y uno de control, más bien

se aproxima a una evaluación de resultados. La mayoría de los datos presentes en el

reporte se refieren a los resultados documentados por el programa y están

contextualizados por las entrevistas a los beneficiarios. Cabe señalar que el equipo

evaluador reportó que entre la documentación otorgada por el programa no se

contaba con estudios de probabilidad de éxito del programa ni un plan de negocios,

supuestamente estos reportes debían contener toda la información necesaria del

proyecto.

Este fue un programa que no tuvo un adecuado registro documental y con

serios errores de comunicación que afectaron su desempeño. En comparación con los

proyectos desarrollados por USAID-ATA se observa que hizo falta un mayor énfasis en


56

la capacitación a los artesanos sobre el uso o modernización de técnicas tradicionales,

así como un mayor esfuerzo por vincular a los beneficiarios con el mercado.

Ciertamente no fue una evaluación de impacto y la información presentada difícilmente

sirve para evaluar el éxito o su desempeño pues no se presentan metas ni resultados ni

recursos utilizados.

2.2.8 Hallazgos del análisis de las evaluaciones realizadas a programas similares al

FONART

Después de la revisión de las experiencias en Honduras, Perú, Rusia, Armenia y Ghana

se podría decir que el modelo de fomento a las artesanías de USAID-ATA funcionó

bastante bien, aunque no tuvo las mismas proporciones que el FONART como se puede

apreciar en la tabla 4. Por otro lado, la evaluación del programa en Sudáfrica ilustra la

importancia de documentar minuciosamente los programas y tener una idea clara de

los objetivos de cada evaluación, más allá de esto la información en dicha evaluación no

fue de mucha utilidad para el FONART. La información en la tabla revela que la

intervención más comparable con el FONART -en cuanto al número de artesanos

beneficiarios- sería la realizada en Perú, sin embargo, dado que el FONART no cuenta

con la información sobre la venta de las artesanías de sus beneficiarios es difícil

comparar sus resultados.

Tabla 4. Comparación entre programas de fomento a las artesanías.

País de origen Honduras Perú Rusia Armenia Ghana México


57

Nombre del programa

HACER: Honduran Artisans

Catalyzing Economic

Revitalization

Microenterprise and Small Producers

Support Project

Fostering Craft Enterprise and the Voluntary

Business Assistance

Sector in Russia

Sharan Craft

Center

Aid to Artisans Ghana

FONART

Tiempo que duró la intervención

2001-2003 1994-2002 1993-1996 1995-1997 1993-1997 1972-2012

Costo del proyecto usd $ 1.2 millones

usd $ 2.4 millones

usd $ 790,000 usd $

537,000 usd $

666,000

MX $ 180,545,449 (ejercido en

2011)

Beneficiarios 2,209 15,000 369 500 * 17,243

Valor de las ventas reportadas en la

evaluación

usd $ 614,000 (valor de

ventas en el último año).

usd $ 23 millones (valor

de ventas acumuladas).

usd $ 60,000 (ventas

reportadas en el último año).

usd $ 2.5 millones (valor de

ventas acumulada

s).

usd $ 859,000

*

Fuente: elaboración propia con base en las evaluaciones revisadas, el cuarto informe trimestral a la cámara de diputados de 2011. No se incluyó información del programa realizado en Sudáfrica por no tener la información para compararlo.

Hay aspectos positivos que se podrían aprender de estas intervenciones como el

énfasis en talleres y cursos para hacer más atractivas las artesanías para el mercado, y

los talleres y capacitaciones sobre temas empresariales y administrativos. Por otro

lado, a la luz de las evaluaciones revisadas se sugiere considerar la pertinencia de que el

FONART mida su desempeño con base en resultados económicos y de volumen de

ventas. Esto permitiría tener indicadores objetivos, y comparables con otras

intervenciones, y también facilitaría dimensionar el impacto del programa sobre la vida

de los artesanos en términos de sus ingresos. También, como se ha visto en otros

países se recomendaría reforzar la vertiente de capacitación tomando como modelo las

prácticas que han probado ser exitosas en otros países y dividir los talleres en

adaptación de los productos a los mercados internacionales, capacitación en temas de

administración y presentación final del producto –esto implicaría prolongar la duración

de los talleres y trabajar de manera más cercana con los artesanos-.


58

Finalmente, sería deseable que se estudiara la supervivencia de los proyectos

artesanales apoyados, tomando como medida de éxito las ventas generadas y en

cuánto tiempo superan el monto del apoyo otorgado. Idealmente, el apoyo del

FONART debería de darse una sola vez y eso debería ser suficiente para que los

artesanos beneficiados lograran insertar sus artesanías en el mercado nacional e

internacional, y fueran capaces de administrar un negocio de artesanías sostenible.

3.3 Agenda de Evaluación

Los resultados de las evaluaciones realizadas a FONART durante el periodo analizado

reflejan un desempeño medianamente satisfactorio del programa. FONART ha

mejorado gradualmente su cobertura y otros aspectos relativos al diseño y operación.

Al mismo tiempo, el análisis de las evaluaciones realizadas al programa pone en

evidencia la preocupación de los evaluadores por contar con una adecuada justificación

sobre por qué es necesario que desde la SEDESOL se destinen fondos para preservar

las artesanías. Esta preocupación, sin duda, es producto de un diagnóstico poco claro

sobre el problema que atiende el FONART.

El análisis de las evaluaciones de programas internacionales similares a FONART

fue útil para, desde un panorama más amplio, definir recomendaciones sobre el

programa. A partir de este análisis, se hace evidente la necesidad de incorporar en los

objetivos del programa el que los proyectos artesanales que se apoyan logren ser

sostenibles. De ahí se sigue que la lógica causal detrás de los resúmenes narrativos

propuestos para la MIR del programa11 estén orientados a dejar en claro que el motivo

por el que FONART es un programa que opera desde la SEDESOL es porque el objetivo

último al que busca contribuir es al de mejorar el bienestar económico de los artesanos

11 El Resumen Narrativo sugerido para el nivel de Fin es el de “contribuir al bienestar económico de los beneficiaros preservando la actividad artesanal entre los artesanos cuyo ingreso es inferior a la línea de bienestar, mediante la generación de proyectos sostenibles”; mientras que el del nivel de Propósito se recomienda que continúe siendo “Artesanos productores cuyo ingreso es inferior a la línea de bienestar, mejoran sus condiciones productivas”.


59

en situación de pobreza, preservando la actividad artesanal. Esto no significa negar la

importancia de otros propósitos asociados a FONART, como la capacidad exportadora

de los artesanos. La lógica causal propuesta supone que estos objetivos solo pueden

ser atendidos desde FONART si los artesanos desarrollan capacidades productivas para

que sus proyectos sean sostenibles.

Es por lo anterior que, con los indicadores sugeridos para la MIR en la sección de

monitoreo, no sólo se busca identificar si los proyectos artesanales son sostenibles,

sino que se pretende identificar si las capacidades de los artesanos realmente están

siendo desarrolladas a través de los apoyos que brinda el programa (lo cual se sugiere

que sea medido a través del aumento que los artesanos tienen en sus ventas).

Se recomienda, por tanto, realizar un nuevo diagnóstico en el que se dé cuenta

de la complejidad del problema que busca atender el programa, pero en el que, al

mismo tiempo, se deje claro que el objetivo último de FONART es el de procurar el

bienestar de la PA, preservando la actividad artesanal.

Tomando en cuenta que en la presente meta evaluación se identificaron algunas

deficiencias en los indicadores de la MIR, se sugiere que la agenda de evaluación (véase

Anexo 3) comience por llevar a cabo, en 2013, una evaluación de indicadores con el fin

de contar con evidencia para determinar si éstos deben ser conservados, o en qué

medida deberán modificarse. El objetivo de esta evaluación es el de verificar que los

indicadores de la MIR del FONART en efecto estén capturando la información para la

cual fueron diseñados. La metodología con la cual se sugiere que se lleve a cabo esta

evaluación es, en primer lugar, mediante un trabajo de gabinete en el cual se realice un

análisis de las definiciones, métodos de cuantificación, frecuencia de medición y medios

de verificación de cada indicador. En segundo lugar, mediante un trabajo de campo que

capture información para confirmar que la información de cada indicador coincida con

los resultados del análisis llevado a cabo en el trabajo de gabinete. Esta evaluación se

justifica porque los indicadores con los que hasta ahora cuenta el programa presentan

algunas dificultades en cuanto a los medios de verificación de la información, con lo

cual la confiabilidad de la información que alimenta los indicadores resulta


60

cuestionable. Esta problemática puede ser identificada en su justa dimensión a través

de la evaluación sugerida, pues con ella será posible comprobar que los indicadores

son suficientes para medir el logro de sus resultados.

Debido a que los resultados de la encuesta de satisfacción realizada al FONART

indican que los beneficiarios no perciben una mejora en sus condiciones de vida tras

haber participado en el programa, se recomienda que, en 2014, se realice una

evaluación de procesos con el fin de conocer cómo los procesos del programa

conducen al logro del Propósito, así como para detectar problemas operativos. De

acuerdo con la evaluación de satisfacción, la mala percepción que se tiene del

programa tiene que ver con cuestiones administrativas, por lo que esta evaluación será

ideal para identificar en qué eslabón del proceso de implementación es en donde

surgen los problemas de eficiencia, que terminan por afectar la percepción de la PA

sobre el programa. Aunque los resultados de esta evaluación deben ser tomados con

cierta reserva debido a que el instrumento presentó algunas fallas en el diseño, se

recomienda llevar a cabo una evaluación de procesos con el objetivo de conocer cómo

los procesos del programa conducen al logro del Propósito. Se sugiere que la

evaluación valore la eficiencia y oportunidad con la que se lleva a cabo la

calendarización del ejercicio de los recursos, así como la entrega de los mismos (sobre

todo en la vertiente de Apoyos a la Producción). Además, para la vertiente de

Capacitación Integral y Asistencia Técnica es importante que se identifique si el

diagnóstico se lleva a cabo en los plazos establecidos, y si el plan de trabajo se cumple

en tiempo y forma. En cuanto a la vertiente de Adquisición de Artesanías y Apoyo a la

Comercialización, se recomienda evaluar el proceso mediante el cual se seleccionan a

los productores cuyas artesanías serán compradas, a fin de que éste coincida con los

criterios establecidos en este sentido en las ROP, a decir, la baja o nula existencia del

producto en los almacenes del FONART. Se recomienda que esta evaluación analice

que la coordinación y celebración de los Concursos de Arte Popular se lleve a cabo con

apego a lo dispuesto en las ROP. Finalmente, en esta evaluación se deberían evaluar

también los mecanismos de recolección de información utilizados para alimentar los


61

indicadores, con el objetivo de conocer si éstos son confiables.

En 2015, se sugiere llevar a cabo una evaluación complementaria con el

propósito de generar evidencia sobre cómo distintos componentes del programa

generan efectos diferenciados en el Propósito y el Fin de la intervención. Muchas de las

decisiones sobre el diseño del programa, o sobre las asignaciones presupuestarias a

distintos componentes del programa, no están sustentadas en evidencia que permita

especificar por qué conviene un diseño sobre otro, o por qué se espera que sea más

rentable asignar mayor presupuesto a un componente determinado. Para esas

decisiones es necesario contar con evidencia que se pueda tener de forma

razonablemente económica, a partir de micro evaluaciones concentradas en averiguar

los efectos diferenciados de diseños alternativos del programa.

Este tipo de evaluaciones no se preguntan sobre los efectos de los programas,

sino sobre la eficacia relativa de atributos de diseño (Banerjee y Duflo:2011; Appel y

Karlan: 2012). En otras palabras, el objetivo de estas evaluaciones no es el de saber si el

programa sirve, sino qué componentes del programa contribuyen mejor al propósito

del programa. En el caso específico del FONART, el objetivo es saber a qué tipos de

apoyos se deben otorgar, a quién se les debe dar el apoyo y cuánto se le debe otorgar.

Es decir, el objetivo es contar con evidencia para definir si los apoyos deben ser

económicos, de capacitación o si deben de consistir en premios; para evaluar la

conveniencia de otorgar distintos apoyos a un mismo beneficiario, logrando que los

apoyos que brinda el programa abarquen toda la cadena productiva, o bien, continuar

distinguiéndolos como se hace hasta ahora; para definir a qué tipo de proyectos se les

debe otorgar el apoyo, y qué montos de apoyo tienen un mejor rendimiento.

Por otra parte, es importante mencionar que los indicadores aquí sugeridos,

congruentes con aquéllos utilizados en programas internacionales similares a FONART,

han sido propuestos para cumplir un objetivo adicional: contar con la información

necesaria para poder evaluar si el proyecto está siendo eficaz. Así, se sugiere que en

2016, se lleve a cabo un análisis de costo-beneficio con la finalidad de conocer cuánto le

está costando al programa generar cada proyecto artesanal, dado el beneficio que


62

genera (en términos de ventas). Para realizar el análisis de costo beneficio, es

importante que, a partir de la entrada en vigor de las nuevas reglas de operación

(2013), se comience a recolectar información acerca de las ganancias que los artesanos

productores generan por concepto de ventas. De hecho, se recomienda hacer un uso

más estratégico del CUIS, esto es, utilizarlo como medio para optimizar los mecanismos

de recopilación de información, para facilitar la realización de cualquier tipo de

evaluación. Para tal fin, se sugiere que la aplicación del CUIS, se realice de manera anual

para una muestra representativa de beneficiarios, o bien, que se cree un instrumento

ad hoc (una encuesta) que sirva como mecanismo de monitoreo para capturar

información relevante para el programa12.

Una vez subsanadas las deficiencias detectadas relativas a los puntos en el

proceso operativo en los cuales la gestión del programa es poco eficaz y eficiente, se

deberá llevar a cabo, en 2017, una nueva evaluación de satisfacción que permita

conocer si los errores en el proceso han sido enmendados de forma adecuada.

Adicionalmente, esta evaluación se justifica porque la encuesta de satisfacción antes

realizada partió de un instrumento estandarizado para varios programas sociales, por

lo que en muchos casos las preguntas no eran pertinentes para conocer la percepción

de la población, dadas las características particulares del FONART. Por ejemplo, se

evaluó de la misma forma a los programas cuyos beneficios se entregan en una sola

emisión, al inicio de la participación de los beneficiarios en el programa, que aquéllos

cuyos apoyos se entregan de manera periódica, a lo largo del tiempo que permanece el

beneficiario en el programa. Además, en el caso del FONART los artesanos productores

se pueden ver beneficiados por uno o varios apoyos, cada uno dirigido a fortalecer un

eslabón de la cadena productiva, por lo que la percepción general de dos beneficiarios

con respecto al desempeño del programa, puede partir de dos experiencias

independientes (y excluyentes) respectivamente.

Ya sea porque el instrumento de medición de la satisfacción de los beneficiarios

12 Si bien el equipo evaluador considera que el CUIS es un instrumento que, de implementarse anualmente, podría servir para monitorear el desempeño del programa; también es consciente de que ésta decisión no depende de la unidad responsable del programa. Por tal motivo, se sugiere como una alternativa el crear un instrumento ad hoc para monitorear el desempeño del programa.


63

haya sido inexacto, o porque los beneficiarios realmente no se encuentren del todo

satisfechos con los beneficios que genera el programa en la PA, es importante llevar a

cabo esta evaluación para conocer la percepción de los beneficiarios sobre los

beneficios que genera el programa. En específico, se recomienda que esta evaluación

mida la satisfacción de los beneficiarios en los siguientes aspectos: la difusión y

accesibilidad de la convocatoria, la complejidad de los trámites para ser beneficiario del

Programa, la oportunidad con la que el beneficiario recibe el apoyo y la magnitud de la

contribución del apoyo otorgado para desarrollar el proyecto artesanal.

En 2017, se recomienda llevar a cabo una evaluación de impacto sólo si el

programa logra mejorar sus métodos para recolectar información sobre los

beneficiarios, así como contar con un diseño acorde a la intervención que debe llevar a

cabo el FONART. Este diseño, a su vez, debe ser consistente con el problema

identificado en el diagnóstico programado para 2013. Como sucede para todos los

programas, es importante contar con evidencia sólida para poder atribuir en el cambio

en el bienestar económico de la PA del FONART a la intervención. De ahí que pueda ser

pertinente llevar a cabo una evaluación de impacto del programa. En ese caso, se

recomienda que la evaluación se lleve a cabo mediante el método de Emparejamiento

por Puntajes de Propensión, seguido del de Diferencia en Diferencias (DD) para

conocer qué parte de la variación temporal en el efecto presente en el grupo de

tratamiento se produce gracias al programa (pues esta metodología identifica la

diferencia en la variación del nivel de ventas antes y después de la intervención, tanto

en el grupo de tratamiento como en el de control). Para conformar el grupo de control

se sugiere evaluar la posibilidad de utilizar la información recuperada por la ENOE, pues

en ella se presentan datos socioeconómicos de las personas y, en el apartado IV del

cuestionario, se especifica el tipo de ocupación que tiene la persona encuestada.

Se sugiere que mediante esta evaluación se valore la incidencia del programa

cuatro aspectos: en las capacidades productivas de los artesanos; en su bienestar

económico, lo cual se sugiere medir a partir del ingreso del hogar y del incremento en

las ventas; en la ampliación de su mercado, mediante una variable que dé cuenta del


64

aumento en el número de compradores, y en la preservación de la actividad artesanal,

lo cual puede ser medido mediante la percepción de los propios artesanos con

respecto a su contribución a la actividad artesanal, así como al identificar si los

artesanos buscan enseñar a sus hijos o familiares las técnicas para la elaboración este

tipo de productos.

Es importante señalar que no se recomienda llevar a cabo esta evaluación antes

de 2017, puesto que se considera que a partir de 2013 y hasta el 2017 es necesario que

el programa cuente con definiciones adecuadas de las poblaciones potencial y objetivo.

En segundo lugar, es deseable que antes de realizar una evaluación de impacto el

programa cuente con datos sobre las ventas de los beneficiarios, así como con un

diseño consolidado, lo cual será resultado de los ajustes realizados a partir de los

hallazgos de distintas evaluaciones programadas para el periodo previo a 2017.

En el periodo 2013-2018, se recomienda llevar a cabo evaluaciones específicas de

desempeño para conocer la evolución de los indicadores, la cobertura y el desempeño

general del programa. Es deseable que se realicen de forma rutinaria (cada dos años),

pues independientemente de los cambios en el diseño a los que se sujete el programa,

las EED permiten conocer la forma en la que se está desarrollando el programa. Una

vez ajustados los indicadores y construidos los mecanismos de recolección de

información (idealmente mediante el CUIS), estas evaluaciones podrían ser realizadas

de manera rápida y económica. Por ello, es importante destacar la importancia de

recoger información a partir de la entrada en vigor de las ROP de 2013, de lo contrario

se terminará destinando recursos a la implementación de evaluaciones cuyo alcance

será muy limitado a causa de la falta de datos. Se requiere contar con información

socioeconómica de los beneficiarios (por ejemplo, ingresos reales derivados de la venta

de los proyectos artesanales, porcentaje de exportaciones y número de compradores)

al inicio del Programa y, para un grupo representativo, en los años siguientes para

poder llevar a cabo el análisis de costo beneficio, así como la evaluación de impacto en

donde sea factible medir los efectos del programa en el bienestar de la PA.


65

4. SECCIÓN DE MONITOREO

Esta sección presenta los principales cambios a los que estuvo sujeta la MIR durante el

periodo 2007-2012. También se analiza su Resumen Narrativo a nivel de Fin y Propósito

(véase Anexo 5), así como el nombre, la definición, el método de cálculo, la meta y los

resultados obtenidos por los indicadores de Fin y Propósito. Así mismo, se trató de

identificar con base en los documentos de Seguimiento a los Aspectos Susceptibles de

Mejora, Cambios a la MIR y las evaluaciones a las que estuvo sujeto el programa, cuál

fue el origen de dichos cambios. El análisis sólo comprende los indicadores vigentes en

la MIR 2012, así como los cambios que sufrieron en el periodo analizado. En el Anexo 6

se presenta una lista de todos los indicadores del programa para los niveles de Fin y

Propósito, utilizados entre 2007 y 2012.

4.1 Análisis histórico de los principales cambios en la MIR del FONART

La MIR del FONART ha experimentado varios cambios en el número de sus indicadores.

El máximo número de indicadores que utilizó fue de 34 en 2008 y éstos se redujeron

hasta llegar a 15 en 2012. La sección de Fin ha conservado el mismo indicador durante el

periodo analizado (Porcentaje de artesanos beneficiarios que incrementaron su ingreso

derivado de la actividad artesanal) y la sección de Propósito también mantuvo 4

indicadores durante el periodo analizado (Porcentaje de artesanos beneficiados por la

adquisición de artesanías y apoyos a la comercialización que ampliaron mercado,

Porcentaje de artesanos que declararon mejora en la calidad de su producción después de

participar en los concursos, Porcentaje de artesanos capacitados que aplican en su

producción las técnicas enseñadas, y Porcentaje de artesanos beneficiados con apoyos a la

producción que incrementaron su producción). Entre 2008 y 2009, contó con 5

indicadores, pero el indicador Porcentaje de beneficiarios que se sienten satisfechos con

el programa se pasó a la sección de actividades. Los elementos de Fin y Propósito serán

analizados con mayor detalle en las siguientes secciones.


66

Como se puede ver en la Gráfica 2, el número de indicadores para la sección de

componente se ha mantenido alrededor de 5. Estos indicadores presentan información

sobre el número de artesanos capacitados, los artesanos beneficiados con apoyos a la

producción, los beneficiados por la adquisición de artesanías y apoyos a la

comercialización, el número de premios otorgados en los concursos de arte popular así

como los beneficios entregados a los artesanos (Artesanos capacitados, Artesanos

beneficiados con apoyos a la producción, Artesanos beneficiados con adquisición de

artesanías y apoyos a la comercialización, Premios otorgados en concursos de arte

popular, y Beneficios entregados a artesanos). Estos indicadores corresponden a cada

una de las cuatro vertientes del programa. El indicador de beneficios entregados a los

artesanos es el que concentra a todos los beneficiarios. Sin embargo, hay vertientes

que deberían contar con dos indicadores cada una, por ejemplo, la vertiente de

capacitación integral y asistencia técnica, así como la vertiente de adquisición de

artesanías y apoyo a la comercialización, pues al ser dos actividades distintas, se

debería distinguir entre los artesanos que reciben uno u otro apoyo. También sería

importante distinguir entre el número de concursos realizados a nivel nacional, estatal

o regional. La vertiente de capacitación integral y asistencia técnica debería contar con

indicadores agrupados por tipo de capacitación. Con respecto a los apoyos a la

producción se recomienda revalorar la inclusión del indicador de Porcentaje de grupos

solidarios apoyados con financiamiento, pues el programa hace la diferencia entre

apoyos a grupos o individuales, de tal manera que sus indicadores deberían reflejar esta

diferencia también.


67

Gráfica 2. Número de indicadores de la MIR de FONART en el periodo 2007-2012.

Fuente: elaboración propia con base en MIR 2007-2012.

La sección de la MIR que más cambios experimentó fue la de actividades: llegó a

contar con un máximo de 23 indicadores en 2008 que se fueron adecuando hasta llegar

actualmente a 5. De estos 5 indicadores, 3 han estado presentes desde 2007 mientras

que 2 se comenzaron a registrar desde 2010. Esta también fue la sección que más

indicadores nuevos –que no hubieran estado presentes en la MIR previamente–

presentó. Los 5 indicadores vigentes analizan la gestión de los recursos, así como la

satisfacción de los beneficiarios.

4.2 Cambios en el Resumen Narrativo del nivel de Fin

En 2007, de acuerdo con el Resumen Narrativo, el Fin del FONART era “contribuir al

incremento del ingreso de los artesanos en situación de pobreza”. Sin embargo, el Fin

del programa sufrió modificaciones durante los años 2009, 2010 y 2012 (véase Tabla 5).

4 5 5 4 4 4

4 5 5 5 5 5

6

23

17 15 14

5

0

5

10

15

20

25

30

35

40

2007 2008 2009 2010 2011 2012

Fin Propósito Componentes Actividades


68

Lo que revelan estos cambios es que se atendieron recomendaciones de evaluaciones

externas y se alineó el Fin del programa con la definición de PO, de tal manera que para

2012 el Fin del FONART es “contribuir a mejorar las fuentes de ingreso de los artesanos

cuyo ingreso es inferior a la línea de bienestar, mejorando sus condiciones

productivas”. Al contrastar ambas versiones del Fin se observa que la de 2012 es más

específica en cuanto a la PO (artesanos cuyo ingreso es menor a la línea de bienestar).

El primer cambio del Resumen Narrativo del nivel de FIN provino de una

recomendación hecha en la Evaluación de Consistencia y Resultados 2007 (ECyR 07) en

la que se sugiere "modificar el Resumen Narrativo para vincularlo al mejoramiento en el

nivel de ingresos de los artesanos, y mantener el indicador que tiene la Matriz original"

(2007: 25). La evaluación también recomendó “establecer en Reglas de Operación

(ROP) definiciones concisas de las PP y PO delimitando, en el caso de la PP, a los

artesanos que presentan la problemática en general” (2007: 112); las recomendaciones

se implementaron hasta 2009.

Por otro lado, los cambios respecto al Fin del programa de 2010 y 2012 reflejan

cambios que se implementaron sobre la definición de PO y que repercutieron en el Fin

del FONART. El cambio que se dio en 2010 consistió en especificar que se atendería a

aquellos artesanos que “habiten en zonas de atención prioritaria o que habiten fuera

de éstas y se encuentren en situación de pobreza patrimonial” (MIR FONART, 2010);

para 2012 se volvió a modificar esta especificación de tal forma que ahora el programa

se enfoca en aquellos artesanos cuyo “ingreso sea inferior a la línea de bienestar” (MIR

FONART, 2012). En las evaluaciones no se hallaron recomendaciones específicas sobre

los cambios para 2010, aunque en la Evaluación Específica de Desempeño 2010-2011

(EED 10-11) se advierte que en 2010 INEGI tendría nuevos datos sobre el ingreso de los

hogares (ENIGH 2010) y que la medición de pobreza multidimensional representaría

cambios sobre la PP del FONART. Por su parte, la Evaluación de Consistencia y

Resultados 2011 (ECyR 11) mencionó que dado que la política social se “encuentra en un

periodo de alineación a la medición de la pobreza multidimensional” la precisión de las

definiciones de PP y PO deberían ocurrir en el mediano plazo (2011: 3).


69

Aunque las recomendaciones de evaluaciones revisadas respecto al Resumen

Narrativo del FONART fueron más bien indirectas en cuanto a que advertían cambios

en la estimación de la PP y PO, el cambio que tuvo el Resumen Narrativo a nivel de Fin

en 2012 fue producto de una recomendación de la propia SEDESOL en la que observó

una falta de alineación entre el objetivo expresado en las ROP y el Resumen Narrativo y

recomendó que se cambiara la redacción para que dijera “contribuir a mejorar las

fuentes de ingreso de los artesanos cuyo ingreso es inferior a la línea de bienestar,

mejorando sus condiciones productivas” (Documento interno de la DGEMPS, 2012).13

4.3 Cambios en el Resumen Narrativo del nivel de Propósito

Como se puede apreciar en la Tabla 5, el Resumen Narrativo del FONART a nivel de

Propósito sólo experimentó dos cambios: uno en 2010 y otro en 2012. En ambos casos,

al igual que el Resumen Narrativo de Fin, fueron cambios para alinear la redacción con

las precisiones hechas a la definición de PO del programa. Con cada cambio se precisó

más la población a la que está dirigido el FONART, en 2008 el Propósito era “artesanos

en situación de pobreza mejoran su condición productiva”. En 2010 cambió a

“artesanos productores que habiten en Zonas de Atención Prioritaria, o fuera de éstas

y se encuentren en situación de pobreza patrimonial mejoran su condición productiva”.

Este cambio se puede atribuir a la ECyR 07 en la que recomiendan “modificar la

redacción para determinar con claridad el tipo de artesanos que atiende el Programa,

enfocando dicha población únicamente a la condición de pobreza” (2007: 22), pero no

hay ninguna explicación sobre el retraso en atender el cambio. Para 2012 el Propósito

es “artesanos productores cuyo ingreso es inferior a la línea de bienestar mejoran su

condición productiva”. El último cambio, también fue producto de una sugerencia

realizada por parte de SEDESOL.

13 En los informes de Cuenta Pública emitidos por la Auditoría Superior de la Federación no se identificaron comentarios relativos al FONART, se revisaron los informes de 2007, 2008, 2009 y 2010.


70

Tabla 5. Evolución de los Resúmenes Narrativos de los niveles de Fin y Propósito

2007 2008 2009 2010 2011 2012

FIN

Contribuir al incremento del ingreso de los

artesanos en situación de pobreza.

Contribuir al incremento del ingreso de los artesanos en situación de pobreza.

Contribuir al incremento del a mejorar las fuentes de

ingreso de los artesanos en situación de pobreza,

mejorando sus condiciones productivas.

Contribuir a mejorar las fuentes de ingreso de

los artesanos en situación de pobreza que habiten en Zonas

de Atención Prioritaria, o que habiten fuera de éstas y se encuentren

en situación de pobreza patrimonial.

Contribuir a mejorar las fuentes de ingreso de los artesanos que habiten en

Zonas de Atención Prioritaria, o que habiten

fuera de éstas y se encuentren en situación de pobreza patrimonial.

Contribuir a mejorar las fuentes de ingreso de los artesanos que habiten en Zonas de Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación de pobreza patrimonial cuyo ingreso es inferior a la línea de bienestar, mejorando sus condiciones productivas

PRO

PÓSI

TO

Artesanos en situación de pobreza fortalecidos en su

ciclo productivo

Artesanos en situación de pobreza fortalecidos en su

ciclo productivo mejoran su condición productiva.

Artesanos en situación de pobreza mejoran su

condición productiva.

Artesanos productores que habiten en Zonas

de Atención Prioritaria, o fuera de éstas y se

encuentren en situación de pobreza patrimonial mejoran su condición

productiva.

Artesanos productores que habiten en Zonas de

Atención Prioritaria, o fuera de éstas y se

encuentren en situación de pobreza patrimonial mejoran su condición

productiva.

Artesanos productores que habiten en Zonas de

Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación de pobreza patrimonial cuyo

ingreso es inferior a la línea de bienestar mejoran su

condición productiva.

Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012


71

4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y

actividades del FONART

De acuerdo con las ROP, el objetivo del FONART es “contribuir a mejorar las fuentes de

ingreso de los artesanos cuyo ingreso es inferior a la línea de bienestar, mejorando sus

condiciones productivas” (ROP FONART, 2012: 2), y su objetivo específico busca

“mejorar las condiciones productivas” de la PO. Para conseguir este objetivo el

FONART realiza actividades que se pueden agregar en 4 vertientes y con distintos

montos de apoyo por artesano o por grupo de artesanos, como se puede observar en

la Tabla 6.

El documento Metodología para la elaboración de la Matriz de Indicadores de los

programas presupuestarios de la APF señala respecto al Resumen Narrativo del nivel de

Fin del programa, que “es la descripción de cómo el programa contribuye, en el

mediano o largo plazo a la solución de un problema de desarrollo o a la consecución de

los objetivos estratégicos de la dependencia” (CONEVAL, s.f: 14). Actualmente el

Resumen Narrativo de Fin del programa explica que contribuirá a mejorar las fuentes

de ingreso de la PO mejorando sus condiciones productivas. Sin embargo, tomando en

cuenta las actividades que se realizan en el marco del FONART, se considera que el

Resumen Narrativo no refleja la verdadera contribución del programa a los artesanos

productores. Es decir, en realidad el fin último que persigue el FONART va más allá de

un aumento en el ingreso; de hecho, se cree que el FONART contribuye al aumento en

el bienestar económico de los artesanos productores, y para lograrlo, la solución que

brinda el programa no es la mejora de las condiciones productivas, sino la generación

de proyectos artesanales sostenibles.

La lógica causal es entonces la siguiente: el FONART desarrolla las capacidades

productivas de la PA, con lo cual se generan proyectos artesanales sostenibles, y en

consecuencia, se contribuye tanto al bienestar económico como a preservar la

actividad artesanal entre los productores. De esta forma, el Resumen Narrativo puede

estar expresado de la siguiente forma: “contribuir al bienestar económico de los


72

beneficiaros preservando la actividad artesanal entre los artesanos cuyo ingreso es

inferior a la línea de bienestar, mediante la generación de proyectos sostenibles". Es

importante que el Resumen Narrativo a nivel de Fin exprese la contribución del

programa al bienestar económico, puesto que este atributo del programa es tan

importante como el de la preservación de las artesanías. De hecho, en las propias ROP

del programa se concibe al programa como “un vehículo para lograr la independencia

económica de los artesanos mexicanos de acuerdo a una perspectiva multidimensional

del fenómeno artesanal (…), que surge como una respuesta a la necesidad de

promover la actividad artesanal del país y contribuir así a la generación de un mayor

ingreso familiar de los artesanos” (ROP, 2012: 16).

Por este motivo, es necesario hacer hincapié en el componente “sostenible” de

los proyectos artesanales que impulsa este programa. Los programas equivalentes en

otros países (como los implementados por la Agencia para el Desarrollo Internacional

del gobierno de Estados Unidos en Honduras, Perú, Armenia, Rusia y Ghana) ponen

especial énfasis en la procuración de proyectos que cumplan con esta característica. Se

considera que se debería incorporar en el objetivo de FONART la inserción en el

mercado o la sostenibilidad de los proyectos; a la luz de los programas mencionados en

el apartado de Evaluación, el FONART debería buscar ser una intervención que capacite

y facilite la inserción de los artesanos y sus productos en el mercado nacional y global

de tal manera que cada uno de los proyectos fuera sostenible en sí mismo, exitoso en el

largo plazo y así se pudiera ayudar a mejorar las fuentes de ingreso de los artesanos.

Sin el componente de sostenibilidad, el objetivo del FONART y su Resumen Narrativo

de Fin carecen de un objetivo sustantivo para evaluar el éxito del programa en el

mediano y largo plazo.


73

Tabla 6. Actividades del FONART y montos de apoyo.

Vertientes Actividades Monto

Capacitación

Capacitación Integral

Transmisión de conocimientos en organización, materias primas, proceso productivo, comercialización, informática, administración y valoración cultural.

$12,000 por artesano.

Asistencia Técnica Mejoramiento de la condición productiva de los artesanos.

6,000 por artesano

Apoyos a la producción

Individuales Para la adquisición de activo fijo y capital de trabajo destinado a la producción artesanal.

$15,000 una sola vez al año.

Grupales $225,000 sin rebasar

$15,000 por persona.

Adquisición de artesanías y apoyo

a la comercialización

Se compra la producción de un artesano.

$15,000 al año.

Apoyos a la comercialización

(renta de espacios, empaques,

transportes, etc.)

Individuales $ 15,000

Grupales $225,000 sin rebasar

$15,000 por persona.

Concursos de Arte Popular

Nacional $ 125,000

Estatal $ 15,000

Regional $ 10,000

Fuente: elaboración propia con base en las Reglas de Operación 2012.

Por su parte, el documento Metodología para la elaboración de la Matriz de

Indicadores de los programas presupuestarios de la APF señala que el Resumen Narrativo

a nivel de Propósito debe expresar “el resultado directo a ser logrado por la población

objetivo como consecuencia de la utilización de los componentes (bienes y servicios

públicos) producidos o entregados por el programa. Es la aportación específica a la

solución del problema” (CONEVAL, s.f: 14). En este sentido, el Resumen Narrativo de


74

Propósito del FONART expresa que la PO mejorará su condición productiva.

A diferencia del Resumen Narrativo para el nivel de Fin, se considera que el

Resumen Narrativo para este nivel sí refleja los resultados directos que se logran como

consecuencia de la utilización de los componentes, con excepción de aquéllos relativos

a los concursos de arte popular y de compras de artesanías. Si bien estos componentes

representan vertientes de apoyo que incentivan a los artesanos a mejorar la calidad de

sus productos (puesto que suponen una oportunidad para adquirir reconocimiento

dentro del gremio y de la propia comunidad), no queda clara la relación causal entre la

premiación en el concurso o bien, el otorgamiento del apoyo “adquisición de

artesanías” a un beneficiario y el Propósito del programa (mejora de las condiciones

productivas). Es decir, con la adquisición de artesanías o con los concursos no se

mejoran las “condiciones productivas”, sino que se premian.

4.5 Análisis de los indicadores para los niveles de Fin y Propósito

A continuación se presenta un análisis sobre la evolución de los indicadores de los

niveles de Fin y Propósito, en el periodo 2007-2012, así como de su pertinencia y

congruencia a la luz de los resúmenes narrativos diseñados para estos mismos niveles

(véase Anexo 6).

Indicador de Fin “Porcentaje de artesanos beneficiados que incrementaron su ingreso

derivado de la actividad artesanal”

El indicador de Fin del FONART ha sido estable durante el periodo analizado (véase

Tabla 7). Si bien experimentó cambios menores respecto a su nombre, el análisis de su

definición y su fórmula revela que éste no ha cambiado durante el sexenio. Por otro

lado, en la revisión de las evaluaciones al FONART sólo se halló una recomendación

para cambiar dicho indicador14. La EED 09-10 señaló que "existe espacio de mejora para

14 Ir a Anexo 1 para encontrar una ficha técnica de todas las evaluaciones externas realizadas a FONART.


75

redefinir el indicador de Fin y diseñar mecanismos objetivos de recolección de

información que alimenten estos indicadores" (2009-2010: 14). A pesar de que la

evaluación no presentó propuestas concretas para atender la recomendación, la

necesidad de diseñar un mecanismo de recolección de información sigue siendo un

problema para el indicador, pues no se han reportado sus resultados durante todo el

periodo analizado. De acuerdo con la información del PASH, es un indicador cuyos

datos se presentan cada tres años, por lo tanto deberían existir, por lo menos,

información para dos años, pero ese no ha sido el caso. Se considera que esto es un

problema grave que debería resolverse.

Tomando en cuenta que el CUIS no se utiliza de manera estratégica como

instrumento de recolección de información para monitorear y evaluar al programa

(pues el CUIS sólo se aplica una vez a cada beneficiario, inclusive si éste recibe apoyos

del programa por varios años consecutivos, lo cual sucede en las mayorías de las

ocasiones), se recomienda utilizar un indicador que cumpla con las características

establecidas al respecto por el CONEVAL. En específico, y considerando que el

Resumen Narrativo sugerido para el nivel de Fin plantea como la solución que brinda el

programa el desarrollo de proyectos artesanales sostenibles, se sugiere utilizar como

indicador el porcentaje de proyectos artesanales apoyados, que permanecen después

de dos años de recibido el apoyo.


76

Tabla 7. Cambios en el indicador de Fin “Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal”


2007 2008 2009 2010 2011 2012

Nombre

Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.


Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal




Definición






Método de

Cálculo

(Número de Artesanos que incrementaron su ingreso derivado de la actividad artesanal / No de artesanos beneficiados)*100

(Número de Artesanos que incrementaron su ingreso derivado de la actividad artesanal / Nº de artesanos beneficiados)*100

(Número de Artesanos que incrementaron su ingreso derivado de la actividad artesanal / Nº de artesanos beneficiados)*100

(Número de artesanos que incrementaron su ingreso derivado de la actividad artesanal / Número de artesanos beneficiados)*100




77

Indicador de Propósito “Porcentaje de artesanos beneficiados por adquisición de

artesanías y apoyos a la comercialización que ampliaron mercado”

El indicador de Porcentaje de artesanos beneficiados por adquisición de artesanías y

apoyos a la comercialización que ampliaron mercado se vincula directamente a la

vertiente de adquisición de artesanías y apoyo a la comercialización. Como se puede

apreciar en la Tabla 8, en 2009 y 2010 se cambió su nombre, además en 2010 también se

modificó su definición y método de cálculo. Dado que la ED 2007 no hizo

recomendaciones sobre cambios en los indicadores, y la EED 2008-2009 hizo una buena

valoración del indicador, se presume que el cambio de 2009 fue producto de la

iniciativa del programa o de alguna evaluación interna.15 El cambio consistió en hacer

más conciso el nombre del indicador: en 2008 se llamaba “Porcentaje de artesanos

beneficiados por adquisición que ampliaron mercado con respecto a los artesanos

beneficiados por adquisición” y en 2009 se llamó “Porcentaje de artesanos

beneficiados por adquisición que ampliaron mercado”, de tal manera que se eliminó

una frase que hacía el nombre redundante, pero que delimitaba el total de beneficiarios

sobre los que se calculaba el porcentaje. Se considera que este cambio sobre el nombre

no fue importante, además de que no alteró su método de cálculo.

Por su parte, la EED 2009-2010 no hizo ninguna recomendación respecto a este

indicador y se limitó a señalar que "el indicador es pertinente. Mide la eficacia del

programa en fortalecer la posición de los artesanos en el mercado. Es igualmente

relevante y confiable" (2009-2010: 4). En esta ocasión también se puede suponer que

los cambios realizados sobre el nombre, definición y método de cálculo del indicador se

realizaron por iniciativa del programa o por recomendaciones de evaluaciones internas.

En 2010, el nombre del indicador se amplió para que expresara el tipo de apoyos sobre

los que se calcula el indicador, de tal manera que el nombre del indicador fue

“Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la

comercialización que ampliaron mercado”. Este cambio también se reflejó en el

15 La EED 2008-2009 valoró el indicador de la siguiente manera "el indicador reúne las características de pertinencia, relevancia, claridad y confiabilidad" (2008-2009: 7).


78

método de cálculo y en la definición, dónde, además, se agregó una puntualización

sobre lo que significa para el programa la expresión “ampliación de mercado”

(aumento en el número de compradores). Se considera un aspecto positivo el que se

agregara lo que se entiende por “ampliación de mercado”. Este indicador no ha sufrido

cambios desde 2010.


79

Tabla 8. Cambios en el indicador Propósito “Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado”


2007 2008 2009 2010 2011 2012

Nombre

Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición.


Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado

Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado



Definición



Porcentaje de beneficiados que por el otorgamiento de apoyos a la comercialización y por la adquisición de sus artesanías, ampliaron mercado, es decir, aumentaron el número de sus compradores.



Método de Cálculo

(Número de artesanos beneficiados por adquisición que ampliaron mercado / Número artesanos beneficiados por adquisición) * 100



(Número de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado / Número artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización) * 100




80

Por otro lado, el número de artesanos que ampliaron el número de compradores

no es el mejor indicador para expresar el desempeño del programa sobre esta

vertiente. En primer lugar, este indicador debería ser trasladado al nivel de

Componente, y una vez ahí habría que tener un indicador para cada actividad, pues la

adquisición de artesanías no es igual a los apoyos a la comercialización y actualmente,

con este indicador se les agrega.

Se recomienda utilizar un indicador con el cual realmente se pueda conocer si

los apoyos que brinda el programa inciden en una mejora en las condiciones

productivas de los artesanos (pues éste es el propósito del programa). Un buen proxy

para saber esto es a través de la medición del aumento en las ventas de los proyectos

artesanales, un año después de recibido el apoyo. Otra opción para medir si las

condiciones productivas mejoraron es la siguiente: desvincular, en todos los

indicadores de Propósito, el tipo de apoyo que el programa otorga, del objetivo que se

desea alcanzar al otorgarlo. Es decir, en lugar de que el indicador pretenda medir el

porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la

comercialización que ampliaron mercado, se recomienda que el indicador mida

únicamente el resultado que el programa desea obtener a partir de un determinado

componente, esto es, la ampliación del mercado. Así, el indicador propuesto para este

nivel es el porcentaje de artesanos productores que ampliaron su mercado a partir de

su participación en el programa. El método de cálculo sugerido es el siguiente:

(Número de artesanos beneficiados que ampliaron mercado)/(total de artesanos

beneficiados) * 100.

Ambas alternativas presentan problemas para la recolección de información,

pues de acuerdo con los operadores del programa, los artesanos no llevan un registro

sobre sus ventas o el número de compradores. De cara a la imposibilidad de obtener

esta información a partir de datos objetivos, debido a las particularidades de los

beneficiarios, se recomienda que esta información se continúe obteniendo a partir del

“Estudio muestral para obtener indicadores de Propósito”. No obstante, es importante


81

que la forma en la que se le pregunte este aspecto a los artesanos no induzca una

respuesta. En otras palabras, se recomienda que en vez de preguntarles directamente

si ellos consideran que han ampliado su mercado desde que son beneficiarios del

programa, se les pregunte, por ejemplo, cuántas personas le compraban sus piezas

antes de recibir el apoyo del FONART, seguido de una pregunta que referente a

cuántas personas le compran sus piezas desde que es beneficiario del programa.

En cualquier caso, el actual indicador sí cuenta con información sobre su

desempeño y, como se observa en la Gráfica 3, el indicador ha superado sus metas cada

año excepto en 2011, año en que los resultados y las metas convergieron. Las metas

aumentaron muy poco durante el sexenio, a pesar de que en los primeros años fueron

superadas por un amplio margen, también parece ser un problema que el indicador

hubiera tenido muy buenos resultados (alrededor de 73%) al principio para terminar con

una marcada caída -32%. Esto podría ser indicativo de que la forma en la que se estiman

las metas ha subestimado el desempeño del programa, por lo que se recomienda

ajustar la meta con base en el desempeño de los últimos años, así como hacer

explícitos los procedimientos y los criterios con los que se estima dicha meta.

Gráfica 3. Desempeño del indicador “Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado”

Fuente: elaboración propia con datos del PASH (2012) y EED 2009-2010.

0%

20%

40%

60%

80%

100%

2008 2009 2010 2011

Meta Resultado


82

Indicador de Propósito “Porcentaje de artesanos que declararon mejora en la calidad

de su producción después de participar en los concursos”

El indicador de Porcentaje de artesanos que declararon mejora en la calidad de su

producción después de participar en los concursos está directamente vinculado a la

vertiente de concursos populares que realiza el FONART, por lo que este tipo de

indicador sería más adecuado para el nivel de Componente.

En todo caso, como se puede apreciar en la Tabla 9, el indicador sufrió cambios

en 2009 respecto a su nombre y en 2010 respecto a su definición. Sin embargo, se

considera que estos cambios se deben haber realizado por iniciativa del programa o

por recomendación de alguna evaluación interna porque la EED 2008-2009 declaró que

el indicador era pertinente, relevante, claro y confiable (2008-2009: 8) y por su parte la

EED 2009-2010 declaró el indicador requería de “mayor claridad conceptual para ser

más confiable” (2009-2010: 7), pero no dio más información sobre cómo mejorarlo. Por

último, ni los comentarios de CONEVAL a la MIR 2010, ni los de los documentos internos

de la DGEMPS, hicieron alguna recomendación de cambio sobre dicho indicador. Al

revisar el indicador, se observa que el cambio se realizó respecto a su nombre en 2009

y consistió en eliminar una frase para hacerlo más conciso, de forma que pasó de ser

“Porcentaje de artesanos que declararon mejora en la calidad de su producción

después de participar en los concursos, con respecto al total de artesanos

concursantes” en 2008 a “Porcentaje de artesanos que declararon mejora en la calidad

de su producción después de participar en los concursos”. Este cambio se homologó un

año después con la definición en la que también se quitó la frase “con respecto al total

de los artesanos concursantes”. Sin embargo, el método de cálculo del indicador

permaneció constante durante el periodo analizado de tal manera que no se considera

que hayan sido cambios sustantivos sobre el indicador. Como se puede apreciar en la

Gráfica 4 los resultados de este indicador siempre han superado sus metas, aunque en

los últimos años el margen por el que se superan las metas se ha reducido. Esta


83

tendencia revela que las metas han subestimado la capacidad del programa, por lo

tanto se deberían ajustar en función del desempeño obtenido en los últimos años. Se

recomienda hacer explícitos los criterios utilizados para establecer las metas de dicho

indicador. De acuerdo con la ficha técnica, este indicador obtiene su información de los

registros administrativos del programa.


84

Tabla 9. Cambios en el indicador de Propósito "Porcentaje de artesanos que declaran mejorías en la calidad de la producción después de participar en los concursos"


2007 2008 2009 2010 2011 2012

Nombre

Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos con respecto al total de artesanos concursantes.

Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes

Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos




Definición



Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos,



Método de

Cálculo

(Número de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes) * 100

(Número de Artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número. de artesanos concursantes)*100

(Número de Artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes)*100





85

Debido a que los premios de los concursos son económicos, la revisión de este

indicador no permite una interpretación clara sobre su lógica causal pues la relación

entre participar en un concurso y mejorar la calidad de la producción no resulta obvia.16

De tal forma, este indicador no se considera pertinente para medir el Propósito, sino

que debe ser trasladado al nivel de Componente, y ahí ser mejorado. Para mejorar la

medición de la vertiente de concursos artesanales, se podría recurrir a medir el número

de artesanos que participan en los concursos del FONART, lo cual revelaría información,

indirectamente, sobre el conocimiento que se tiene de los concursos y la importancia

que tienen para la PO.

Gráfica 4. Desempeño del indicador "Porcentaje de artesanos que declararon mejoras en la calidad de su producción después de participar en sus concursos”, (2008-2011).

Fuente: elaboración propia con base en el PASH (2012).

16 Por otro lado, si el fin de los concursos es reconocer a los artesanos por el trabajo que han hecho -premiando sus prácticas- difícilmente se podría esperar un cambio en la calidad; un resultado de los concursos artesanales podría ser el dar a conocer un nuevo artesano a nivel nacional, estatal o regional, lo cual debería tener mayor incidencia sobre la venta de sus artesanías, mayor prestigio entre su comunidad, etc.

0%

20%

40%

60%

80%

100%

120%

2008 2009 2010 2011

META RESULTADOS


86

Indicador de Propósito “Porcentaje de artesanos beneficiados con apoyos a la

producción que incrementaron su producción”

El indicador de “Porcentaje de artesanos beneficiados con apoyos a la producción que

incrementaron su producción” está directamente vinculado con la vertiente de apoyos

a la producción, por lo cual se recomienda trasladarlo al nivel de Componente.

En cualquier caso, como se puede apreciar en la Tabla 10, este indicador sufrió

cambios de nombre en 2008, 2oo9 y 2010; en 2010 también se modificó su definición y

método de cálculo. Los cambios consistieron en hacer el nombre más corto; sin

embargo la revisión de la ECyR 07 y la de la EED 08-09 reveló que no se hicieron

recomendaciones respecto a este indicador, de hecho la EED 08-09 declaró que el

indicador “reúne las características pertinencia, relevancia y confiabilidad” (2008-2009:

6). El nombre del indicador en 2007 era “Porcentaje de artesanos financiados que

incrementaron su producción con respecto al total de artesanos financiados”, para

2008 se eliminó la palabra “financiados” y para 2009 se volvió a agregar la palabra

“financiados” en el mismo lugar, pero se eliminó el final de la definición de tal manera

que en 2009 el indicador se llamaba “Porcentaje de artesanos financiados que

incrementaron su producción”. La EED 09-10 analizó este indicador y concluyó que “es

uno de los indicadores más relevantes y confiables de la MIR” (2009-2012: 5). Por su

parte, CONEVAL declaró que este era un indicador relevante, claro, monitoreable y

económico (Informe de sesiones de la mesa técnica de revisión de indicadores de

resultados, Programa del Fondo Nacional de Fomento a las Artesanías, 2009). A la luz de

esas opiniones, se asume que los cambios se realizaron por iniciativa propia o por la

recomendación de alguna evaluación interna. En 2010 el nombre del indicador cambió

otra vez y se hizo más puntual al indicar a qué tipo de artesanos y vertiente del

programa está evaluando.


87

Tabla 10. Cambios en el indicador de Propósito "Porcentaje de artesanos que aplican en su producción las técnicas enseñadas"


2007 2008 2009 2010 2011 2012

Nom

bre

Porcentaje de artesanos financiados que incrementaron su producción con respecto al total de artesanos financiados.

Porcentaje de artesanos que incrementaron su producción con respecto al total de artesanos financiados.

Porcentaje de artesanos financiados que incrementaron su producción

Porcentaje de artesanos beneficiados con apoyos a la producción que incrementaron su producción



Def

inic

ión

.

Número de artesanos financiados que incrementaron su producción por número de artesanos financiados.

Número de artesanos financiados que incrementaron su producción por número de artesanos financiados.

Porcentaje de artesanos apoyados que incrementaron su producción, derivado del apoyo otorgado por la vertiente de Apoyos a la Producción.



Mét

odo

de C

álcu

lo

(Número de artesanos financiados que incrementaron su producción / No de artesanos financiados) * 100

(Número de artesanos financiados que incrementaron su producción / Nº de artesanos financiados) * 100

(Número de artesanos financiados que incrementaron su producción / Nº de artesanos financiados) * 100

(Número de artesanos beneficiarios con apoyos a la producción que incrementaron su producción / Número de artesanos apoyados) * 100




88

Desde 2010 el indicador se llama “Porcentaje de artesanos beneficiados con

apoyos a la producción que incrementaron su producción”. El cambio en el nombre

también modificó su definición expresando que el indicador es un porcentaje –y no un

número como aparecía en la definición anterior– y que se refiere a los artesanos que

aumentaron su producción derivado del apoyo de esta vertiente. En el método de

cálculo, si bien cambió la redacción el espíritu de la fórmula es el mismo: Total de

artesanos que aumentaron su producción / total de artesanos apoyados.

Además de trasladar este indicador al nivel de Componente, se recomienda que

su cálculo sea más específico pues el número de artesanos apoyados se podría

interpretar como el total de artesanos apoyados por el FONART y este indicador se

refiere a los artesanos que recibieron apoyos económicos para la producción, por lo

tanto se debería ajustar la redacción de la fórmula.

Como se puede apreciar en la Gráfica 5, el desempeño de este indicador siempre

ha superado su meta, esto quiere decir que el cálculo de las metas ha subestimado el

desempeño del programa y se deberían ajustar. La fuente de este indicador, de

acuerdo con su Ficha Técnica, es una encuesta. Este indicador se podría mejorar si, en

vez de estimar cuántos artesanos declaran que aumentaron su producción, pudiera

estimar en cuántas piezas aumentó la producción de los artesanos beneficiarios. Al

igual que en otros indicadores revisados, en este caso se podría agregar una pregunta

en la solicitud de inscripción al programa relativa al número de piezas que el artesano

hizo el año previo para que posteriormente con la encuesta se indagara respecto al

número de piezas que elaboró el artesano un año después de haber recibido el apoyo

para la producción. Este indicador sería más preciso si la información no proviniera de

una encuesta sino se mantuviera un registro del número de piezas producidas y

vendidas, esto se podría obtener a través de establecerlo como obligación de los

beneficiarios, lo cual a la vez les ayudaría para tener registros administrativos mejor

documentados. Como sugerencia se propone que la meta del indicador se podría

establecer con base en la información proporcionada por los solicitantes y calcular el

promedio del número de artesanías producidas y buscar que todos los artesanos


89

aumenten su producción en una desviación estándar.

Gráfica 5. Desempeño del indicador "Porcentaje de artesanos beneficiados con apoyos a la producción que incrementaron su producción"

Fuente: elaboración propia con base en el PASH (2012) y EED 2009-2010.

Indicador de Propósito "Porcentaje de artesanos capacitados que aplican en su

producción las técnicas enseñadas"

El indicador Porcentaje de artesanos capacitados que aplican en su producción las

técnicas enseñadas se vincula directamente con la vertiente de capacitación integral y

asistencia técnica, por lo cual se recomienda trasladarlo al nivel de Componentes.

En cualquier caso, como se puede apreciar en la Tabla 11 este indicador cambió

en 2009 y 2010. Al revisar las EED 2008-2009 y 2009-2010, no se halló ninguna

recomendación para modificarlo, de hecho, ambas declararon que era relevante y

confiable. Por lo tanto, se asume que las modificaciones al indicador se hicieron por

iniciativa del programa o por una recomendación de evaluaciones internas no

revisadas. En 2007, el nombre del indicador era “Porcentaje de artesanos capacitados

que aplican en su producción las técnicas enseñadas con respecto a los artesanos

0%

20%

40%

60%

80%

100%

120%

2008 2009 2010 2011

Meta

Resultado


90

capacitados”, el primer cambio al indicador se realizó sobre su nombre en 2009 y

consistió en hacerlo más breve eliminando la frase “con respecto a los artesanos

capacitados”; desde entonces el nombre no ha cambiado. El segundo cambio se hizo

en 2010 también fue un cambio sobre la redacción en la que se pasó de “Porcentaje de

artesanos capacitados que aplican en su producción las técnicas enseñadas con

respecto a los artesanos capacitados” a “Porcentaje de artesanos que aplican en su

producción las técnicas enseñadas en las capacitaciones que imparte la vertiente”. Se

considera que estos cambios no fueron sustantivos pues el método de cálculo del

indicador no se modificó. De acuerdo con la Ficha Técnica, la información con la que

alimenta dicho indicador proviene de una encuesta.

Como se puede apreciar en la Gráfica 6 este indicador ha superado cada año sus

metas, aunque se observa una tendencia hacia la convergencia. Esto quiere decir que el

desempeño del programa con respecto a este indicador ha decaído: de haber

alcanzado porcentajes de 100% en los primeros años, posteriormente se colocó

alrededor del 70%, sin embargo este resultado sigue siendo superior a su meta. Se

considera que las metas han subestimado el desempeño del programa y habría que

ajustarlas con base en su desempeño.


91

Tabla 11. Cambios en el indicador de Propósito “Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas”.


2007 2008 2009 2010 2011 2012

Nom

bre

Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados.


Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas




Def

inic

ión



Porcentaje de artesanos que aplican en su producción las técnicas enseñadas en las capacitaciones que imparte la vertiente



Mét

odo

de C

álcu

lo

(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100







92

Por otro lado, se considera que este indicador no es suficiente para evaluar el trabajo

que realiza el FONART en la vertiente de capacitación y asistencia técnica. Se

recomienda que, además de ubicar este indicador en el nivel de Componente, éste sea

desagregado en tres indicadores respecto a la capacitación técnica: uno relativo a la

producción (por ejemplo, número de artesanías realizadas con técnicas enseñadas, o

retomar los indicadores de actividades relativos a los prototipos), otro respecto a la

adopción de buenas prácticas administrativas (por ejemplo, número de artesanos con

inventario) y otro relacionado a la comercialización (por ejemplo, aumento en el

número de compradores). También en el nivel de Componente, debería haber un

indicador que le dé seguimiento a las actividades que se realizan para la capacitación

técnica, por ejemplo si el Comité de Validación para Proyectos Artesanales se reúne

regularmente, también podrían valorar una muestra estadísticamente representativa

de artesanías realizadas por los beneficiarios para sopesar el uso de las nuevas técnicas.

Gráfica 6. Desempeño del indicador “Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas”

Fuente: elaboración propia con base en el PASH (2012).

Esta es una vertiente del FONART a la que habría que ponerle mayor atención

pues las evaluaciones de las intervenciones realizadas por programas equivalentes en

otros países revelan que la mayoría de los artesanos valoran mucho las capacitaciones

recibidas y que éstas resultaron fundamentales para una adecuada inserción en los

0%

20%

40%

60%

80%

100%

120%

2008 2009 2010 2011

Meta Resultado


93

mercados globales. Por otro lado, el estudio Factores de éxito en los negocios de

artesanías en México (2007) concluyó que existen nueve factores de éxito relacionados

con los negocios de artesanías: innovación administrativa, impacto del financiamiento,

tecnología de la producción, tecnología en administración, capacidad en el manejo de

proceso, del empaque, diferenciación e información. La mayoría de estos factores se

realizan en la vertiente de capacitación y asistencia técnica, por lo tanto se considera

que había que diseñar más indicadores para estimar el trabajo que se está

desempeñando en este rubro, por ejemplo: número de artesanos capacitados por

temas (uso de recursos sustentables, administración, etc.).

4.6 Conclusiones

La revisión de las prácticas de monitoreo del FONART nos permite concluir que el

FONART ha tenido una gran variación respecto al número de indicadores utilizados. El

nivel de Actividades es el que mayor volatilidad presentó en el periodo analizado.

El Resumen Narrativo de Fin no refleja el objetivo último al que el programa

busca contribuir. Se recomienda que como fin último se defina la mejora en el bienestar

económico de la PO, y que se establezca que la forma en la que el programa contribuye

al logro de este fin sea la generación de proyectos artesanales sostenibles. Es

importante que se incorpore el elemento de sostenibilidad de los proyectos, ya que

esta información permitiría saber qué tan útiles son los apoyos del FONART para

mejorar el bienestar económico de sus beneficiarios en el largo plazo, pues idealmente

se debería buscar que la intervención ocurra en un momento y que posteriormente los

beneficiarios ya no requieran el apoyo.

En cuanto al Resumen Narrativo a nivel de Propósito, se considera que éste es

correcto. Sin embargo, los indicadores establecidos para este nivel reflejan los bienes y

servicios que produce el programa para cumplir con su propósito, de ahí que se

recomiende trasladarlos al nivel de Componentes, y utilizar en su lugar un indicador

que dé cuenta del desarrollo de las capacidades productivas que han tenido los


94

beneficiarios. Es importante señalar que aun cuando se trasladen los actuales

indicadores de Propósito al nivel de Componentes, éstos miden ciertas actividades,

como la participación en concursos, o la compra de artesanías que no expresan una

lógica causal directa ni con el objetivo de mejorar las condiciones productivas de los

beneficiarios, ni con el Propósito.

Por otra parte, no se considera que el indicador de Fin sea el más apropiado para

medir el desempeño del programa. De hecho, si no se atiende la recomendación de

modificar el Resumen Narrativo antes sugerida, se recomienda buscar una medida más

precisa como aumento en el ingreso del artesano beneficiario; también se recomienda

distinguir entre tipos de beneficiarios. En caso de atender la recomendación de

modificar el Resumen Narrativo para que refleje que la forma en la que contribuye el

programa a la consecución del objetivo superior (bienestar económico de la PO), es

mediante la generación de proyectos sostenibles. Así, se recomienda utilizar un

indicador a través del cual se pueda determinar si los proyectos artesanales son

sostenibles, pues esto sería indicativo de que el proyecto funciona sin necesidad de los

apoyos del programa, y que está generando ingresos para los artesanos. En este

sentido, se recomienda que el indicador sea el siguiente: "Porcentaje de proyectos

artesanales apoyados que permanecen después de dos años de recibido el apoyo".

Las modificaciones sugeridas pueden contribuir a solucionar la falta de claridad

inherente al problema público que busca solucionar el FONART. Es decir, se considera

que la razón de ser del programa no tiene que ver ni con la erradicación de la pobreza,

ni con el desarrollo artesanos que conviertan al país en una potencia cultural; FONART

fue creado para generar las condiciones necesarias para que existan artesanos en una

situación de bienestar, haciendo artesanías. Es precisamente esto lo que justifica el que

el programa sea impulsado desde la SEDESOL, y no desde la Secretaría de Economía o

desde CONACULTA.

Como se hizo evidente, los indicadores regularmente han superado sus metas,

por lo tanto se considera deseable revalorar su método de cálculo y hacer explícitos sus

criterios. Es importante hacer hincapié en este último punto, pues al no hacer públicos


95

los criterios a través de los cuales se fijan las metas de los indicadores, es imposible

determinar si éstos están teniendo un buen desempeño, o si más bien las metas

establecidas son muy laxas.

Finalmente, vale anotar que el FONART es un programa complejo y que

actualmente los indicadores que utiliza no tienen el grado de detalle suficiente para

ilustrar su desempeño. Por ejemplo, un indicador de Propósito agrega actividades que

no son comparables. Tal es el caso de la compra de artesanías con apoyos a la

comercialización –una cosa es que se le compre la producción a un artesano y otra cosa

es que se le apoye con recursos para comercializar sus bienes; otro indicador carece de

una lógica causal clara como participar en un concurso y declarar una mejora en la

calidad de la producción; por último, la vertiente de capacitación y asistencia técnica

imparten cursos muy diversos que sería mejor evaluarlos por módulos. En este sentido,

se recomienda trasladar estos indicadores a nivel de Componente, y desagregarlos de

forma que cada uno mida el desempeño de cada apoyo que brinda el programa.


96

5. ANÁLISIS FODA

A partir de las evaluaciones realizadas al FONART y del análisis de sus indicadores, se

identificaron fortalezas, debilidades y oportunidades del programa, de las cuales se

derivan algunas recomendaciones que tienen por objeto mejorar su desempeño (véase

Anexo 4).

5.1 Fortalezas

Las fortalezas del FONART tienen que ver con que su Propósito esté alineado con la

estrategia 1.4 del Programa Sectorial de Desarrollo, así como al objetivo 2 del Plan

Nacional de Desarrollo, con lo cual se demuestra que el programa contribuye a atender

problemas tales como la falta de ingresos y de calidad de vida de la población más

pobre. Destaca también el esfuerzo que el programa ha realizado para atender las

recomendaciones hechas por los evaluadores externos, a fin de mejorar la operación y

planeación del programa.

5.2 Debilidades

Una de las principales debilidades del FONART es la falta de un diagnóstico claro que

justifique la intervención desde la SEDESOL. La definición imprecisa del problema que

pretende resolver FONART se manifiesta en una constante confusión al determinar si el

objetivo del FONART es el de contribuir a que los artesanos abandonen una situación

de la pobreza, el de preservar las artesanías o el de catapultar el sector artesanal en

México.

Naturalmente, esto se ha visto reflejado en resúmenes narrativos poco claros

para los niveles de Fin y Propósito, pues de acuerdo a la forma en la que actualmente

han sido definidos, no existe una diferencia entre el Fin y el Propósito del programa (en

ambos casos es mejorar las condiciones productivas). En este sentido, se recomienda


97

realizar un nuevo diagnóstico del problema público que justifica la intervención del

programa, así como la modificación de los resúmenes narrativos para los niveles de Fin

y Propósito, en los términos que fueron planteados en el apartado de Monitoreo.17

Los indicadores de la MIR representan una debilidad adicional, pues el utilizado

para el nivel de Fin es poco económico (y carece de información), y los de propósito

corresponden al nivel de Componentes18 . Además, los mecanismos de recolección de

información no permiten obtener información objetiva y veraz que sirva para conocer

el verdadero efecto del programa. Finalmente, en la evaluación de satisfacción el

FONART obtuvo un puntaje en el índice de satisfacción de 7.2, en una escala del 0 al 10.

Esta calificación es producto de la percepción de los beneficiarios de que no existe una

mejora en sus condiciones de vida tras haber participado en el programa, así como de

la existencia de muchos problemas de índole administrativo (Rodríguez, V., 2012: 63-

64). Se recomienda realizar una evaluación de procesos con el fin de detectar

problemas de eficiencia operativa en el programa, pues éstos terminan teniendo un

impacto negativo en la percepción de la PA sobre el programa.

5.3 Oportunidades

Una de las principales oportunidades del programa está relacionada con la

incorporación de aspectos de diseño identificados en los programas similares al

FONART que se implementan en otras partes del mundo (Véase apartado de

Evaluación). En particular, estos programas internacionales hacen énfasis en la

importancia de destinar apoyos al desarrollo de proyectos artesanales sostenibles. Se

considera que al incorporar el elemento de “sostenibilidad” a los proyectos

17 En la sección de monitoreo se recomendó el siguiente Resumen Narrativo para el nivel de Fin: “Contribuir a mejorar el bienestar económico de los artesanos cuyo ingreso es inferior a la línea de bienestar, mediante el desarrollo de proyectos artesanales sostenibles”. Para el nivel de Propósito se recomendó mantener el mismo Resumen Narrativo. 18 El actual indicador de Fin (Porcentaje de artesanos beneficiados que incrementaron su ingreso, derivado de la actividad artesanal), requiere de la aplicación de una encuesta; mientras que los de Propósito hacen referencia a distintos componentes del programa: adquisición de artesanías y apoyos a la comercialización, y participación en concursos.


98

artesanales, se estará contribuyendo al bienestar económico de los beneficiarios en el

largo plazo e, indirectamente, a la preservación de las artesanías. Es decir, al promover

proyectos sostenibles, las ventas contribuyen a mejorar el bienestar de los beneficiarios

y, a su vez, esto contribuye a que se preserven las artesanías.

5.4 Amenazas

La principal amenaza que tiene el FONART, está relacionada con la naturaleza del

mercado. Si bien definir este aspecto como una amenaza puede parecer un lugar

común, si la demanda por bienes artesanales no es suficiente como para permitir que

los proyectos artesanales sean sostenibles, el FONART estará condenado a otorgar

permanentemente apoyos para la realización de este tipo de proyectos, sin que con

ello se logre mejorar las capacidades de los artesanos productores, sus ventas, sus

ingresos, o su bienestar.

5.5 Recomendaciones

A partir del análisis de las fortalezas, debilidades y oportunidades del programa, se

recomienda lo siguiente:

1. Realizar un nuevo diagnóstico del problema que atiende el FONART, a fin de

dejar claramente establecidas las razones por las que un programa de apoyo a

la producción artesanal es impulsado desde SEDESOL.

2. Incorporar el elemento de “sostenibilidad” a las características que idealmente

deben tener los proyectos artesanales, pues tal como lo evidencia en los

programas internacionales similares al FONART, éste es un componente que

contribuye a la preservación de las artesanías.

3. Mejorar las definiciones tanto de los resúmenes narrativos para los niveles de

Fin y de Propósito, así como las de sus indicadores. Se recomienda atender las

sugerencias realizadas al respecto, en el apartado de Monitoreo, pues estas


99

capturan la idea de promover el desarrollo de proyectos artesanales

sostenibles.

4. Mejorar los mecanismos de recolección de información a fin de asegurar la

confiabilidad y objetividad de los resultados obtenidos. Es importante que aún

cuando se utilice como fuente de información el “Estudio muestral para

obtener indicadores de Propósito”, la forma en la que se le pregunte este

aspecto a los artesanos no induzca una respuesta. Es decir, se recomienda que

en lugar de preguntarles directamente si ellos consideran que han ampliado su

mercado desde que son beneficiarios del programa, se les pregunte, por

ejemplo, cuántas personas le compraban sus piezas antes de recibir el apoyo

del FONART, seguido de una pregunta que referente a cuántas personas le

compran sus piezas desde que es beneficiario del programa.

5. Hacer explícitos los criterios mediante los cuales se establecen las metas de los

indicadores, con el fin de conocer si los resultados de éstos son producto de un

buen desempeño del programa, o de metas muy laxas.


100

6. CONCLUSIÓN

El FONART ha sido evaluado de manera regular. En las evaluaciones se presentan

algunos resultados del programa y, en la mayoría de los casos, los indicadores han

superado sus metas. Las evaluaciones de programas similares implementados en otros

países presentan una gran variedad de particularidades en cuanto al diseño de los

programas, que pueden ser útiles para mejorar el del FONART. A grandes rasgos, en

materia de monitoreo destaca la falta de información sobre el indicador de Fin, así

como la ausencia de mecanismos de recolección de información confiables y objetivos.

Se identificó que el Resumen Narrativo a nivel de Propósito presenta como producto

de los bienes y servicios que genera el programa, la mejora de las condiciones

productivas de los artesanos. Sin embargo, en el Resumen Narrativo a nivel de Fin

también se plantea la mejora de las condiciones productivas de los artesanos

productores como la solución que brinda el programa. Aparte de que el Fin y el

Propósito deberían reflejar cosas distintas, se considera que el Resumen Narrativo de

Fin debería de plantear como la solución que genera el FONART, el fomento de

proyectos productivos sostenibles.

En materia de evaluación destacan los resultados obtenidos en las EED, en las

cuales ha sido señalado que existe un avance en las definiciones de las PP y PO, y que

los indicadores en la mayoría de los casos han superado sus metas, excepto por el

indicador de Fin, para el cual no se cuenta con información. Sin embargo, en éstas

también se ha señalado la falta de un diagnóstico claro y de mecanismos de recolección

de información confiables. La evaluación de satisfacción muestra que los beneficiarios

del programa no se sienten totalmente satisfechos con la labor que realiza el FONART.

Como resultado de la revisión de las evaluaciones de distintos países con programas

similares al FONART, se identificaron algunos aspectos de diseño que podrían ser

recuperadas por el programa para mejorar su eficacia, sobre todo en términos del

contenido de las capacitaciones y talleres que se llevan a cabo, así como en lo relativo a

la importancia de buscar que los proyectos apoyados sean sostenibles.


101

A partir del análisis de las evaluaciones a las que ha estado sujeto el FONART

desde 2007, así como de las evaluaciones de programas similares implementados en

otras partes del mundo, se generó una agenda de evaluación que, a grandes rasgos,

busca contar con un diagnóstico claro, además de garantizar la congruencia entre el

diseño del FONART y las disposiciones del próximo PND. Asimismo, busca generar

evidencia empírica para afinar los detalles de diseño tanto del programa, como de sus

procesos. En la agenda de evaluación se incorporó también una evaluación de impacto

con miras a conocer los efectos del programa en el ingreso de los beneficiarios, en el

desarrollo de sus capacidades productivas y en la preservación de la actividad

artesanal.

Del apartado de monitoreo se concluye que el indicador utilizado para medir el

Fin del programa es poco económico, pues no se cuenta con información sobre sus

resultados. Se considera que el Resumen Narrativo de Propósito es adecuado, pero que

debe distinguirse del Fin. Se recomienda que el Resumen Narrativo a nivel de Fin

exprese que el objetivo último que persigue el programa es el bienestar económico, y

que la solución que el programa brinda es la del desarrollo de proyectos sostenibles.

En general, se recomienda definir claramente el problema que el FONART busca

atender, después de lo cual se sugiere que el programa incorpore el elemento de

“sostenibilidad” a las características que idealmente deben tener los proyectos

artesanales, que mejore las definiciones tanto de los resúmenes narrativos para los

niveles de Fin y de Propósito, así como las de sus indicadores, así como mecanismos de

recolección de información, a fin de asegurar la confiabilidad y objetividad de los

resultados obtenidos. Se recomienda también que el programa haga explícitos los

criterios mediante los cuales se establecen las metas de los indicadores.

Es necesario enfatizar que el FONART es un programa que necesita contar con

evidencia teórica y empírica que justifique su intervención, y que permita conocer si

ésta tiene un efecto positivo en la población que atiende. El programa presenta

problemas muy elementales que amenazan su eficacia: el problema público que busca


102

atender no ha sido definido y la calidad de la información que se utiliza para alimentar

los indicadores es cuestionable.


103

7. GLOSARIO

Bienestar económico: ingreso del que disponen las personas para la adquisición de

bienes y servicios en el mercado, específicamente, el ingreso corriente, el cual

representa el flujo de entradas, no necesariamente monetarias (puede incluir los

productos recibidos o disponibles en especie, entre otros), que le permiten a los

hogares obtener los satisfactores que requieren, sin disminuir los bienes o activos que

poseen (CONEVAL, 2009: 38-39).

Población atendida (PA): es la población beneficiada por el programa en un ejercicio

fiscal.

Población objetivo (PO): es la población que el programa tiene planeado o programado

atender para cubrir la población potencial, y que cumple con los criterios de elegibilidad

establecidos en su normatividad.

Población Potencial (PP): es la población total que presenta la necesidad y/o problema

que justifica la existencia del programa, y que por lo tanto pudiera ser elegible para su

atención.

Proyecto sostenible: proyectos capaces de mantenerse por sí mismos, sin necesidad de

contar con ayuda económica de alguna fuente externa (RAE, 2012).


104

8. REFERENCIAS BIBLIOGRÁFICAS

Appel, J. y Karlan, D. (2012) More Than Good Intentions: Improving the Ways the World's

Poor Borrow, Save, Farm, Learn, and Stay Healthy. Dutton: Inglaterra.

Banerjee, A. y Duflo, E. (2011) Poor Economics: A Radical Rethinking of the Way to Fight

Global. Global Public Affairs Books: Estados Unidos.

Cockram, M., & Johnson, J. (2002). A Revolution in Design-Driven Export: A Case Study of

Aid to Artisans in Peru, 1994-2002. Hartford, CT.

Cockram, M., & Pollack, L. (2003). Hoduran Artisans Catalyzing Economic Revitalization

(HACER). Hartford, CT.

Consejo Nacional de Evaluación de la Política de Desarrollo Social (2009) Metodología

para la medición multidimensional de la pobreza en México. CONEVAL: México,

D.F.

De la Paz Hernández Giron, J., Domínguez, M. L., y Caballero, M. (2007). “Factores de

innovación en negocios de artesanía de México”. Gestión y política, XVI(2).

México, D.F. 353–379.

De la Paz Hernández Giron, J., Yescas, M., y Domínguez, M. L. (2007). “Factores de

éxito en los negocios de artesanía en México”. Estudios Gerenciales, 23(104).

México, D.F. 77–99.

Evaluación de Consistencia y Resultados 2007 (2007). Fondo Nacional para el Fomento

de las Artesanías. México, D.F.

Evaluación de Específica de Desempeño 2008-2009 (2010). Fondo Nacional para el

Fomento de las Artesanías. México, D.F.





Gottschling, B., Lewis, D., & Cockram, M. (2005). Entrepreneurs Prosper in Rusia: A Case

Study of AID to Artisans in Russia, 1993-1996. Hartford, CT.


105

Litrell, M., Cockram, M., & Strawn, S. (2005). Entrepreneurship and Cultural Passion: A

Case Study of AID to artisans in Armenia, 1995-1997. Hartford, CT.

Littrell, M., Cockram, M., & Strawn, S. (2005). A Rich and Deeply Cultural Tradition A Case

Study of AID to Artisans in Ghana, 1993-1997. Hartford, CT.

Real Academia de la Lengua Española (2012, “sostenible”).

Rodríguez, V. (2012) “Informe Final del Índice Mexicano De Satisfacción De Los

Beneficiarios De Programas Sociales Implementados por la SEDESOL En México

(IMSAB)”. Universidad Autónoma de Tamaulipas: México.

Secretaría de Desarrollo Social. (2012). Reglas de Operación del Programa del Fondo

Nacional para el Fomento a las Artesanías, FONART, para el ejercicio 2012. México,

D.F.

Secretaría de Desarrollo Social. (s.f) Diagnóstico de la capacidad de los artesanos en

pobreza para generar ingresos sostenibles. México, D.F.

Secretaría de Desarrollo Social y Consejo Nacional de Evaluación de la Política Social

(2011). Nota Sobre Población Potencial y Población Objetivo del FONART. México,

D.F

SEDESOL y CONEVAL, (2012). Evaluación de Consistencia y Resultados 2011-2012.

México, D.F.

Wezokuthuthukiswa, D. of E. D. U. (2007). Mpukunyoni Craft Market Project Impact

Assessment Report. South Africa.


106

9. ANEXOS

Anexo 1. Fichas técnicas de Evaluaciones 2007-2012 del Fondo Nacional para el Fomento a las Artesanías (FONART).

Nombre del programa: Fondo nacional para el Fomento a las Artesanías Año de Evaluación: 2007 Nombre de la Evaluación: Evaluación de consistencia y resultados del programa Fondo Nacional para el Fomento a las Artesanías 2007 Tipo de la Evaluación: Consistencia y Resultados Metodología utilizada: Trabajo de gabinete Objetivo de la evaluación: verificar la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados Valoración técnica: La ECyR 2007 al FONART ofrece una visión general sobre el programa, sin embargo se detectaron las siguientes inconsistencias: 1. Uno de los aspectos positivos del programa fue que la lógica vertical de su MIR se validaba; sin embargo también se señaló que "ninguno de los indicadores que reportó FONART en 2007 mide el impacto que sus acciones tienen en los beneficiarios, pues se trata de indicadores de los productos (componentes), además de que no cuentan con una línea base". No se puede tener una MIR que no mida el impacto de sus acciones y que al mismo tiempo tenga consistencia lógica vertical. 2. En la sección de Resultados la ECyR 2007 declaró que las evaluaciones realizadas al programa le habían permitido registrar la percepción de sus beneficiarios, mientras que en la sección de Percepción de la PO la evaluación declaró que el FONART no cuenta con instrumentos para medir la satisfacción de su PO. 3. La evaluación también declaró que las evaluaciones externas al programa se han realizado bajo metodologías rigurosas, mismas que le han permitido medir el impacto del programa; pero más adelante la evaluación declaró que "el Diseño del Programa no permite la elaboración de evaluaciones de impacto rigurosas debido a que el FONART, al determinar su población objetivo en Reglas de Operación, establece condiciones simultáneas, que no necesariamente se pueden cumplir". 4. Entre las fortalezas del programa se señaló que el Fin y Propósito del programa contribuyen a la solución del problema identificado; no obstante también se señaló que el problema que pretende resolver el programa no estaba bien definido. Principales resultados: Respecto al diseño del FONART, en la ECyR 2007 se destacó que tanto la lógica vertical de la MIR como la horizontal era válida, pero que el problema público que FONART busca atender no estaba definido con claridad, ya que presentaba el doble objetivo de atender a los artesanos en pobreza y de fomentar las artesanías tradicionales y de calidad. Además, se señaló que las definiciones de PP y PO son incorrectas. Se destacó que el FONART carecía de datos sobre las características socioeconómicas de los artesanos beneficiarios. En cuanto a la planeación estratégica del programa, en la ECyR 2007 se destacó que éste contaba con planes de corto y mediano plazo, que recolectaba información sobre su operación de manera periódica, que tenía metas y plazos específicos para sus indicadores de gestión, y que había realizado evaluaciones externas cuyas recomendaciones había usado para mejorar su operación. Sin embargo, también se señaló que en los planes de corto y mediano plazo del FONART no se indicaron las estrategias para alcanzar las metas de sus indicadores ni se utilizaron indicadores para medir el impacto que sus acciones tienen en los beneficiarios. En lo referente a la cobertura y focalización, la evaluación detectó que se carecía de un método para cuantificar a la PP y PO, y que la PA no se apegó a las especificaciones de las ROP. Por otra parte, en la evaluación se detectó que no existe homogeneización en los formatos de solicitud de los apoyos puesto que adquisición y capacitación se basan en un escrito libre. Además, se dijo que el FONART no tenía un sistema que le permitiera conocer la demanda total de apoyos y que los sistemas para llevar la administración financiera están desintegrados. La evaluación también detectó que dentro de la estructura organizacional no se contaba con un área específica para la operación de la vertiente de Financiamiento; y la vertiente de concursos sólo es operada por el subdirector con el apoyo del director. Se señaló que el FONART carecía de una cuantificación sobre el costo de apoyo de cada vertiente, y que los mecanismos de actualización del padrón no eran adecuados en tanto que no tenían procedimientos ni documentación que permitiera validar su creación y actualización. En cuanto a la percepción de la PO, la ECyR 2007 detectó que el FONART no contaba con instrumentos para medir el nivel de satisfacción de la población objetivo; mientras que en materia de Resultados, la evaluación señaló que FONART había realizado evaluaciones externas basadas en metodologías rigurosas, que le habían permitido medir el impacto del Programa en su PO


107

y registrar la percepción del beneficiario respecto a los apoyos que le brinda FONART. Finalmente, la ECyR 2007 declaró que el programa no había demostrado un adecuado progreso para alcanzar su Propósito y Fin porque tiene importantes problemas en el Diseño.

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades y Recomendaciones

Fortalezas identificadas por la ECyR 2007: 1. El Fin y el Propósito del FONART contribuyen a la solución del problema identificados y están claramente definidos. 2. Las lógicas horizontal y vertical de la MIR se validan en su totalidad 3. FONART ha usado las recomendaciones de las evaluaciones externas para mejorar su operación, destacan la unificación del padrón de beneficiarios, reducción de tiempos de entrega de las piezas que participan en los concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación.

La ECyR 2007del FONART no identificó oportunidades

Debilidades identificadas por la ECyR 2007: 1.El FONART requiere reflejar en su diseño el doble objetivo de atender a artesanos en pobreza y de fomentar las artesanías. 2. El FONART no cuenta con un diagnóstico que de sustento al programa. 3. La PP y PO presentan problemas en su definición y cuantificación. 4. Aunque existe la información sobre los beneficiarios, ésta no incluye las características socioeconómicas. 5. Ninguno de los indicadores en las ROP mide el impacto que las acciones del FONART tiene en sus beneficiarios. 6. Ninguna de las vertientes del FONART cuenta con una estrategia de cobertura de corto, mediano y largo plazos. 7. No existe homogeneidad entre los formatos de solicitud de apoyos de las distintas vertientes. 8. El programa no tiene un sistema de información que le permita conocer la demanda total de apoyos. 9. Ninguna de las vertientes del FONART cuenta con instrumentos para medir el nivel de satisfacción de la PO.

Recomendaciones planteadas por la ECyR 2007: 1.Reflejar en el diseño del FONART su doble objetivo 2.Generar un diagnóstico. 3. Establecer en ROP definiciones concisas de las PP y PO delimitando, en el caso de la PP, a los artesanos que presentan la problemática en general. 4.Levantar y anexar una Cédula de Información Socioeconómica a la solicitud de apoyo para incorporar dichos datos en un padrón de beneficiarios. 5. Cumplir con el apartado 5.1 de las ROP del FONART y establecer los mecanismos de coordinación necesarios para garantizar que sus programas no presenten duplicidades con otros programas del gobierno federal. 6. Se debe cuantificar a la PP y PO, las propuestas para hacerlo se presentaron en el anexo IX de la ECyR 2007. 7. Elaborar una estrategia de cobertura de corto, mediano y largo plazo para cada una de las vertientes del programa. 8. Crear un formato único de solicitud de apoyo para las cuatro vertientes. 9. Registrar en una base de datos la totalidad de solicitudes que recibe cada vertiente. 10. Especificar los criterios de elegibilidad para los artesanos que busquen financiamiento, así como analizar la viabilidad de incorporar montos máximos. 11.Adecuar la estructura organizacional para que exista un área encargada de la vertiente de Financiamiento y determinar el personal necesario para su operación. 12. Desarrollar un padrón de acuerdo a los criterios establecidos por la Dirección de Padrones de SEDESOL. 13. Diseñar cuestionarios que le permitan al FONART identificar la opinión de sus beneficiarios respecto de sus resultados y procesos.


108

Nombre del programa: Fondo nacional para el Fomento a las Artesanías Año de Evaluación: 2008 Nombre de la Evaluación: Evaluación Específica de Desempeño 2008-2009 Tipo de la Evaluación: Específica de Desempeño

Metodología utilizada: Trabajo de gabinete. Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores Valoración técnica: 1. Se considera que la evaluación no aportó a la mejora del FONART puesto que presentó algunas inconsistencias, señalo apenas incipientes recomendaciones y evidenció una falta de análisis. Dentro de las inconsistencias detectadas se encuentran las siguientes: a. En un apartado se declaró la inexistencia de la cuantificación de la PO; mientras que en otro apartado de la evaluación se presentó una cifra que cuantifica dicha población. b. En la EED 2008 se hizo una valoración positiva de la ECyR 2007 al declarar que “propuso una serie de mejoras que resultaron oportunas y pertinentes", sin embargo, dicha evaluación propuso muchos de los indicadores revisados por esta evaluación, mismos que fueron criticados por provenir de una encuesta y depender de la opinión de los beneficiarios. c. En lo relativo a la valoración de los indicadores, en la evaluación se calificaron como confiables en el apartado de valoración de cada indicador y posteriormente se criticó el hecho de que la mayoría de ellos provinieran de una encuesta a los beneficiarios, lo cual “no les da plena confiabilidad”. 2. A pesar de que la evaluación detecta múltiples debilidades, no realiza ninguna recomendación. 3. Según los datos presentados en la evaluación, la mayoría de los indicadores analizados (6 de 10) superaron sus metas por un margen importante –en el menor de los casos se superó la meta por más del 12%-, sin embargo este fenómeno no fue comentado. Por el contrario, la valoración de dichos indicadores se limita a identificarlos como pertinentes, relevantes y confiables. Hubiera sido deseable algún comentario respecto a la estimación –o subestimación- de las metas y cómo se podría haber corregido el problema. Otra inconsistencia (EED, 2008: 14).

Principales resultados: Los resultados de la EED 2008-2009 se pueden agrupar alrededor de los indicadores, los relacionados con cobertura y presupuesto y los relacionados con ASM. En cuanto a la valoración sobre los resultados y productos la EED señaló que "los indicadores estratégicos y de gestión toman como base una encuesta de artesanos con datos para 2006. Asimismo, los indicadores no son totalmente confiables porque se basan en la opinión de los beneficiarios" (EED, 2008: 12). Más adelante, la EED señaló que "el principal problema para evaluar la eficiencia de los indicadores radica en que no existe la definición y cuantificación de las poblaciones potencial y objetivo" (EED, 2008: 13). También destacó que "hay indicadores que se refieren a grupos solidarios -definidos como grupos de 5 artesanos o más- lo cual provoca confusión respecto a la unidad de medida del indicador, a saber, artesanos en lugar de grupos solidarios" (EED, 2008: 14). Con respecto al presupuesto aprobado la EED 2008-2009 identificó que éste ha aumentado cada año desde 2003 hasta 2008 y presentó un ligero decrecimiento en 2009. La EED también resaltó el hecho de que la PA superó a la PO y explicó que esto pudo deberse a que la cobertura del FONART depende del presupuesto asignado, no obstante recalcó que no se aclaró cómo se determinó la cifra de la PO. De acuerdo con la EED, si ben el programa tiene cobertura en 30 estados, sus acciones se concentran en 10 entidades. Respecto a la valoración de los ASM la EED señaló que las propuestas realizadas por la evaluación externa en 2007 resultaron en cambios a las ROP y a los criterios de operación del programa, mismos que mejoraron su funcionamiento y que comenzaron a aplicarse en 2008. En ese sentido, la evolución destacó la disposición del FONART para atender las recomendaciones de evaluaciones externas.


109

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades y

Recomendaciones

Fortalezas identificadas por la EED 2008: La EED 2008-2009 identificó como fortalezas del FONART el haber ampliado su cobertura y haber mejorado los criterios de selección de los beneficiarios. También destacó el incremento en el número de acciones aplicadas –suponiendo que se refiere al desempeño de los indicadores-, y por último, se destacaron los esfuerzos por vincular diferentes programas para ofrecer un apoyo integral al beneficiario. Oportunidades identificadas por la EED 2008: La EED señaló que el FONART no cuenta con evaluaciones externas de impacto ni de seguimiento a sus beneficiarios; esto se interpreta como una oportunidad de mejora por parte del programa.

Debilidades identificadas por la EED 2008: La EED identificó como debilidades del programa la ausencia de una correcta definición y cuantificación de las poblaciones potencial y objetivo. La otra debilidad señalada por la EED fue que, "aunque en las ROP-2008 se define el término 'técnicas tradicionales', el programa debe precisar la manera en que califica las adquisiciones de artesanías como 'realizadas con técnias y diseños tradicionales'".

La EED 2008 no planteó recomendaciones.


110

Nombre del programa: Fondo nacional para el Fomento a las Artesanías

Año de Evaluación: 2009

Nombre de la Evaluación: Evaluación Específica de Desempeño 2009-2010

Tipo de la Evaluación: Específica de Desempeño

Metodología utilizada: Trabajo de gabinete Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores Valoración técnica: Se considera que las recomendaciones de la EED 2009-2010 son pertinentes y buscan la mejora del programa, sin embargo se detectaron las siguientes inconsistencias: 1. La EED declaró que "se observó una clara mejoría en la medición de la población objetivo y en su definición" (2009: 19) en tanto que agregó la palabra “artesanos” productores; sin embargo con la nueva definición se perdió la especificación sobre la fuente para considerar los criterios de pobreza. Por otro lado, la definición de PO presentada en la evaluación no coincide exactamente con la de las ROP 2009. 2. No se identificó el hecho de que están definidas de la misma manera la PP y la PO, pero cada una está cuantificada de forma distinta. 3. En el análisis del indicador "Porcentaje de ejecución de presupuesto para capacitación", en la evaluación se declaró que éste era pertinente, relevante y confiable y que medía la capacidad ejecutora de los recursos del programa en la vertiente de capacitación; sin embargo la definición del indicador declara que este refleja los "artesanos capacitados para mejorar el proceso y la calidad de su producto". Esto quiere decir que no existe consistencia entre el título del indicador y su definición (una cosa es el presupuesto y otra es el número de artesanos capacitados), y en ese sentido se debería haber señalado que la definición no corresponde con el título ni con el método de cálculo y por lo tanto se hubiera tenido que ajustar, por ejemplo: porcentaje de los recursos que se ejercen para la capacitación de artesanos entre el total del monto de recursos programados para su capacitación. 4. No se realizó ningún comentario sobre la necesidad de valorar la forma en la que se calculan las metas de los indicadores, aun cuando la mayoría las superaron. 5. En la evaluación se señaló que FONART implementó en su totalidad las acciones que se plantearon en la ECyR 2007, no obstante, una de las observaciones de la ECyR 2007 fue "definir entre los objetivos estratégicos del FONART el fomento y la comercialización de las artesanías con un enfoque dirigido a todos los artesanos que cumplan con los requisitos de promover la actividad artesanal del país preservando técnicas y colores tradicionales y, adicionalmente, establecer un programa específico que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las que operan hoy en FONART (capacitación, financiamiento, adquisición y concursos)". Esta sugerencia no fue retomada por las EED's y podría ayudar a refinar las definiciones de Población Potencial y Población Objetivo así como su cuantificación.

Principales resultados: Respecto al análisis de los indicadores de resultados, 4 de los 5 indicadores fueron identificados por la evaluación como relevantes y confiables. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se señaló que requería de mayor claridad conceptual para ser confiable. Por otra parte, la revisión llevada a cabo por la EED respecto a los indicadores de gestión del FONART identificó a los 5 indicadores revisados como pertinentes, relevantes y confiables. En su conjunto, la valoración de la EED sobre los indicadores del FONART señaló que su mayoría reportó valores superiores a sus metas, "siguiendo la tendencia del año anterior” y que no se cuenta con elementos en el SED “para explicar cambios entre periodos o cumplimientos de metas” (EED, 2009-2010: 12). Respecto a la cobertura del programa la EED identificó que "se observó una clara mejoría en la medición de la población objetivo y en su definición" y señaló que "tanto la población objetivo como la población atendida presentan una tendencia positiva respecto del año anterior. La población atendida creció́ aproximadamente 36%. Que la población atendida sea mayor a la objetivo puede deberse a la disponibilidad de recursos asignados" (EED, 2009-2010: 19). Finalmente, con relación a las mejoras del programa la EED declaró que se han implementado en su totalidad las acciones relativas al diseño y a la gestión que se plantearon en la ECyR 2007. En cuanto al análisis de los hallazgos relevantes, destacaron el "haber incorporado en la definición de la población objetivo los artesanos en condición de pobreza patrimonial [lo cual] es un primer paso importante en mejorar la eficacia y eficiencia del programa", también "se ha avanzado en homogeneizar los mecanismos para la identificación de los beneficiarios al incorporar en reglas de operación el Cuestionario Único de Información Socioeconómica" y el que se hubieran realizado "los pasos necesarios para diferenciar claramente el objetivo institucional del fideicomiso con el propósito definido en la Matriz de Indicadores del programa FONART. Esto evita confusiones y duplicidades" (EED, 2009-2010: 13).


111

Resumen de Análisis de Fortalezas,

Oportunidades, Debilidades y

Recomendaciones

Fortalezas identificadas por la EED 2009-2010: 1. Se llevaron a cabo acciones de mejora tales como la inclusión de nuevos indicadores y el hecho de recolectar información abundante que se podría usar para crear indicadores más relevantes, y avances en cuanto a la definición y cuantificación de la PO. 2. Una mejora en el diseño del FONART gracias a que éste se ha centrado en apoyar a los artesanos quienes, a partir de su ingreso, se les puede clasificar en situación de pobreza. 3. Existe un esfuerzo del programa para diseñar un mayor número de indicadores de actividades y para recolectar información sobre su operación 4. Se establecieron criterios de elegibilidad y montos máximos de apoyo para las cuatro vertientes. 5. La focalización del programa mejoró de manera sustantiva gracias a la recolección de información socioeconómica y al uso de Zonas de Atención Prioritaria (ZAP). 6. Las acciones de cobertura se han complementado con la medición de la satisfacción de los beneficiarios. Oportunidades identificadas por la EED 2009-2010: 1. Se debe seguir avanzando en la elaboración de un Plan Estratégico de corto, mediano y largo plazo que genere un círculo virtuoso entre objetivos, metas, acciones, plazos e indicadores de impacto. La EED 2009-2010 no identificó debilidades.

Recomendaciones planteadas por la EED 2009-2010: 1. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se observó que requería de mayor claridad conceptual para ser confiable. Con relación a los indicadores de gestión la EED recomendó "considerar el diseño de indicadores de tiempos programados para el otorgamiento de cada uno de los apoyos (días capacitación, cobro de cheques, duración del proceso de adquisición de artesanías, etc.)" (2009-2010: 15). 2. Respecto a la planeación del FONART, la EED sugirió "concretar convenios a fin de evitar duplicidades y aprovechar complementariedades y producir un Plan Estratégico y una Estrategia de Cobertura de corto, mediano y largo plazo" (2009-2010: 22). 3. Cuando se concrete el Plan Estratégico del programa será recomendable “diseñar indicadores que además de la relación ejecutado/programado, incluyan la relación ejecutado/demandado” (2009-2010: 15). 4. Avanzar en el mecanismo de criterios para la recolección de información de los indicadores. Con respecto a la operación del programa la evaluación sugirió seguir "avanzando en adecuar la estructura organizacional de las cuatro vertientes del programa" (2009-2010: 22). 5. Estudiar la factibilidad de una evaluación de seguimiento de los beneficiarios.


112

Nombre del programa: Fondo Nacional para el Fomento a las Artesanías Año de Evaluación: 2010 Nombre de la Evaluación: Evaluación Específica de Desempeño 2010-2011 Tipo de la Evaluación: Específica de Desempeño

Metodología utilizada: Trabajo de gabinete. Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores Valoración técnica: 1 . La evaluación omitió comentar las implicaciones que tiene el que 7 de 9 indicadores hayan superado sus metas. 2. La EED 2009-2010 tampoco hizo recomendaciones concretas de mejora-. 3. En esta evaluación la definición de PO y su cuantificación sí corresponden a un subconjunto de la PP.

Principales resultados: Con respecto a los principales hallazgos de Fin y Propósito, la EED destacó el trabajo en ciertas tareas de seguimiento a los beneficiarios, que de concretarse permitirán determinar si el programa contribuye a mejorar los ingresos de los artesanos. Por otro lado, al revisar los ASM producto de evaluaciones pasadas, la EED destacó los esfuerzos realizados por el FONART para perfeccionar su MIR, el trabajo en curso por estudiar la factibilidad de darle seguimiento a los beneficiarios, la conclusión de las estrategias de corto, mediano y largo plazo, así como la estrategia de cobertura y del padrón de beneficiarios. La EED también identificó que para el año 2009 se habían implementado la totalidad las acciones de la ECyR 2007 y se resaltó la adecuación de la estructura organizacional del FONART a través de la elaboración de un Manual de Organización General y el mecanismo para prevenir duplicidades con otros programas Federales. La mejora a la definición de PO volvió identificarse como uno de los resultados destacados de la evaluación. El cambio se refiere a la inclusión de los artesanos que habitan en las Zonas de Atención Prioritaria, y los que habitando fuera de éstas que se encuentren en pobreza patrimonial. Con respecto a indicadores con perspectiva de género la EED destacó que se observa “una incipiente preocupación por elaborar mecanismos concretos del programa que propicien una igualdad de oportunidades entre hombres y mujeres" (EED 2010: 4). Resumen de Análisis

de Fortalezas, Oportunidades,

Debilidades y Recomendaciones

Fortalezas identificadas por la EED 2010-2011: 1. Hay una mejora en la definición de PO gracias a la incorporación de Zonas de Atención prioritaria y la medición de la pobreza patrimonial. 2. Existe un fortalecimiento de la confiabilidad de los indicadores de propósito a causa de la reelaboración de su línea base. 3. Se concretaron mecanismos para evitar duplicidades con otros programas. Oportunidades identificadas por la EED 2010-2011: 1. Incorporar algunos documentos metodológicos sobre la MIR (instrumentos de recolección, discusión teórica-metodológica de la construcción de indicadores, métodos de cálculo, etc), y sobre el seguimiento a ASM que son responsabilidad de otras instancias distintas al programa. Debilidades identificadas por la EED 2010-2011: 1. Los indicadores de resultados del FONART no son objetivos, y los indicadores de propósito y componentes son muy parecidos. Recomendaciones planteadas por la EED 2010-2011: 1. Ajustar su estructura organizacional a las cuatro vertientes que tiene, continuar mejorando la MIR, específicamente desarrollando indicadores de componentes, servicio y gestión que midan la eficacia del programa en términos de tiempos programados. Realizar una medición objetiva de los indicadores de Propósito, en vez de la percepción de los beneficiarios 3. Disponer de información desagregada por sexo, así como elaborar un plan de mediano y largo plazo para incorporar la perspectiva de género al programa. 4. Finalizar los siguientes proyectos: un plan estratégico de corto, mediano y largo plazo, una estrategia de cobertura de corto, mediano y largo plazo y, el Padrón de Beneficiarios. 5. Adecuar la PP a la nueva medición multidimensional de pobreza.


113

Nombre del programa: Fondo nacional para el Fomento a las Artesanías Año de Evaluación: 2011 Nombre de la Evaluación: Evaluación de consistencia y resultados del programa Fondo Nacional para el Fomento a las Artesanías 2011 Tipo de la Evaluación: Consistencia y Resultados Metodología utilizada: Trabajo de gabinete Objetivo de la evaluación: verificar la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados

Valoración técnica: 1. La evaluación ofrece una visión general sobre el FONART y sus principales obstáculos, pero no abordó uno de los problemas señalados regularmente en las evaluaciones previas 2. La evaluación también revela que las debilidades se concentran en el área de planeación –particularmente la estimación de su PO- y en la de medición de resultados. Sin embargo, se considera que faltó enfatizar el problema de la cuantificación de las metas de los indicadores de resultados. 3. No se hace mención sobre la fuente de información subjetiva con la que se están alimentando los indicadores de propósito del programa. Esta fue una discusión que estuvo presente a lo largo de las evaluaciones previas pero que fue obviada, lo cual se considera una omisión importante. 4. Se detectaron algunas inconsistencias dentro de la evaluación. Se señaló como fortaleza del programa la validación de su lógica vertical, no obstante, también señaló que se deben revisar los indicadores de resultados, cuidando que se cumpla con el requisito de medir los efectos del programa en términos del fin y el propósito. Se considera que no se puede validar la lógica vertical si los indicadores de resultados no miden los efectos del programa. Además, primero se señaló que no se cuenta con información para saber si el programa cumple con el indicador de satisfacción de los beneficiarios y más adelante mencionan una herramienta que se ha diseñado para ese propósito y propone formas de mejorarlo.

Principales resultados: Entre los resultados destacados relativos al diseño del FONART, se cumplió con los requisitos administrativos de tener un diagnóstico, una justificación, una vinculación con objetivos sectoriales, además de estar alineado con los objetivos del milenio. Para la realización de la ECyR el FONART también contó con una definición de PP y una metodología para su medición. Otra de las conclusiones respecto al análisis del diseño del FONART fue que existe correspondencia entre las ROP y la MIR. Por su parte, los principales resultados respecto a la planeación del FONART, se refirieron a la subestimación de la PO –por lo cual la PA siempre ha superado a la PO- y a la falta de evidencia sobre la contribución del programa para mejorar el ingreso de los beneficiarios. Los hallazgos positivos relacionados con la planeación se refirieron a las mejoras en el Plan Operativo –ya que ahora incorporó misión, visión y objetivos del programa, así como actividades y componentes- y a la generación de información que le ha permitido al programa identificar si se esta cumpliendo con sus actividades y componentes. Con respecto a la cobertura la ECyR simplemente señaló que ésta creció sistemáticamente durante la administración. La ECyR ofreció más hallazgos con relación a la operación del FONART pues, para empezar, destacó que el programa ha registrado mejoras en sus ROP respecto a los montos económicos para los beneficiarios (para las vertientes de apoyo a la producción y la comercialización), pero que este es un proceso que debe continuar y el siguiente paso es la documentación de una serie de acciones que el programa realiza pero que no están contempladas en las ROP, por ejemplo la asistencia a espacios y eventos artesanales; registro de marca; renta, construcción o acondicionamiento de espacios artesanales, inclusión de niños como beneficiarios, entre otros. En el área de percepción de la PO la evaluación concluyó que el programa cuenta con 10 ítems dicotómicos para medir el grado de satisfacción de los beneficiarios, lo cual muestra que existe interés en conocer cuál es la percepción que tiene la población atendida. Sin embargo, las metas establecidas para los mismos deben ser revisadas, ya que es prácticamente un hecho, independientemente de lo que suceda, que éstas se alcancen, lo cual sugiere que han sido subestimadas. Una ausencia considerable es la falta de evaluaciones externas que les hayan permitido identificar el impacto del programa en términos de Fin y Propósito.


114

Resumen de Análisis de Fortalezas,

Oportunidades, Debilidades y

Recomendaciones

Fortalezas identificadas por la ECyR 2011: 1. FONART usó las recomendaciones de las evaluaciones externas para mejorar su operación, tales como la unificación del padrón de beneficiarios, la reducción de tiempos de entrega de las piezas que participan en los concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación 2. El Fin y Propósito del programa contribuyen a la solución del problema identificado y estén claramente definidos. Las lógicas vertical y horizontal del programa se validaron en su totalidad. La ECyR 2011 FONART identificó las siguientes oportunidades:

Debilidades identificadas por la ECyR 2011: 1. La definición de la PO ha sido subestimada a lo largo de la Administración 2. No se cuenta con una Estrategia de Cobertura. 3. El programa no cuenta con evidencia sobre su contribución para mejorar las fuentes de ingreso de los artesanos que habitan en Zonas de Atención Prioritaria, a causa de una falta de evaluaciones que permitan identificar los logros en términos de Fin y Propósito. Recomendaciones planteadas por la ECyR 2011: 1. Mejorar la calidad del diagnóstico y fortalecer la justificación. 2. Homogeneizar los términos utilizados en los distintos documentos del programa (por ejemplo, en el Documento Estratégico y en el Diagnóstico se refieren con términos diferentes a la PP en algunos casos se refiere a indígenas y en otros a artesanos en pobreza y en otros a artesanos en pobreza patrimonial). 3. Revisar la definición de los indicadores, cuidando que se midan los efectos del programa en términos de Fin y Propósito. 4. Mejorar la planeación del FONART mediante una definición más precisa de la PP y PO 5. Justificar teórica o empíricamente el hecho de que la intervención del FONART sea la mejor opción de política pública. 6. Mejorar el diseño y el método del instrumento para medir el grado de satisfacción de los beneficiarios refinando la definición conceptual y empírica de satisfacción, y usar una escala numérica del 1 al 10, para tener mayor varianza. 7. Establecer las metas de los indicadores con el fin de lograr alcanzar los objetivos de Fin y Propósito del programa, y no con el de cumplir un requisito administrativo. 8.Explorar alternativas viables económicamente y sólidas desde un punto de vista técnico, para poder llevar a cabo evaluaciones de impacto.


115

Nombre del programa: Fondo Nacional para el Fomento a las Artesanías Año de Evaluación: 2012 Nombre de la Evaluación: Evaluación de satisfacción Tipo de la Evaluación: de satisfacción Objetivo de la evaluación: medir las percepciones de las personas que reciben los beneficios de ciertos programas sociales, entre ellos el FONART Metodología utilizada: en un primer momento se construyó un modelo teórico para estimar el Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales (IMSAB), a través del uso de ecuaciones estructurales con variables latentes. Posteriormente, se llevó a cabo la estimación de los índices de satisfacción de cuatro programas sociales, entre ellos FONART, a través del Método de Estimación de Máxima Verosimilitud. Valoración técnica: 1 . No se hacen explícitos los rangos utilizados para determinar a qué nivel de satisfacción corresponde el puntaje obtenido en el índice.

Principales resultados: De acuerdo con la evaluación, el FONART cumple sólo “regularmente” con las expectativas del beneficiario, por lo que el nivel de satisfacción fue de 7.20 (en una escala del 1 al 10). Esto tiene que ver con dos cuestiones fundamentales. En primer lugar, los beneficiarios perciben poca amabilidad por parte del personal del programa y de quienes les entrega el apoyo; en segunda instancia, los beneficiarios perciben un efecto “regular” en sus condiciones de vida tras haber recibido el apoyo, lo cual se explica por el hecho de que probablemente los artesanos continúan padeciendo problemas de ingresos. Resumen de Análisis

de Fortalezas, Oportunidades,

Debilidades y Recomendaciones

En el informe de la evaluación se presentan los resultados del índice, más no se hace referencia a las fortalezas, oportunidades o debilidades de los programas a los que se aplicó el IMSAB. En consecuencia, tampoco se hicieron recomendaciones para mejorar la satisfacción de los beneficiarios de los apoyos de los programas sociales


116

Anexo 2. Fichas técnicas de Evaluaciones realizadas al programas similares al Fondo Nacional para el Fomento a las Artesanías (FONART).

Nombre del Programa similar: HACER: Honduran Artisans Catalyzing Economic Revitalization (Honduras)

Señalas las características similares o tipos de apoyo que entrega considerados como similares: HACER buscó aumentar las oportunidades de empleo y el acceso a los mercados de los artesanos de bajos ingresos en zonas urbanas y rurales, así mismo buscó aumentar la capacidad de producción y marketing de las artesanías hondureñas, por último buscó integrar a los artesanos hondureños al mercado internacional. Las actividades que realizaron se hicieron en comunidades seleccionadas por el tipo de habilidades, la necesidad de asistencia técnica y probabilidad de vender los productos (marketability). Las actividades que se desarrollaron fueron: desarrollo del producto y diseño, talleres de control de calidad y eficiencia en la producción, un programa de entrenamiento en producción y un programa de entrenamiento sobre el mercado (realizado en Estados Unidos), participación en ferias internacionales y el desarrollo de mercados para exportar. Se considera que la población objetivo de ambos programas es similar así como los objetivos que buscar (aumentar las oportunidades de empleo, acceso a los mercados y capacidades de producción).

Año de evaluación: 2003

Nombre de la Evaluación: HACER Final Report and Project Evaluation.

Tipo de Evaluación: Evaluación del Proyecto.

Objetivos de la Evaluación: El estudio buscó medir el impacto directo e indirecto del programa, de acuerdo a sus objetivos. También estudió la sostenibilidad del impacto logrado, identificó efectos no anticipados del programa sobre el sector de artesanías Hondureño, identificar lecciones aprendidas de la intervención y cuáles son las necesidades del sector que no se han atendido.

Metodología utilizada: Para lograr sus objetivos la evaluación recopiló información cualitativa y cuantitativa, combinado entrevistas (140 artesanos, líderes artesanales, socios exportadores, compradores de las artesanías y personal de Aid to Artisans –ATA-), visitas a las oficinas y a las tiendas. Los datos se obtuvieron de los reportes que cada tres meses la organización HACER tenía en enviar ventas, creación de empleos, empresas artesanales beneficiadas por el programa, etc.

Valoración técnica: La evaluación se avocó a conseguir principalmente información de tipo cualitativa para dimensionar y contextualizar el análisis de los indicadores del programa. No es propiamente una evaluación de impacto en cuanto que no existe un grupo de control. No obstante, con la información recabada por el programa y las entrevistas se realizó un reporte bastante completo que señala el desempeño del programa respecto a sus metas e integra las opiniones de los actores principales.


117

Principales Resultados: A través de las actividades del programa se beneficiaron a 2, 209 artesanos (la meta era de 2000). De los beneficiarios, el 70% son mujeres, y dado que en promedio, cada artesano es responsable por 2 o 6 miembros más de su familia, se estima que el programa influyó la vida de 8,000 individuos. Se ofrecieron 1,748 días de entrenamientos en temas diversos y asesorados por profesionales de las industrias de regalos, accesorios y productos para el hogar. El costo de incorporar nuevos beneficiarios disminuyó con el tiempo, sobretodo después de la fase inicial en la que incorporó el mayor número de artesanos. El proyecto terminó 6 meses antes de lo planeado, sin embargo en dos años y medio cubrieron el 70% de la meta en términos de ingresos por las ventas de artesanías (USD $614,000 de $800,000). Así mismo, las proyecciones de las ventas de artesanías una vez que termine la intervención son positivas. El proyecto generó aproximadamente 800 trabajos o oportunidades de generar ingresos para 800 artesanos; estos trabajos –con una estimación conservadora- deberían generar, en promedio, un ingreso de USD$ 2,300 anual, lo cual representa in ingreso mensual promedio de USD$164 (entre 35 y 42% por encima del salario mínimo en Honduras). El aumento en el ingreso de los artesanos tuvo efectos positivos sobre sus familias pues en algunos casos aumentaron los recursos destinados para la educación de sus hijos, en la infraestructura de sus hogares (pisos de concreto) o en la autoestima de los beneficiarios.

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caracteres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: 1. Se considera que el programa tendrá un efecto sostenible pues, gracias a los entrenamientos ofrecidos los artesanos tendrás la capacidad de innovar constantemente y estar al corriente de las tendencias del mercado. 2. Se fortalecieron las redes del sector artesanal y se espera un mayor dinamismo gracias a la competencia interna del sector. 3. El programa ayuda a preservar tradiciones culturales y tuvo un efecto positivo sobre la autoestima de los artesanos beneficiarios. Debilidades: 1. La reducción de la duración del programa. 2. Se detectó una falta de cultura empresarial, principalmente en términos del funcionamiento del mercado y reglas básicas de administración. Oportunidades/Retos: 1. Ampliar sus contactos con el mercado exterior. 2. Ampliar las capacidades de producción. 3. Buscar un nicho de productos y vincularse con redes locales de turismo. 4. Mayor acceso al financiamiento.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que sólo duró dos años y medio (en vez de los 3 que estaba programado) y que sólo funcionó en 8 de las 17 municipalidades de Honduras. La información en la evaluación no deja del todo claro cómo es que se llevaba un registro sobre las ventas de las artesanías ni sobre sus precios. Aunque esta no fue una evaluación de impacto propiamente dicha, pues careció de grupo de control, logró ofrecer una perspectiva bastante general sobre el desempeño del programa gracias al haber contado con objetivos claros e indicadores relevantes para monitorear su desempeño –en este caso todo estaba claramente dirigido a medirse en términos económicos-. Bajo los criterios del programa se podría decir que fue una intervención exitosa.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0CFcQFjAC&url=http%3A%2F%2Fpdf.usaid.gov%2Fpdf_docs%2FPDABX905.pdf&ei=hVUbUNO8MeOh2QW05oCAAQ&usg=AFQjCNEw8wY-f4lMIac83Y_LpnWKfgpePg


118

Nombre del Programa similar: Microentreprise and Small Producers Support Project (MSP), Perú.

Señalas las características similares o tipos de apoyo que entrega considerados como similares: El objetivo del programa fue reducir la pobreza entre los artesanos a través un aumento en las exportaciones de artesanías, las principales actividades realizadas fueron 18 presentaciones en exhibiciones internacionales, identificación de compradores para las artesanías y 850 días de asistencia sobre el diseño y producción. El programa comparte con el FONART de, a través del mercado de las artesanías, mejorar la calidad de vida de sus beneficiarios.


Nombre de la Evaluación: A Revolution in Design-Driven Export: A case study of Aid to Artisans in Peru, 1994-2002.


Objetivos de la Evaluación: La evaluación buscó medir el impacto que ha tenido el programa, evaluar su desempeño y derivar algunas lecciones sobre la intervención en Perú.

Metodología utilizada: Para lograr sus objetivos la evaluación recopiló información cuantitativa y cualitativa, la cual se obtuvo por medio de encuestas (se encuestaron 65 artesanos principalmente ubicados en Lima, 10 exportadores, 8 compradores de las artesanías y 5 miembros de Aid to Artisans –ATA-). Los datos se obtuvieron de los reportes que cada tres meses la Asociación de Exportadores de Perú y ATA tenían que en enviar sobre ventas, creación de empleos, empresas artesanales beneficiadas por el programa, etc.

Valoración técnica: La evaluación se avocó a conseguir principalmente información de tipo cualitativa a través de una encuesta averiguando sobre sus ingresos en los trabajos que realizaban antes de dedicarse a ser artesanos de tiempo completo; así como los ingresos de trabajos alternativos. En la evaluación no dice cómo fue que se seleccionó a los beneficiarios, y entre los beneficiarios tampoco explica como se seleccionó a los que serían encuestados. No obstante, con la información recabada por el programa y las entrevistas se realizó un reporte comprensivo sobre el desempeño del programa respecto a sus metas y las condiciones de vida de los artesanos.

Principales Resultados: En el proyecto participaron 30 exportadores y se ofrecieron talleres a 600 artesanos. De acuerdo con la encuesta, los salarios de artesanos están tan bien remunerados como cualquier otro trabajo que los artesanos pudieran desempeñar dadas sus calificaciones. Los trabajos de artesano son ligeramente más demandantes pues se trabajan entre 6 y 9 horas al día. La evaluación identificó que era más probable que los artesanos beneficiarios tuvieran los recursos suficientes para cubrir sus necesidades diarias. La evaluación también identificó que el programa tuvo un efecto positivo sobre la vida de los artesanos pues consideraban que tenían más dinero y estabilidad, por otra parte también se identificó que 75% de los artesanos proveían entre el 90 y 100% del ingreso de sus hogares. De acuerdo con la evaluación, el programa tuvo un fuerte impacto sobre la exportación de artesanías peruanas lo cual ha revitalizado al sector, las exportaciones aumentaron de usd$16 a usd$29.8 millones. A pesar de sus logros el programa sólo benefició a un reducido número de artesanos.


119

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Se logró mejorar el ingreso de los beneficiarios. Aumentaron las ventas por exportaciones de artesanías. Debilidades: El número de artesanos beneficiados fue muy pequeño con relación al sector de las artesanías en Perú. A pesar de que se entrenó a varios artesanos, el hecho de no contar con suficiente financiamiento impidió el desarrollo exitoso de varias empresas y así se impidió que varios artesanos y exportadoras se beneficiaran plenamente del programa. ATA, como una agencia consultora externa, no tuvo mucho margen de maniobra para influir sobre el diseño del programa. Oportunidades/Retos: La sostenibilidad del proyecto no es muy clara una vez que termine la intervención pues los actores involucrados sienten que las relaciones establecidas no están suficientemente consolidadas. Para aumentar el número de artesanos beneficiarios habría que realizar un mayor esfuerzo interinstitucional con el gobierno y ONG’s para informarles del proyecto y para comprender mejor las necesidades de los artesanos de cada región. Para conocer verdaderamente el impacto del programa se debería instaurar un sistema de impacto y monitoreo.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 8 años y que en esta ocasión se trabajó directamente con los exportadores y sólo de manera indirecta con los artesanos. Habría que analizar porqué después del tiempo que operó el proyecto los actores involucrados sienten que las relaciones no están suficientemente consolidadas. Al leer la evaluación se percibe que hubo una controversia sobre el enfoque de trabajar directamente con los exportadores que no se encuentra aclarada.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEoQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D56&ei=XmsbUJ27F6m62wWS6YC4CQ&usg=AFQjCNEAwgOUxsx7aAh0D0BHUokMBdKaKQ


120

Nombre del Programa similar: Fostering Craft Enterprise and the Voluntary Buisness Assistance Sector in Russia

Señalas las características similares o tipos de apoyo que entrega considerados como similares: Los objetivos de la intervención en Rusia fueron, en primer lugar, aumentar las oportunidades de empleo, especialmente para las mujeres; en segundo lugar, fortalecer las asistencias de ONG’s hacia el sector artesanal. Para llevar a cabo sus objetivos el programa realizó talleres de capacitación a los artesanos, colocó las artesanías en 4 exposiciones internacional y facilitó vínculos con importadores estadounidenses. Se considera que el FONART comparte las actividades de capacitación a los artesanos así como el interés por fortalecer el sector artesanal.


Nombre de la Evaluación: Entrepreneurs Prosper in Russia: A Case Study of Aid to Artisans in Russia, (1993-1996).


Objetivos de la Evaluación: Ocho años después de haber terminado la intervención, la evaluación buscó medir el impacto que tuvo el programa, así como su sostenibilidad.

Metodología utilizada: Para lograr sus objetivos la evaluación trató de localizar a las ONG con las que se había colaborado así como a los beneficiarios para entrevistarlos sobre su vida como artesanos y la influencia del programa.

Valoración técnica: La evaluación llevó a cabo un trabajo destacado al buscar a los beneficiarios y actores principales del proyecto 8 años después de su término. Esta evaluación reveló información sobre la sostenibilidad del proyecto para el caso Ruso –que se enfocó principalmente en mujeres artesanas-. Por otro lado, no es una evaluación de impacto pues no hay grupo de control y toda la información proviene de entrevistas.

Principales Resultados (máximo 1,500 caractéres): Las ventas acumuladas superaron el monto de financiamiento del programa a 4 años de haber terminado el proyecto. Se alcanzaron ventas por usd$60,ooo de artesanías al final del proyecto. La mayoría de las ONG’s con las que se había trabajado se habían disuelto. Las principales empresas de artesanas seguían operando y daban trabajo a 169 personas. Adicionalmente, el principal importador americano de productos rusos daba trabajo a 200 artesanos, lo cual da un total de 369 trabajos que se sostuvieron por 8 años. En términos de ingreso, las artesanas ganan 100,000 rublos al mes, esto significa un ingreso entre 35 y 53% menor que el ingreso per cápita nacional; sin embargo este salario es mayor que la mayoría de trabajos disponibles para mujeres.


121

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Se logró mejorar el ingreso de los beneficiarios. El programa facilitó la transición de una económica controlada a una de libre mercado. Se lograron mantener las principales compañías de artesanas. Se creó una asociación informal entre los principales participantes del proyecto (por lo menos 5 de los líderes artesanales estaban en comunicación entre ellos). Debilidades: La innovación en cuanto al diseño de productos ha sido mínima desde que terminó el proyecto. La mayoría de las ONG que participaron en el proyecto se desintegraron. Los salarios de las artesanas son muy bajos.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 3 años y que se evaluó 8 años después de que había terminado, que no se contó un una línea base y que la mayoría de los beneficiarios fueron mujeres. Un aspecto positivo de la evaluación es que incorpora un anexo con los principales indicadores de resultados del proyecto (definición, meta y resultados al final del proyecto). Estos indicadores podrían servir como sugerencias para refinar los indicadores del FONART.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEsQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D59&ei=LXsbUK3BGqeU2wWlwIHAAw&usg=AFQjCNF5au95org2Odc0eAfEJe8vJczn4A


122

Nombre del Programa similar: Sharan Craft Center (SCC) in Yerevan, Armenia

Señalas las características similares o tipos de apoyo que entrega considerados como similares: Los principales objetivos del proyecto fueron generar empleos dentro del sector artesanal, preservar la cultura de artesanías en Armenia y mejorar la calidad de vida de los artesanos. El proyecto ofreció asistencia técnica en cuestiones empresariales, realizó talleres con consultores sobre pequeños cambios o adecuaciones para que sus productos tuvieran una mayor posibilidad de insertarse en el mercado internacional, facilitó la exposición de las artesanías a través de su presentación en ferias y facilitó el vínculo con importadores. Al igual que el FONART el programa busca mejorar la calidad de vida de los artesanos y preservar la cultura de las artesanáis, entre las actividades comparten el hecho de realizar talleres así como la exposición de los productos.


Nombre de la Evaluación: Entrepreneurship and Cultural Passion: A Case Study of Aid to Artisans’ Work in Armenia, 1995-1997.


Objetivos de la Evaluación: El estudio buscó determinar los factores que contribuyeron al éxito de la compañía SCC, enfatizando los insumos provistos por la organización Aid to Artisans; asimismo evaluó la sostenibilidad del proyecto al darle seguimiento 5 años después de que hubiera concluido la intervención.

Metodología utilizada: El estudio revisó los documentos y reportes de la intervención y realizó entrevistas con artesanos (22), consultores, personal de ATA y SCC así como con consumidores. El estudio se realizó en 2002, 5 años después de que terminó la intervención.

Valoración técnica: El estudio ofrece información que permite contextualizar el desempeño de la intervención en términos de ventas, empleos generados, la tasa de retorno de la inversión y la opinión de los beneficiarios.

Principales Resultados (máximo 1,500 caractéres): Las ventas acumuladas superaron el monto de financiamiento del El proyecto comenzó con la meta de generar empleos para 300 artesanos, cuando éste concluyo 505 estaban empleados. De los 1,100 artesanos que se registraron al principio del proyecto con SCC, 500 seguían activos en 2002, de los cuales 400 eran mujeres. Entre los resultados de la evaluación se destacó que la intervención había servido para encarar la crisis por la que atravesó Armenia luego de su independencia de la URSS en 1991, y ante la enorme tasa de desempleo algunas personas encontraron refugio en el sector artesanal; de acuerdo con la evaluación, muchos artesanos eran ingenieros, físicos, maestros y trabajadores de fábricas durante la era soviética. Al inicio del proyecto se buscó que el ingreso mensual de los artesanos se aproximara a USD$ 30, al concluir el proyecto, el ingreso mensual promedio de los artesanos armenios durante el tiempo de la intervención fue de USD$ 30.7 lo cual era 164% superior al ingreso promedio nacional. Para 2002, la evaluación halló que el ingreso de los artesanos beneficiarios había aumentado a USD$ 60 al mes y que era 128% mayor al salario promedio en armenia. Durante los primeros 17 meses de vida del proyecto se generaron ventas por USD$ 61, 124, en contraste los últimos seis meses del proyecto las ventas ascendieron a USD$ 129,000, las ventas continuaron creciendo y cubriendo sus objetivos hasta superar los USD$ 600,000 en el año 2002.


123

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: El proyecto demostró ser sostenible 5 años después de la intervención. Los salarios de los artesanos beneficiarios eran, en promedio, mayores al ingreso armenio promedio. Los salarios de los artesanos beneficiarios aumentaron. El volumen de venta ha aumentado. Los consultores externos y los entrenamientos aportaron habilidades y conocimientos fundamentales para el adecuado desarrollo del proyecto y su sostenibilidad. La realización de actividades previas al inicio del proyecto de dos años abonaron a su factibilidad. Debilidades: Son muy pocos los artesanos beneficiarios. Si la compañía exportadora SCC quebrara, todos los artesanos se quedarían sin vínculos con el mercado externo. Conforme la economía mejore existe la posibilidad de que los artesanos busquen regresar a sus trabajos anteriores.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 2 años y que se evaluó 5 años después de que había terminado y que no se contó un una línea base. En esta intervención la ONG vinculada con ATA se convirtió en una empresa exportadora y de ventas locales de artesanías y para 2002 empleaba a 500 artesanos. Los indicadores para medir el éxito del proyecto cambiaron conforme el proyecto se fue desarrollando. Al inicio del proyecto el indicador principal era el número de artesanos empleados, sin embargo, hacia el final del proyecto se enfatizó la necesidad de generar suficientes ingresos para cubrir los costos de operación, logrando así que transitar de una lógica de proyecto de asistencia para las artesanías a una lógica de negocios orientada al mercado. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer más rentables los productos artesanales en el mercado moderno y el uso de nuevas técnicas han sido fundamentales para el éxito de los proyectos.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=entrepreneurship%20and%20cultural%20passion%3A%20a%20case%20study%20of%20aid%20to%20artisans%E2%80%99%20work%20in%20armenia%2C%201995-1997.&source=web&cd=1&ved=0CE8QFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D57&ei=U-sbUKLiFYqa2AW_wYGIAQ&usg=AFQjCNGdijGNXvyOzn6PRrPIDcRNcOO7iQ&cad=rja


124

Nombre del Programa similar: Aid to Artisans Ghana (ATAG)

Señalas las características similares o tipos de apoyo que entrega considerados como similares: El quinto programa revisado se implementó en Ghana entre los años 1993 y 1997. El objetivo del programa fue mejorar la calidad de vida de los artesanos y de sus familias, para lograrlo se ofrecieron capacitaciones (sobre la calidad del producto y sobre cuestiones administrativa), se promocionaron los productos y se creó una red de consumidores internacionales. Se consideró que el FONART compartía con esta intervención las actividades de capacitación a los artesanos así como el interés por fortalecer el sector artesanal.


Nombre de la Evaluación: A Rich and Deeply Cultural Tradition, A Case Study of Aid to Artisans in Ghana, 1993-1997.


Objetivos de la Evaluación: La ATAG ha realizado labores relacionadas con las artesanías en Ghana desde 1987, sin embargo la evaluación se concentró en el periodo de 1993-1997, que fue el periodo durante el que duró la intervención financiada por USAID. La evaluación busca documentar las principales actividades, los resultados y las lecciones aprendidas del proyecto; así como ofrecer un seguimiento a las empresas artesanales que fueron beneficiarias.

Metodología utilizada: El estudio revisó los documentos y reportes de la intervención y realizó entrevistas con artesanos (62), consultores (2), personal de ATAG así como con consumidores, en total se entrevistaron a 100 personas. El estudio se realizó en 2003, 6 años después de que terminó la intervención.

Valoración técnica: El estudio reconoció que es imposible distinguir los impactos derivados de la intervención realizada con financiamiento de USAID del trabajo ralizado por ATAG de manera posterior. La mayoría de los datos del estudio provienen de los reportes de indicadores del programa y esta información fue complementada con las entrevistas con los actores relevantes del proceso que sirvieron para contextualizar los resultados de la intervención. Es interesante que esta evaluación se hubiera realizado 6 años después de que se realizó la intervención para probar la supervivencia de los proyectos.

Principales Resultados (máximo 1,500 caractéres): El valor de las ventas acumuladas se aproximó a USD$ 859,000, lo cual superó el presupuesto destinado por ATA para la operación del proyecto. Las exportaciones de artesanías de Ghana aumentaron de USD$ 160,000 en 1989 a USD$ 11 millones en 2002; de acuerdo con la evaluación, 60% de este aumento es atribuible a la intervención de ATA y ATAG. Los artesanos reportaron tener un ingreso 155% superior al ingreso promedio en Ghana, sin embargo, en promedio pasan 3 meses sin trabajo. De acuerdo con la evaluación, existen 6 empresas artesanales que se pueden identificar como grandes productores exportadores, es decir que un modelo de producción en el que venden colecciones enteras a mercados americanos y europeos, que cuentan con una bodega, que dan seguimiento y análisis a sus ventas y que tienen in proceso empaquetado y envío. Existen más de una docena de pequeñas y medianas empresas artesanales que no existían antes de la intervención, y que dan crédito a los talleres de diseño impartidos por la ATA por haber sido fundamentales para su supervivencia. Se difundió el trabajo de los artesanos en 8 ferias internacionales y también se coordinaron visitas de los compradores al sitio. Entre 11 consultores se impartieron 424 días de talleres sobre diseño. Se otorgó también una asesoría de negocios y un programa de entrenamiento para el mercado en NY.


125

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Existió una buena coordinación entre ATA y ATAG, y al terminar la intervención el hecho de que ATAG permaneciera realizando talleres y vinculando artesanos fue muy importante. El programa logró que aumentara el número de empresas artesanales. El haber otorgado talleres sobre innovación en los diseños artesanales resultó en una ventaja para las artesanías ghanesas a la hora de venderse en el mercado internacional. La intervención resultó en efectos positivos sobre las vidas de los artesanos en términos de ingresos, ahorros y compra de equipo. Debilidades: Algunos de los miembros que trabajaron en ATAG crearon sus propias empresas de artesanías, esto fue visto con desconfianza por el gremio artesanal original que fue apoyado por la intervención. Actualmente ATAG esta tratando de adoptar una actitud más empresarial lo cual la podría poner en una situación de competencia con los que fueron antiguamente sus beneficiarios.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 4 años, se evaluó 6 años después de que había terminado y no se contó un una línea base. Una carencia de la evaluación es que no reportó cuántos artesanos se capacitaron, la mayoría de los logros de la intervención se presentaron en términos de ventas de artesanías. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer más rentables los productos artesanales en el mercado moderno y el uso de nuevas técnicas han sido fundamentales para el éxito de los proyectos. En términos de sostenibilidad y ventas de artesanías se podría decir que la intervención en Ghana fue todo un éxito. Después de la revisión de las experiencias en Honduras, Perú, Rusia, Armenia y Ghana se podría decir que el modelo de fomento a las artesanías de USAID-ATA funciona bastante bien, aunque no tiene las mismas proporciones que el FONART. Hay aspectos positivos que se podrían aprender de estas intervenciones como el énfasis en talleres y cursos para hacer más atractivas las artesanías para el mercado, y los talleres y capacitaciones sobre temas empresariales.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEwQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D58&ei=X2EcUPrBLZKiqwHgwoCoCA&usg=AFQjCNHK5d3WW7CBiebhJgzHCx0Mlzt1fQ


126

Nombre del Programa similar: Mpukunyoni Craft Market Project

Señalas las características similares o tipos de apoyo que entrega considerados como similares: El programa se ubicó dentro del Proyecto de Desarrollo Económico Local del gobierno local de KwaZulu-Natal, cuyo objetivo general era estimular y apoyar el desarrollo económico a nivel local. El proyecto surgió por iniciativa de los artesanos en la municipalidad de Hlabisa, quienes operaban de manera informal en sus casas y se concibió como una oportunidad para que los artesanos rurales involucrados con la elaboración de prendas tradicionales expusieran sus trabajos y mejoraran su situación económica al conectarse a los mercados doméstico, provincial, nacional e internacional. El producto final de la intervención fue la creación de un espacio en el que los artesanos de la región pudieran concentrarse y exponer sus productos. El objetivo particular del programa de artesanías era reducir la pobreza mediante la creación de empleo en el sector de las artesanías, enfocado para mujeres y jóvenes en la municipalidad de Hlabisa. El proyecto se implementó a lo largo de la ruta R618 para atender las necesidades los artesanos de la región. Compartía con el FONART el hecho de que buscaba reducir la pobreza enfocándose al sector de las artesanías y que buscaba facilitar su acceso al mercado.


Nombre de la Evaluación: Mpukunyoni Craft Market Project Impact Assessment Report.


Objetivos de la Evaluación: La evaluación buscó averiguar cuál fue la utilidad de los recursos destinados para este programa y si se han logrado sus objetivos. Un segundo objetivo de la evaluación fue probar diferentes herramientas de evaluación y monitoreo.

Metodología utilizada: Para evaluar el impacto del programa se recurrió a una revisión de los documentos del programa así como a una serie de entrevistas con los actores principales.

Valoración técnica: Esta no es una evaluación de impacto pues no se comparó el efecto de la intervención sobre un grupo de tratamiento y uno de control, más bien se aproxima a una evaluación de resultados. La mayoría de los datos presentes en el reporte se refieren a los resultados documentados por el programa y están contextualizados por las entrevistas a los beneficiarios. Cabe señalar que el equipo evaluador reportó que entre la documentación otorgada por el programa no se contaba con estudios de probabilidad de éxito del programa ni un plan de negocios, supuestamente estos reportes debían contener toda la información necesaria del proyecto.

Principales Resultados (máximo 1,500 caractéres): Con base en las entrevistas con los beneficiarios se les preguntó sobre los orígenes del programa a lo cual los artesanos respondieron que había sido producto de una iniciativa de varias organizaciones artesanales que se congregaban a vender sus artesanías a lo largo de la carretera. Los beneficiarios reportaron que el propósito del proyecto es crear una situación de ingreso estable y sostenible, consideran que las artesanías son una opción de tiempo completo con lo que podrán reducir la pobreza. Respecto al financiamiento los beneficiarios reportaron que los recursos se usaron para la adquisición de estructura física, poner bardas, entrenamientos de habilidades artísticas, compra de maquinaria y materia prima. En términos de perspectiva de género se constató que el proyecto está dirigido por mujeres y sólo un hombre atendió a los talleres. Respecto las habilidades de los artesanos, los beneficiarios reportaron que no se sentían con el mismo entrenamiento que otros competidores en la región y que por lo tanto sus productos eran de menor calidad.


127

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: De acuerdo con las entrevistas, los beneficiarios consideran que este era un proyecto importante en su región, por encima de otros relacionados con parques, aves de corral o tejidos. Debilidades: No existió una adecuada comunicación entre las autoridades y los beneficiarios. Existe la percepción de que el plan de negocios no fue adecuadamente monitoreado; además que no se le dio seguimiento por parte de las autoridades. La falta de registros documentales es una práctica negativa que se debe eliminar en un futuro. Existió una falta de continuidad entre los coordinadores del proyecto que dio una mala impresión a los beneficiarios y afecto el liderazgo del proyecto. Recomendaciones: La ausencia de un plan de negocios revela un escaso conocimiento en prácticas administrativas; dicho plan se debe elaborar y poner al alcance de todos los actores involucrados. Se debe hacer un mayor esfuerzo por mantener informada a la comunidad sobre el desarrollo del proyecto, los resultados de los estudios y las decisiones que les conciernan. Se debe llevar a cabo un monitoreo constante, realizado con base en un plan acordado entre los administradores y proveedores del proyecto. Se debe desarrollar una estrategia de salida y hacerla del conocimiento de sus beneficiarios para eliminar la dependencia del sector hacia el departamento.

Observaciones Generales: Este fue un programa que no tuvo un adecuado registro documental y con serios errores de comunicación que afectaron su desempeño. En comparación con los proyectos desarrollados por USAID-ATA se observa que hizo falta un mayor énfasis en la capacitación a los artesanos sobre el uso o modernización de técnicas tradicionales, así como un mayor esfuerzo por vincular a los beneficiarios con el mercado. Ciertamente no fue una evaluación de impacto y las información presentada difícilmente sirve para evaluar el éxito o su desempeño pues no se presentan metas ni resultados ni recursos utilizados.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CE0QFjAA&url=http%3A%2F%2Fwww.kznded.gov.za%2FPortals%2F0%2Fdocs%2FReports%2FDED%2520Mpunkunyoni%2520Craft%2520Market.pdf&ei=u2IcULGmIcqqrQGtrIDQDg&usg=AFQjCNE47lib7DqXjLKAl1_axiBBvtrH4w


128

Anexo 3. Agenda de Evaluación para el Fondo Nacional para el Fomento a las Artesanías (FONART).

Año de

inicio

Tipo de Evaluación

Objetivos

Duración o

periodo de

ejecución

Componentes a evaluar Justificación e importancia Refere

ncia Insumos Necesarios

2013 Diagnósti

co

Identificar el problema que busca atender el programa

2013 Problema Público que atiende el programa.

Existe una tensión entre el objetivo del programa por contribuir al desarrollo artesanal y al desarrollo económico.

Pg.59

Para realizar el diagnóstico no se requiere contar

con ninguna información previa

2013-2018

Evaluación

Específicas de

Desempeño

Conocer la evolución de los indicadores, la

cobertura y el desempeño general del programa.

Cada dos

años

Desempeño y calidad de los indicadores

Es importante contar con evidencia para conocer si los programas, de manera regular, tiene un adecuado desempeño

Pg.64

Para todas las evaluaciones se

recomienda recoger

información socioeconómica

de los beneficiarios (información acerca de las

ganancias que los artesanos

productores generan por concepto de

ventas), a partir de la entrada en vigor

de las ROP de 2013, utilizando

como mecanismo de recolección al

CUIS o al instrumento ad

2013

Evaluación de

Indicadores

Verificar que los indicadores de la MIR del FONART estén capturando la información para la cual fueron diseñados.

2013-2014

Diseño y desempeño de los indicadores

Los indicadores con los que hasta ahora cuenta el programa presentan algunas dificultades en cuanto a los medios de verificación de la información, con lo cual la confiabilidad de la información que alimenta los indicadores resulta cuestionable.

Pg.59

2014 Evaluació

n de procesos

Conocer cómo los procesos del programa conducen al logro del Propósito, así como para detectar problemas operativos.

2014-2015

Aspectos del proceso relativos a la gestión de proyectos y entrega de apoyos.

De acuerdo con la evaluación de satisfacción, existe una mala percepción del programa por parte de los beneficiarios, que tiene que ver con cuestiones de índole administrativo, por lo que esta evaluación será ideal para identificar en que eslabón del proceso de implementación es en donde surgen los problemas de eficiencia, que terminan por afectar la percepción de la PA sobre el programa

Pg.60


129

2015

Evaluación

Complementaria

Generar evidencia sobre cómo distintos componentes del programa generan efectos diferenciados en el Propósito y el Fin de la intervención.

2015-2016

Los tipos de apoyos que se deben otorgar, a quién se les debe dar el apoyo y cuánto se le debe otorgar. Conocer si los errores en el proceso han sido enmendados de forma adecuada.

Esta evaluación se justifica puesto que muchas de las decisiones sobre el diseño

del programa no están sustentadas en evidencia que permita especificar por qué

conviene un diseño sobre otro

Pg.61

hoc ideado para este fin.

Se requiere contar con dicha

información al inicio del

Programa y, para un grupo

representativo, en los años siguientes para poder llevar a

cabo distintas evaluaciones del

programa.

2016 Análisis Costo-

Beneficio

Conocer cuánto le está costando al programa generar cada proyecto artesanal, dado el beneficio que genera (en términos de ventas) , y contar con la información necesaria para poder evaluar si el proyecto está siendo eficaz

2016-2017

Costos del programa y beneficios de los beneficiarios en términos de ventas.

En comparación con otros programas similares al FONART, éste cuenta con un amplio presupuesto, y se desconoce el beneficio que está generando para los beneficiarios.

Pg.62

2017

Evaluación de

Satisfacción

Conocer la percepción que los beneficiarios tienen con respecto al programa.

2017-2018

Satisfacción de los beneficiarios con

respecto al programa, la calidad

de los apoyos, y la eficacia de los

mismos.

Al haber sido atendidas las áreas de oportunidad detectadas a partir de las evaluaciones complementarias y de proceso, el programa estará sujeto a ciertos ajustes que deberán ser evaluados nuevamente en términos de la satisfacción de los beneficiarios

Pg.62

2017 Evaluació

n de Impacto

Conocer cuál es el impacto que el programa tiene en los beneficiarios, en términos de bienestar económico

2017-2018

Nivel de ventas antes y después de la intervención, y bienestar económico de la población atendida

Hasta el momento no se cuenta evidencia sólida para poder saber si ha habido un cambio en el bienestar económico de la PA del POP, por la intervención del mismo. Se espera que para este punto, se cuente con evidencia de este efecto. A fin de poder atribuirle este efecto al programa, se recomienda llevar a cabo esta evaluación de impacto.

Pg. 63 Datos sobre las ventas de los beneficiarios


130

Anexo 4. Principales fortalezas, retos y recomendaciones para el Fondo Nacional para el Fomento a las Artesanías (FONART). Tema de

evaluación Aspecto Identificado Referencia Recomendación

Fortaleza

El Propósito de FONART está alineado a la estrategia 1.4 del Programa Sectorial de Desarrollo, así como al objetivo 2 del Plan Nacional de Desarrollo, con lo cual se demuestra que el programa contribuye a atender problemas tales como la falta de ingresos y de calidad de vida de la población más pobre.

Pg. 97 NA

Existe un esfuerzo del FONART por atender las recomendaciones hechas por los evaluadores externos, a fin de mejorar la operación y planeación del programa.

Pg. 97 NA

Oportunidad

Incorporación de aspectos de diseño (sobre todo relativos a la sostenibilidad de los proyectos), identificados en programas similares al FONART en otras partes del mundo

Pg. 98 Incorporar el elemento de "sostenibilidad" a las características que idealmente deben tener los proyectos artesanales

Debilidad

Falta de un diagnóstico claro que justifique la intervención desde la SEDESOL

Pg. 97 Realizar un nuevo diagnóstico del problema que atiende el FONART

Resúmenes narrativos poco claros para los niveles de Fin y Propósito pues no existe una diferencia entre el Fin y el Propósito del programa

Pg. 97

Modificar los resúmenes narrativos para los niveles de Fin y Propósito en el sentido propuesto en el aparato de Monitoreo. Además, se recomienda hacer explícitos los criterios mediante los cuales se establecen las metas de los indicadores, con el fin de conocer si los resultados de éstos son producto de un buen desempeño del programa, o de metas muy laxas.

El indicador de la MIR utilizado para el nivel de Fin es poco económico y carece de información. Los indicadores de Propósito corresponden al nivel de Componente.

La percepción de los beneficiarios de que no existe una mejora en sus condiciones de vida tras haber participado en el programa, así como de la existencia de muchos problemas de índole administrativo resultado de la evaluación de satisfacción

Pg. 97 Se recomienda realizar una evaluación de procesos con el fin de detectar problemas de eficiencia operativa en el programa


131

Amenaza

La naturaleza del mercado, pues si la demanda por bienes artesanales no es suficiente para permitir su sostenibilidad, FONART estará obligado a otorgar apoyos permanentemente sin que esto se traduzca en una mejoría en el bienestar de la PA.

Pg. 99 Se recomienda orientar los proyectos artesanales hacia una lógica de sostenibilidad, pues sólo de esta forma se

podrá lograr que éstos permanezcan en el mercado.


132

Anexo 5. Evolución del Resumen Narrativo para los niveles de Fin, Propósito y Componente

2007 2008 2009 2010 2011 2012

FIN

Contribuir al incremento del ingreso

de los artesanos en situación de pobreza.

No cambió.

Contribuir a mejorar las fuentes de ingreso de

los artesanos en situación de pobreza,

mejorando sus condiciones productivas.

Contribuir a mejorar las

fuentes de ingreso de los artesanos que habiten en

Zonas de Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación

de pobreza patrimonial.

No cambió.

Contribuir a mejorar las

fuentes de ingreso de los artesanos cuyo ingreso es

inferior a la línea de bienestar, mejorando sus condiciones productivas

PRO

PÓSI

TO

Artesanos en situación de pobreza fortalecidos en su ciclo productivo

Artesanos en situación de pobreza mejoran su condición

productiva.

No cambió.

Artesanos productores que habiten en Zonas de Atención Prioritaria, o fuera de éstas y

se encuentren en situación de pobreza patrimonial mejoran

su condición productiva.

No cambió.

Artesanos productores cuyo ingreso es inferior a la línea de bienestar mejoran

su condición productiva.

COM

PON

ENTE

S

Artesanos apoyados con capacitación

No cambió. Artesanos capacitados. No cambió. Artesanos capacitados. No cambió.

Artesanos apoyados con financiamiento

No cambió. Artesanos apoyados con financiamiento.

Artesanos beneficiados con apoyos a la producción

No cambió. No cambió.

Artesanos beneficiarios por la adquisición de

artesanías

Artesanos beneficiados por la

adquisición de artesanías.

Artesanos beneficiados con adquisición de

mercancías

Artesanos beneficiados con adquisición de artesanías y

apoyos a la comercialización. No cambió. No cambió.

Artesanos beneficiados a través de concursos

de arte popular

Artesanos beneficiados a través

de concursos artesanales.

Artesanos beneficiados mediante concursos

Artesanos beneficiados mediante concursos de Arte

Popular. No cambió. No cambió.

Artesanos Beneficiados. No cambió. No cambió.


133

Anexo 6. Evolución de los indicadores para los niveles de Fin y Propósito

2007 2008 2009 2010 2011 2012

FIN


No cambió.

Porcentaje de artesanos beneficiados que

incrementaron su ingreso derivado de la actividad

artesanal

No cambió. No cambió. No cambió.

PRO

PÓSI

TO

Porcentaje de artesanos beneficiados por adquisición que

ampliaron mercado con respecto a los artesanos beneficiados por

adquisición.

No cambió.

Porcentaje de artesanos beneficiados por

adquisición que ampliaron mercado

Porcentaje de artesanos beneficiados por

adquisición de artesanías y apoyos a la comercialización

que ampliaron mercado


Porcentaje de artesanos que declararon mejora en la calidad de

su producción después de participar en los concursos con respecto al total de artesanos

concursantes.

No cambió.

Porcentaje de artesanos que declararon mejora en

la calidad de su producción después de participar en

los concursos


Porcentaje de artesanos capacitados que aplican en su

producción las técnicas enseñadas con respecto a los artesanos

capacitados.

No cambió.

Porcentaje de artesanos

capacitados que aplican en su producción las técnicas

enseñadas

Porcentaje de artesanos que aplican en su

producción las técnicas enseñadas en las

capacitaciones que imparte la vertiente


Porcentaje de artesanos financiados que incrementaron su

producción con respecto al total de artesanos financiados.

Porcentaje de artesanos que incrementaron su

producción con respecto al total de artesanos

financiados.

Porcentaje de artesanos financiados que

incrementaron su producción



134

Porcentaje de Beneficiarios que perciben mejoras con

los bienes y servicios prestados por el programa

respecto al total de beneficiarios apoyados

Porcentaje de beneficiarios que se sienten satisfechos

con el servicio prestado por el programa

Documents

Meta evaluación del Fondo Nacional para el Fomento de las …inapam.gob.mx/work/models/SEDESOL/EvaluacionProgramas... · 2014-09-22 · Meta evaluación del Fondo Nacional para el