LA EVALUACION EX�ANTE DEL PROGRAMA OPERATIVO PARA EL EMPLEO JUVENIL

PERIODO 2014-2020 (FONDO SOCIAL EUROPEO)

Coordinador: Ignacio Moral Arce (IEF) Autores: Ignacio Moral Arce

Adrián Hernández Javier Martín

Milagros Paniagua Teresa Pérez Elena Pradell

Leila Rodríguez Cristian Rodríguez

Instituto de Estudios Fiscales

DOC. n.o 3/2015

Con la colaboración de: Maribel Martínez (Abay Analistas).

N. I. P. O.: 634-15-003-0

N. B.: Las opiniones expresadas en este documento son de la exclusiva responsabilidad de los autores, pudiendo no coincidir con las del Instituto de Estudios Fiscales.

Edita: Instituto de Estudios Fiscales I. S. S. N.: 1578-0244 Depósito Legal: M-23771-2001

ÍNDICE

CAPITULO I. INTRODUCCIÓN

CAPÍTULO II. ESTRATEGIA2.1. ANÁLISIS DE DIAGNÓSTICO SOCIOECONÓMICO, ANÁLISIS DAFO

2.1.1. Análisis del Diagnostico DAFO2.1.2. Lecciones aprendidas

2.2. LA LÓGICA DE LA INTERVENCIÓN2.2.1. Pertinencia del Programa2.2.2. Análisis de coherencia externa2.2.3. Análisis de coherencia interna2.2.4. Análisis de la incorporación de las prioridades horizontales

CAPÍTULO III. INDICADORES, SEGUIMIENTO Y EVALUACIÓN3.1. ANÁLISIS TEÓRICO DEL SISTEMA DE INDICADORES PROPUESTO3.2. ANÁLISIS DE LOS OBJETIVOS FINALES PROPUESTOS

3.2.1. Análisis de los hitos seleccionados para el Marco de Rendimiento3.3. ANÁLISIS DE PROCEDIMIENTO DE SEGUIMIENTO DEL PROGRAMA, PROCESOS DE

RECOGIDA DE DATOS Y EVALUACIÓN.

CAPÍTULO IV. ASIGNACIONES FINANCIERAS4.1. ANÁLISIS DE LA DISTRIBUCIÓN FINANCIERA4.2. COHERENCIA DE LAS ASIGNACIONES FINANCIERAS EN FUNCIÓN DE LAS DEBILI­

DADES4.3. COHERENCIA DE LAS ASIGNACIONES FINANCIERAS: ANÁLISIS SEGÚN AMENAZAS

CAPÍTULO V. GOBERNANZA5.1. INTRODUCCIÓN5.2. EVALUACIÓN DE LA GOBERNANZA: ANÁLISIS DE BUENAS PRÁCTICAS5.3. EVALUACIÓN DE LOS RR.HH. Y DE LA CAPACIDAD ADMINISTRATIVA5.4. COMUNICACIÓN Y COORDINACIÓN. LA APLICACIÓN DEL PRINCIPIO DE PARTENA-

RIADO5.5. RESUMEN DE EVALUACIÓN DE GOBERNANZA

CAPÍTULO VI. PRINCIPALES CONCLUSIONES DE LA EVALUACIÓN EX ANTE DEL POEJ6.1. INTRODUCCIÓN6.2. ESTRATEGIA DE ACTUACIÓN6.3. INDICADORES, SEGUIMIENTO Y EVALUACIÓN6.4. ASIGNACIONES FINANCIERAS6.5. GOBERNANZA6.6. CONCLUSIONES

— 3 —

Instituto de Estudios Fiscales

CAPÍTULO I. INTRODUCCIÓN

Mediante la evaluación ex ante del Programa Operativo de Empleo Juvenil (POEJ) se pretende refor­zar la importancia que tiene un diseño correcto del programa y que presente un claro enfoque centra­do en aquellos resultados que se quieren alcanzar con esta intervención, mejorando la calidad de las actuaciones, y obteniendo de este modo intervenciones más eficaces, ya que este tipo de análisis pretenden fundamentalmente optimizar y priorizar la distribución de los recursos financieros disponi­bles por el programa operativo y aumentar de este modo la efectividad y calidad de la intervención. Además, otra de las ventajas que tiene el desarrollar este tipo de evaluaciones es que permite la rea­lización de un ejercicio de transparencia, mediante una rendición de cuenta a la sociedad.La evaluación ex ante del POEJ se ha desarrollado por parte del Instituto de Estudios Fiscales (IEF1), organismo autónomo del Ministerio de Hacienda y Administraciones Públicas, que realiza, entre otros, trabajos de evaluación de políticas públicas.Para analizar la importancia y adecuación del Programa Operativo(P.O.) es necesario estudiar un conjunto de elementos que van desde el análisis del contexto donde se encuentra enclavada esta intervención pública, las necesidades existentes, asignaciones financieras para los distintos objetivos, la eficacia de las acciones, la revisión de los sistemas de información que permitirán observar la evo­lución en la implementación del programa, y, finalmente, los posibles resultados que se pretende lo­grar con esta intervención pública. Por este motivo, a lo largo del presente documento se analizará la estrategia del P.O., con su contribución a la estrategia de la Unión EU2020, la coherencia interna y externa de las acciones programadas y los objetivos buscados. Posteriormente se valore sistema de indicadores y de seguimiento, estudiando la pertinencia, claridad, valores propuestos y las relaciones de causalidad existente entre ellos. A continuación se evalúan las asignaciones financieras, para fina­lizar con el estudio de gobernanza y reducción de cargas administrativas, junto con un análisis de las medidas previstas para promover la igualdad entre hombre y mujer, prevenir cualquier tipo de discri­minación y la adecuación para fomentar un desarrollo sostenible.

CAPÍTULO II. ESTRATEGIA

De cara a poder realizar una correcta valoración de la estrategia planteada por el equipo de programación de la Unidad Administradora del Fondo Social (UAFSE) del POEJ, el equipo evaluador ha de conocer el contexto en el que se encuentran los jóvenes en España, así como las medidas encaminadas a paliar las debilidades más acuciantes y que justifican plenamente la intervención. Dichas medidas se presentan a partir de una estructura de Ejes Prioritarios y sus Objetivos Específicos asociados.

A partir de las aportaciones iniciales que el equipo evaluador proporcionó a la UAFSE, se puede ver en la siguiente. Tabla la versión definitiva del análisis de Debilidades, Amenazas, Fortalezas y Opor­tunidades, más conocido como DAFO que finalmente terminó por incluirse en un Anexo del POEJ:

Tabla 2.1Análisis DAFO sobre el contexto del POEJ

Debilidades Fortalezas— La tasa de desempleo actual (en 2013, jóvenes de 16 a 19 — La recuperación del consumo interno y el

años: 74,3% y jóvenes de 20 a 24 años: 51,9%) es altísi­ auge del sector turístico favorecerá la ma y ha alcanzado estos niveles a pesar de la caída de la creación de empleo en algunos de los sec­tasa de actividad. Además la tasa de desempleo juvenil tores que más empleo juvenil femenino duplica a la de la población en general. han destruido (comercio y hostelería)

— El empleo juvenil destruido en el caso de los hombres — Reconocimiento por parte de las personas procede fundamentalmente de la construcción jóvenes de la importancia de la educación (506.000) y de la industria manufacturera (291.000). En y formación. La escasez de oportunidades el caso de las mujeres, procede fundamentalmente del laborales de la población más joven ha sector servicios (682.000) propiciado un retorno a la formación y una

disminución del abandono escolar.

(Sigue)

1 http://www.ief.es

— 5 —

Continúa)

Debilidades FortalezasLa destrucción de empleo juvenil se ha centrado en los trabajadores con menores niveles de educación regla­da, lo que puede dificultar su reorientación profesional Las condiciones de trabajo del empleo juvenil son muy precariasImportante proporción de desempleo de larga y muy larga duraciónBajo conocimiento de idiomas extranjeros

—

—

Importancia de la familia como red social y de apoyo al desempleo juvenilMejores niveles en competencias trans­versales que el resto de la población activa (uso de las tecnologías, adaptación al cambio, trabajo en equipo, etc.) y mayor predisposición a la movilidad laboral tanto nacional como internacional.

Escaso peso relativo de la Formación Profesional de grado medio, y en general de todos los niveles formati- vos medios.Importante número de jóvenes que en la actualidad no estudia ni trabaja

— Las diferencias de género en relación con el mercado de trabajo se están reduciendo de forma sostenida aunque la posición de las mujeres sigue siendo desfavorable en casi todos los indicadores

En el colectivo “ni-ni” hay principalmente jóvenes de niveles de estudios bajos, aunque la problemática afec­ta a jóvenes con todos los niveles educativos. Por ejemplo, los universitarios tienen una presencia signifi­cativa, especialmente en el caso de las mujeres.Los jóvenes con menores niveles de educación son los que menos se forman. Necesidad de políticas muy pro­activas (“ir a buscarles”)Elevadas tasas de abandono escolar, que doblan los valores de la UE-27Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil.

Amenazas OportunidadesDinámicas sectoriales poco consolidadas que no permi­ — Elevada sensibilidad social con el proble­te identificar qué ramas van a tomar el relevo en la ma del desempleo juvenil y predisposición creación de empleo, especialmente en el caso del em­pleo de media y baja cualificación

de los actores relevantes a participar en la búsqueda de soluciones

Emigración de los jóvenes con mayores niveles de — Emprendimiento de alta cualificación. cualificación y mejores competencias transversales Posibilidades de canalizar a los jóvenes (idiomas, iniciativa, etc.) más cualificados a un emprendimiento por El desempleo de larga y muy larga duración puede aumentar las tasas de inactividad (“desánimo”) y des­

oportunidad (buenos niveles de cualifica­ción y mercado atractivo)

cualificar a la población juvenil a medio plazo con la — El retorno de una parte de los jóvenes consiguiente pérdida de capital humano y potencial económico. El riesgo es mayor en el caso de las muje­

emigrados, que habrán adquirido nuevas competencias en el extranjero

res que decidan renunciar a su carrera profesional para atender las necesidades de personas dependientes a su cargo (hijos, personas con discapacidad, personas mayores)Alta importancia del “emprendimiento por necesidad”

— El envejecimiento de la población españo­la favorecerá el relevo generacional

— Oportunidades de emprendimiento ligadas a las TIC y la SI con inversiones pequeñas y posibilidad de acceso a los mercados in­

Sesgo hacia el empleo “autónomo dependiente” ternacionalesLas políticas de apoyo al emprendimiento están muy — Desarrollo de nuevos puestos de trabajo centradas en las fases iniciales del emprendimiento y en sectores tales como la economía social, no en la fase de consolidación (refuerzas las tres ame­ el medio rural y el sector servicios. Y tam­nazas anteriores) bién en otros más novedosos: el empleo Las bajas remuneraciones del trabajo asalariado puede desincentivar la búsqueda de empleo por cuenta ajena

verde, la economía baja en carbono o la economía marina y marítima

El tejido productivo español actual no absorbe la de­manda de empleo juvenil de cualquier nivel de cualifi­

— Desarrollo de las opciones laborales liga­das a la economía social y el autoempleo

cación

— 6 —

Instituto de Estudios Fiscales

La estrategia del POEJ se puede simplificar en los siguientes 3 Ejes Prioritarios:

— Eje prioritario 1 (dividido para 3 tipos de Regiones dependiendo del nivel de cofinanciación): Fo­mento del Empleo sostenible y de calidad y de la movilidad laboral, con dos Prioridades de Inver­sión:

- Prioridad de Inversión 8.2: Integración sostenible en el mercado de trabajo de los jóvenes, en particular aquellos sin trabajo y no integrados en los sistemas de educación y formación y los que están en situación de riesgo y sufrir exclusión social y procedentes de comunidades mar­ginadas, que tiene 4 Objetivos Específicos.

- Objetivo Especifico 8.2.1.: Mejorar la activación temprana y perfeccionar los procesos de in­termediación y movilidad laboral de las personas jóvenes, en particular de aquellas no ocu­padas y no integradas en los sistemas de educación o formación, así como los jóvenes que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas, teniendo en cuenta en todo momento las distintas situaciones y necesidades de mujeres y hombres

- Objetivo Especifico 8.2.2.: Mejorar las aptitudes y competencias profesionales de las perso­nas, en particular de aquellas no ocupadas y no integradas en los sistemas de educación o formación, así como los jóvenes que corren el riesgo de sufrir excusión social y quienes pro­ceden de comunidades marginadas incorporando en todo momento la perspectiva de género y fomentando la igualdad de oportunidades, con el fin de reforzar su empleabilidad

- Objetivo Especifico 8.2.3.: Apoyar el espíritu emprendedor fomentando la responsabilidad, innovación y emprendimiento de las personas jóvenes, en particular de quienes no están ocupadas ni están integradas en los sistemas de educación o formación, así como aquellas que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades margina­das, desde un análisis que integre las diferentes necesidades y situaciones de mujeres y hombres

- Objetivo Especifico 8.2.4.: Incentivar la contratación, teniendo en cuenta la perspectiva de género, de las personas jóvenes, en particular de quienes no están ocupadas ni están inte­gradas en los sistemas de educación o formación, así como de las que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas

- Prioridad de Inversión 8.7:La modernización de las instituciones del mercado de trabajo, como los servicios de empleo públicos y privados y la mejora de la respuesta a las necesidades del mercado laboral, también a través de medidas que aumenten la movilidad laboral y una mejor cooperación entre instituciones y partes interesadas correspondientes. Tiene un Objetivo Es­pecífico.

- Objetivo Especifico 8.7.1: Mejorar la calidad y respuesta de las instituciones del mercado de trabajo y su coordinación en el ámbito nacional y autonómico a través de su modernización, incluyendo la creación de las estructuras necesarias para la implantación de los sistemas de Garantía Juvenil

— Eje prioritario 5: Integración sostenible en el mercado de trabajo de las personas jóvenes que no se encuentran empleadas, ni participan en actividades de educación ni formación, en particular en el contexto de Garantía Juvenil. Tiene una Prioridad de Inversión.

- Prioridad de Inversión 8.2: Definida como la anterior y a través de la aplicación de la garantía juvenil, que tiene 4 Objetivos Específicos.

- Objetivo Específico 8.2.1.: ya definida previamente.

- Objetivo Específico 8.2.2.: ya definida con anterioridad

- Objetivo Específico 8.2.3.: descrita previamente.

- Objetivo Específico 8.2.4.: detallada anteriormente.

— Eje Prioritario 8 (dividido para 3 tipos de regiones dependiendo de nivel de cofinanciación): Asis­tencia Técnica. Con tres Objetivos Específicos:

— 7 —

- Objetivo Especifico 1: Preparación, ejecución, seguimiento y control.

- Objetivo Especifico 2: Evaluación y estudios.

- Objetivo Especifico 3: Información y comunicación.

Una vez presentado el análisis DAFO y el esquema de la estrategia propuesta por el equipo de pro­gramación, a continuación se pasa valorar en esta sección, inicialmente el diagnóstico realizado, para con posterioridad la lógica de la intervención.

2.1. Análisis de diagnóstico socioeconómico, análisis DAFO

A continuación se realiza un análisis del diagnóstico elaborado por el equipo de programación en la estrategia del PO. Por lo tanto, esa sección será, ante todo, de tipo documental, y constará de:

— Análisis del diagnóstico elaborado por el redactor del Programa Operativo; (y del análisis DAFO).

— Identificación de las limitaciones y necesidades emergentes de las evaluaciones de los progra­mas en los períodos de programación precedentes, así como lecciones aprendidas, y valoración de la detección de estos problemas por parte del equipo de programación.

2.1.1. Análisis del Diagnostico DAFO

Aunque el Reglamento no establece como obligatorio la realización de un análisis DAFO para los programas operativos, el equipo evaluador considera que es muy recomendable la creación de éste, porque se trata de una herramienta analítica que contribuye al pensamiento estratégico, y permite ayudar a la unidad de programación a encontrar sus factores estratégicos críticos, para una vez iden­tificados, usarlos y apoyar en ellos los cambios, tanto a nivel organizativo como en las posibles accio­nes en periodos futuros: consolidando las fortalezas, minimizando las debilidades, aprovechando las ventajas de las oportunidades, y eliminando o reduciendo las amenazas.Unido a lo indicado previa­mente, la incorporación de un DAFO facilitará el análisis de la consistencia de los objetivos del pro­grama que se realizará con posterioridad.

Una vez que el equipo evaluador dispone de un análisis DAFO, en esta sección se incluirán los ele­mentos siguientes:

— Análisis de la calidad y consistencia del diagnóstico y el análisis DAFO tanto a nivel global trans­nacional correspondiente a las orientaciones de la Estrategia 2020;

— Dictamen (incluyendo recomendaciones) sobre deficiencias o debilidades potenciales en la elabo­ración del diagnóstico y el análisis DAFO.

Desde el equipo evaluador se considera que, a pesar del solido análisis de contexto presentado por el equipo programador, podría resultar conveniente profundizar en este análisis, realizando un estudio más detallado de la situación actual, la evolución temporal y las principales características a destacar. Este estudio en profundidad permitiría tener una visión completa de las necesidades y fortalezas existentes.

Finalmente, examinando el anexo del PO remitido por parte del equipo de programación, que ha tenido en consideración la mayoría de propuestas para la realización del DAFO propuestas por parte del equipo evaluador en versiones anteriores de la evaluación ex ante, y con el objetivo de tener una visión más mi­nuciosa de la situación inicial, el equipo evaluador considera que el análisis DAFO presentado es completo y refleja correctamente las principales características donde se enclava el POEJ.

2.1.2. Lecciones aprendidas

Como se indica en el artículo 55, 3. a) del Reglamento de Disposiciones Comunes, en este apartado se valorarán las lecciones aprendidas en períodos anteriores por parte del equipo programador, apre­ciando cómo se han ido incorporando de los programas precedentes, y de qué modo se han integra­do las cuestiones emergentes, como por ejemplo, la crisis económica, a las que se enfrenta España desde finales de 2007. Además, es recomendable que por parte del equipo programador se realice un

— 8 —

Instituto de Estudios Fiscales

ejercicio de reflexión encaminado a conocer los objetivos alcanzados en el periodo anterior de pro­gramación, para definir de forma exacta las buenas prácticas observadas y extenderlas al P.O. actual, junto a la detección de las carencias que han quedado pendientes de satisfacer y los problemas ob­servados analizando las causas que los generaron y las posibles acciones para solucionarlos.

El balance del periodo de programación 2007-2013 efectuado en la evaluación ex-ante incluye ob­servaciones concernientes al ámbito de actuación y la contribución del Fondo Social Europeo a la nueva situación socioeconómica, a través de los ejes diseñados en el POEJ. En esta fase de la eva­luación exante:

— Se identifican las conclusiones y recomendaciones ofrecidas por la Evaluación Intermedia y sus sucesivas actualizaciones, de los PO 2007-2013 y su grado de incorporación a los nuevos pro­gramas.

— Se realiza un balance de los resultados socioeconómicos y laborales alcanzados a través de los programas operativos, teniendo en cuenta los datos de ejecución física y financiera ofrecidos por algunos de los últimos informes anuales de ejecución. Además, se detectan los posibles proble­mas de ejecución basándose en la información sobre los aspectos que resultaron problemáticos o de insuficiente implementación en el pasado.

El primer hecho a destacar es que en el periodo de programación 2007-2013 había una situación muy distinta a la existente en el periodo 2000-2006 caracterizado por un crecimiento y dinamismo empre­sarial, íntimamente relacionado a la buena coyuntura económica de España, de reducción del nivel de desempleo en el mercado laboral, aumento de la tasa de actividad y empleo, cambio demográfico con el elemento característico del progresivo envejecimiento poblacional compensado un poco por la en­trada de la población inmigrante en edad de trabajar. El contexto económico era bastante favorable para la economía española con altas tasas anuales de creación de empleo. Sin embargo, la actual crisis económica surgida en 2008, al inicio del periodo de programación, ha generado unos efectos devastadores para el empleo, especialmente entre el grupo de personas menores de 25 años, provo­cando que éste sea un fenómeno especialmente destacable al que se debe prestar gran importancia. Por lo anteriormente mencionado, no es posible encontrar actuaciones y antecedentes que se diseña­ran al inicio del periodo de programación 2007-2013 que se refieran exclusivamente a la población de jóvenes de manera específica o separada del resto. Más bien, este grupo de población estaba referi­do a objetivos de empleo en general.

No obstante, analizando la documentación referida a la programación, implementación y gestión de los fondos en el periodo previo, como el “Informe Anual 2012 del Programa Plurirregional de Adapta­bilidad y Empleo” o el “Informe 2011 de Evaluación Operativa del P.O. del Fondo Social Europeo (FSE) de Adaptabilidad y Empleo 2007-2013”, a lo largo del periodo anterior han ido surgiendo distin­tas dificultades en la implementación de los programas operativos que, en gran parte de los casos, han generado cuellos de botella que han retrasado la ejecución de las actuaciones previstas y/o la certificación de los gastos incurridos. Sin lugar a dudas, es necesario solucionar este problema ya que el grado de contribución del FSE al empleo juvenil en el periodo 2014-2020 está supeditado, en gran medida, al aumento de la capacidad de absorción financiera de los recursos por parte de las Administraciones Públicas encargadas de la implementación de las actuaciones. Más aún porque el POEJ, en uno de sus Ejes Prioritarios, tiene un periodo de programación de dos años (con su corres­pondiente N+3) y no se debería dar lugar a pérdidas de eficiencia en tiempo y recursos.

Analizando el P.O. remitido por parte del equipo de programación, que ha tenido en consideración las propuestas realizadas por parte del equipo evaluador en versiones anteriores de la evaluación exan­te, se observa la inclusión de lecciones aprendidas de la gestión del periodo 2007-2013 que sería conveniente tener en consideración en la preparación del periodo actual referentes a:

— Simplificación y racionalización de procedimientos.

— Evitar solapamientos de actuaciones.

— Mejorar los sistemas de gestión y control.

— Favorecer la utilización de instrumentos financieros.

— 9 —

Se puede concluir, por lo tanto, que el balance realizado del periodo 2007-2013, por parte del equipo de programación supone un punto de partida de gran utilidad para valorar los avances llevados a cabo por el FSE, realizándose una recapitulación de conclusiones y recomendaciones a partir del aprendizaje logrado a través de la experiencia del periodo anterior, con el objetivo de su posterior consideración en el actual periodo.

2.2. La lógica de la intervención

Desde un punto de vista teórico, la estrategia de un organismo se puede entender como el plan que relaciona tres elementos: por un lado las diferentes posibilidades de actuación que tiene, el segundo elemento son los desafíos atribuibles al contexto en el que se enmarca su ámbito de actuación, para finalizar con los objetivos a largo plazo buscados.

Por lo tanto, uno de los elementos más importantes en la evaluación exante de un PO es el estudio de la estrategia del programa, siendo el propósito de esta sección el mejorar y fortalecer la calidad del POEJ mediante el establecimiento de la estrategia de programación lo más adecuada posible. Tam­bién se pretende analizar si los objetivos estratégicos del POEJ, prioridades de inversión y objetivos específicos son pertinentes, coherentes y apoyados en acciones realistas. Asimismo, el equipo eva­luador considera importante incluir en esta fase el análisis de la pertinencia de las medidas previstas para promover la igualdad de oportunidades entre mujeres y hombres, y prevenir la discriminación, siguiendo las disposiciones del art.55.3 del Reglamento General en los párrafos k y g. Las fases que compone esta sección son:

— Pertinencia del Programa: capacidad que tienen las prioridades y objetivos específicos del P.O. para atacar, por un lado los retos y necesidades detectados, y además, potenciar las fortalezas identificadas (en el análisis DAFO).

— Análisis de la coherencia externa y principalmente la adecuación de la estrategia del Programa con los objetivos de la Estrategia Europa 2020, y el Acuerdo de Asociación, además de conside­rar su alineamiento con las principales estrategias nacionales y sectoriales.

— Análisis de la coherencia interna es decir, la valoración del modo en que se han articulado las acciones, prioridades y objetivos específicos seleccionados para el PO y sus contribuciones futu­ras a los distintos niveles de objetivos, mediante el estudio de la lógica de la intervención.

— Análisis de la incorporación de las prioridades horizontales: pertinencia de las medidas previstas para promover la igualdad de oportunidades entre mujeres y hombres, prevenir la discriminación y promover el desarrollo sostenible.

2.2.1. Pertinencia del Programa

Se analiza el nivel de intensidad con el que cada una de las prioridades y líneas de acción propuestas se relaciona con los resultados del análisis DAFO. Para ello, se construye un "marco" que asegura cómo las prioridades y líneas de acción del PO se corresponden con los desafíos que trata de afron­tar este Programa. Para hacer este análisis de la pertinencia, el equipo evaluador diseña una matriz donde, de una forma clara se puede apreciar la existencia (o no) de vínculos entre el análisis DAFO realizado y las prioridades establecidas por parte del equipo de programación del POEJ.

Metodología seguida en el análisis de la pertinencia

Con el objetivo de evaluar de forma sistemática la pertinencia de la estrategia de inversión elegida en los distintos Objetivos Específicos (O.E.), se ha aplicado un método “ad hoc”2 que se describe a lo largo de este epígrafe, en el que se presenta tanto el marco conceptual como los métodos de aproxi­mación de los distintos grados de pertinencia.

2 Esta aproximación de pertinencia del OE corresponde con el análisis de pertinencia parcial de la evaluación ex ante del Acuerdo de Asociación. Documento de Trabajo de IEF. 2014

— 10 —

Instituto de Estudios Fiscales

La Pertinencia del P.O., referida a la Estrategia de inversión trata, a través de este análisis, de dar respuesta a la cuestión de si las prioridades de inversión y objetivos específicos seleccionados en el P.O. se adecúan a las principales debilidades y fortalezas del mismo. Se trata de un concepto próxi­mo al “impacto directo” utilizado habitualmente en los análisis de impacto ex ante.Por lo tanto, analiza la capacidad que las prioridades de inversión y objetivos específicos propuestos en el P.O. tienen para corregir las debilidades principales (y para potenciar las fortalezas) observadas en el ámbito del PO, y, en la medida que sea posible, reducir el impacto de las amenazas (y aprovechar las oportuni­dades) identificadas. Así, la capacidad de la Estrategia de inversión para mejorar la realidad de un ámbito concreto puede aproximarse a través del análisis de Pertinencia.

Metodología de medición del grado de pertinencia

a. Categorización de debilidades y fortalezas

A partir del diagnóstico realizado en el P.O., se ha identificado una serie de debilidades (y fortalezas). Sin embargo, no todas ellas tienen la misma importancia en términos cualitativos en los diferentes objetivos específicos, por lo que el equipo evaluador ha procedido a realizar una categorización de las mismas en tres grupos:

— Debilidades (Fortalezas) prioritarias. Son elementos troncales o claves para lograr mejoras sus­tanciales en el ámbito del P.O., bien porque afectan a una parte significativa de los actores impli­cados (fundamentalmente individuos, empresas y organismos públicos y privados), bien porque la movilización de ese obstáculo (o la potenciación de esa fortaleza) puede propiciar la aparición de sinergias y externalidades que generen un efecto arrastre positivo sobre el ámbito del P.O. en su conjunto.

— Debilidades (Fortalezas) de importancia alta. Se incluyen en esta categoría aquellas debilidades y fortalezas que afectan a un gran número de actores y cuya resolución (o potenciación en el caso de las fortalezas) favorecería un avance notable en el ámbito de análisis del OE tratado.

— Debilidades (Fortalezas) de importancia media. En este grupo se han incluido aspectos parciales del PO, dado que o bien afectan a un número limitado de actores (jóvenes inactivos, desemplea­dos, etc.) o bien aluden a elementos muy particulares que, a priori, y, por si solos, no tendrían un impacto considerable sobre esa determinada situación observada en el O.E. en cuestión.

Con el fin de poder llevar a cabo la evaluación de la pertinencia de la estrategia desarrollada por el equipo de programación, inicialmente se analiza la vinculación existente entre los objetivos específi­cos planteados en el PO y su grado de interrelación con las debilidades detectadas durante el dia­gnóstico de la situación nacional, siendo el fin último el comprobar si los objetivos definidos sirven para dar respuesta a las necesidades diagnosticadas. Para ello, y usando la información suministrada en el POEJ se realiza un análisis matricial y gráfico que permita relacionar la incidencia que los obje­tivos específicos propuestos en la estrategia pueden tener sobre los problemas detectados en la po­blación de jóvenes españoles, especialmente en los que ni estudian ni trabajan (ninis).

b. Impacto potencial de las prioridades de inversión de un OE sobre sus debilidades y fortalezas

Sin necesidad de emplear la categorización previamente diseñada, se ha procedido a la construcción de una matriz de cruce entre los Objetivos Específicos del PO y todas y cada una de sus debilidades y fortalezas detectadas en el análisis DAFO. A cada cruce le ha sido asignada una puntuación (en una escala de 1 a 10 puntos) dependiendo del grado de adecuación del OE a la debilidad o fortaleza identificada, es decir, de su capacidad para resolver la debilidad (o potenciar la fortaleza) en cuestión. El impacto potencial de la estrategia de inversión del OE sobre una debilidad (fortaleza) concreta es la suma de puntuaciones obtenidas en los cruces con los distintos OE.

— 11 —

(Sigue)

Vínculo entre la Estrategia dTa

el Pbla 2

O. 2y: el análisis DAFO realizado

in c e n tiv a r c o n tra ta c ió n , O E .8 .2 .4 c o n p e rs p e c t iv a

d e g e n e ro

| y e m p re n d im ie n to |in n o v a c ió n

O E 8 2 3 fo m e n ta n d o re s p o n s a b ilid a d .

a p o y a r e s p ír itu e m p re n d e d o r

| d e p e rs o n a s |

O E 8 2 2 y c o m p e te n c ia s p ro fe s io n a le s

m e jo ra r a p titu d e s

te m p ra n a yO E .8 .2 .1 p e r fe c c io n a r p ro c e s o s

in te rm e d ia c ió n y m o v ilid a d la b o ra l

m e jo ra r a c tiv a c ió n

tipo de importancia

0000

COta

sa d

e d

ese

mp

leo

alta

a p

esa

r de

la

caíd

a d

e l

a ta

sa d

e a

ctiv

ida

d

00en

00O)

Em

ple

o ju

ven

il d

est

ruid

o h

om

bre

s de

la

con

stru

cció

n y

de

la

ind

ust

ria

m

an

ufa

ctu

rera

. E

n el

ca

so d

e l

as

mu

jere

s,

pro

ced

e s

ect

or

serv

icio

s

00co

00CO

De

stru

cció

n d

e e

mp

leo

juve

nil

cen

tra

do

en

tra

ba

jad

ore

s co

n m

en

ore

s n

ive

les

de e

du

caci

ón

re

gla

da

enco

enO)

Co

nd

icio

ne

s de

tra

ba

jo d

el e

mp

leo

ju

ven

il so

n m

uy

pre

cari

as:

coO)

O)co

O)A

um

en

to d

el

de

sem

ple

o d

e l

arg

a

y m

uy

larg

a d

ura

ció

nQ.

coco

coco

O)B

ajo

con

oci

mie

nto

de

idio

ma

s e

xtra

nje

ros

o;

co00

coO)

Esc

aso

pe

so r

ela

tivo

de

la

Fo

rma

ció

n

Pro

fesi

on

al

de

gra

do

me

dio

o Q.

<D

(fí

COco

coco

Imp

ort

an

te n

úm

ero

de

jóve

ne

s q

ue

en

la a

ctu

alid

ad

no

est

ud

ia n

i tra

ba

ja "

nin

is"

CO00

O)

En

“ni-

ni”

pri

nci

pa

lme

nte

n

ive

les

de

est

ud

ios

ba

jos,

pe

ro l

os

un

ive

rsita

rio

s ta

mb

ién

pre

sen

cia

sig

nifi

cativ

a,

esp

eci

alm

en

te e

n

mu

jere

s.

00co

O)jó

ven

es

con

me

no

res

niv

ele

s d

e e

du

caci

ón

so

n l

os q

ue

me

no

s se

fo

rma

n

coco

coen

coE

leva

da

s ta

sas

de

ab

an

do

no

esc

ola

r

enco

coco

Esc

asa

in

icia

tiva

em

pre

nd

ed

ora

y b

ajo

s n

ive

les

au

toe

mp

leo

juve

nil

6 4 ,2 %

5 4 ,2 %

7 9 ,2 %

6 3 ,3 %

%

coO)

Re

cup

era

ció

n d

el c

on

sum

o i

nte

rno

fa

vore

cerá

la

cre

aci

ón

de

em

ple

o

en00

coO)

O)C

aíd

a d

e l

as t

asa

s de

act

ivid

ad

en

los

tra

mo

s de

me

no

r ed

ad

de

bid

a a

re

torn

o

a la

fo

rma

ció

n

ro O)en

roro

co co

Imp

ort

an

cia

de

la

fam

ilia

co

mo

re

d so

cia

l y

de

ap

oyo

Me

jore

s n

ive

les

en

co

mp

ete

nci

as

tra

nsv

ers

ale

s q

ue

el

rest

o d

e l

a p

ob

laci

ón

a

ctiv

a (

idio

ma

s, u

so d

e la

s te

cno

log

ías,

a

da

pta

ció

n a

l ca

mb

io,

etc.

)

fortalezas

00O)

O)en

O)D

ifere

nci

as

de

gé

ne

ro e

n re

laci

ón

co

n e

l m

erc

ad

o d

e t

rab

ajo

se

re

du

cen

Oí

o o £

o o o £

Oí ík o £

4 2 ,0 %

%

(Continúa)

mejorarrespuesta

instituciones

debilidades fortalezas

OE 8 7 1 mercado y coordinación 8 8 6 4 7 9 4 5 4 5 7 3 58,3% 3 4 2 5 2 32,0%

nacional y CCAA vía su

modernización

impacto potencial 38 36 35 21 37 27 28 36 35 30 27 33 21 32 12 27 27

c. Grado de pertinencia de la estrategia de inversión propuesta en el P. O.

El grado de pertinencia de la estrategia de inversión alude a la capacidad del conjunto de objetivos específicos del PO en afrontar las debilidades, o en potenciar las fortalezas más determinantes que han sido observadas en el ámbito del mismo a lo largo de la elaboración del DAFO. Por tanto, rela­ciona, por un lado el impacto potencial de la estrategia de inversión sobre cada debilidad (fortaleza), y por otra parte la importancia de la misma.

Este indicador, por tanto, aumenta si existe una buena correspondencia o proporcionalidad entre la importancia real de cada debilidad (fortaleza) y el impacto esperado (potencial) de la estrategia de inversión sobre ella. Si el mayor impacto de la estrategia de inversión se centra en las debilidades (fortalezas) prioritarias y el menor en las medias, el grado de pertinencia de la estrategia será alto y disminuirá en la medida que no se dé la correspondencia señalada.

Gráfico 2.1:Pertinencia de la estrategia de inversión del PO

D e b ilid a d e s F o rta le z a s

D e b ilid a d1

tasa de desempleo alta a pesar de la caída de la tasa de actividad

F o rta le z a 1Recuperación del consumo interno favorecerá la creación de empleo

D e b ilid a d2

Empleo juvenil destruido hombres de la construcción y de la industria manufacturera.

En el caso de las mujeres, procede sector servicios

F o rta le z a 2

Reconocimiento por parte de las personas jóvenes de la importancia

de la educación y formación. La escasez de oportunidades laborales

ha propiciado un retorno a la formación y una disminución de

abandono escolar.

D e b ilid a d3

Destrucción de empleo juvenil centrado en trabajadores con menores niveles de

educación regladaF o rta le z a 3

Importancia de la familia como red social y de apoyo

D e b ilid a d4

Condiciones de trabajo del empleo juvenil son muy precarias:

F o rta le z a 4

Mejores niveles en competencias transversales que el resto de la po­

blación activa (idiomas, uso de las tecnologías,

adaptación al cambio, etc.)

(Sigue)

— 14 —

Instituto de Estudios Fiscales

Continúa)

Debilidades Fortalezas

Debilidad5

Aumento del desempleo de larga Fortaleza 5 y muy larga duración

Diferencias de género en relación con el mercado de trabajo

se reducenDebilidad

6 Bajo conocimiento de idiomas extranjeros

Debilidad7

Escaso peso relativo de la Formación Profesional de grado medio

Debilidad8

Importante número de jóvenes que en la actualidad no estudia ni trabaja "ninis"

Debilidad9

En “ni-ni” principalmente niveles de estudios bajos, pero los universitarios también presencia

significativa, especialmente en mujeres.Debilidad

10jóvenes con menores niveles de educación son

los que menos se formanDebilidad

11 Elevadas tasas de abandono escolar

Debilidad12

Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil

Fuente: Elaboración propia

Asimismo, el grado de pertinencia definido puede representarse gráficamente como una recta ajusta­da a la nube de puntos formada por el impacto potencial de la estrategia sobre cada debilidad o forta­leza y su grado de importancia, tal como y como se ha realizado en el epígrafe anterior.

Además de la representación gráfica, el grado de pertinencia puede aproximarse a través del coefi­ciente correlación de Spearman, que mide correlaciones de orden, en este caso, entre la importancia de cada debilidad o fortaleza y el impacto esperado de la estrategia de inversión sobre ella que toma el valor de 0,563.

Observando los resultados del análisis de pertinencia, cabe señalar que la adecuación de los objeti­vos específicos a los principales retos observados en este P.O es alta. Se produce una correspon­dencia positiva entre las principales debilidades y fortalezas identificadas en el análisis DAFO y los impactos potenciales que cabe esperar de los objetivos específicos y prioridades de inversión y, por tanto, la estrategia aborda convenientemente las principales debilidades del ámbito como son el des­empleo juvenil (D1), que la destrucción de empleo se produce fundamentalmente en trabajadores y trabajadoras de bajo nivel educativo (D3), y la existencia de un importante número de jóvenes que ni estudian ni trabajan (D8). Asimismo, refuerza algunas de las fortalezas más significativas como la reducción de las diferencias de género en el mercado laboral.

No obstante, algunas debilidades, como la elevada tasa de abandono escolar (D11) podrían haber tenido una mayor consideración en la estrategia, lo que hubiese incrementado su grado de pertinen­cia.

Teniendo en cuenta el análisis asociativo previo se puede concluir que los objetivos finales de la es­trategia planteada en el PO son pertinentes con las necesidades detectadas en el diagnóstico de la situación del país. Este resultado unido a que muchos de los objetivos específicos propuestos inciden sistemáticamente en las mismas debilidades hace posible el aprovechamiento de sinergias creadas por las distintas actuaciones, potenciando de este modo la pertinencia de la programación propuesta.

Además, con los resultados previos, se puede afirmar que la definición de 2 grandes prioridades de inversión (P.I.) está ampliamente fundamentada en las conclusiones obtenidas en la fase de dia­

3 Si comparamos esta cifra con el resultado obtenido al analizar la pertinencia parcial de cada uno de los objetivos temáticos del Acuerdo de Asociación, podemos concluir que el grado de adecuación de la estrategia del POEJ al diagnóstico presentado es ALTO.

— 15 —

gnóstico de la situación existente en la sociedad española que se ha realizado previamente, rela­cionándose de manera clara cada P.I con distintos problemas detectados durante el análisis.

2.2.2. Análisis de coherencia externa

El artículo 96.2 - apartado a) del Reglamento de Disposiciones Comunes establece que el PO contri­buirá a la estrategia de la Unión para el crecimiento inteligente, sostenible e integrador, y a lograr la cohesión económica, social y territorial, y presentará una justificación de los objetivos temáticos y las prioridades de inversión correspondientes, basada en la determinación de las necesidades regionales y nacionales, incluida la necesidad de abordar los retos señalados en las recomendaciones pertinen­tes adoptadas conforme al artículo 121, apartado 2, del TFUE y las recomendaciones pertinentes del consejo. Además la evaluación exante, como indica el artículo 55, apartado 3.a del Reglamento debe valorar la contribución del PO a la estrategia de la UE para un crecimiento inteligente, sostenible e integrador, mientras que en el párrafo 3.b indica que la evaluación exante deberá analizar la coheren­cia de los objetivos seleccionados con el MEC, el Acuerdo de Asociación y las recomendaciones es­pecíficas por país pertinentes adoptadas conforme al artículo 121, apartado 2, del TFUE, y cuando proceda a nivel nacional, el programa nacional de reformas.

Teniendo esto en cuenta, el equipo de evaluación exante considera que, una vez que la matriz de pertinencia del P.O. muestra y corrige el vínculo entre los retos y las necesidades, el siguiente paso consiste en realizar un análisis detallado sobre la coherencia entre aquello “que se quiere hacer” con aquello “que se puede hacer”-. En este sentido, se revisa, a través de matrices, las relaciones entre las Prioridades y objetivos del programa propuesto y las grandes líneas políticas y estratégicas exis­tentes a dos diferentes niveles de gobierno:

— A nivel de la Unión Europea

— A nivel nacional.

Nivel Unión Europea

El primer paso será, por tanto, verificar en qué medida los objetivos y medidas del Programa se co­rresponden con los retos y necesidades definidas en la estrategia Europa 2020, es decir:Si los retos y las necesidades son coherentes con los objetivos y orientaciones de laEstrategia 2020, así como los retos y necesidades relativos a España indicados por parte de la Comisión Europea.

Para ello se utiliza el documento de programación proporcionado por el equipo redactor del Programa que contempla la situación actual, análisis de necesidades y prioridades de inversión, y se comparará con los documentos de referencia europeos principales, a saber:

— La Estrategia 2020 de la Unión Europea;

— Las recomendaciones específicas observadas en el “Position Paper” de la Comisión Europa (CE)

Para analizar la coherencia de los Objetivos Específicos del Programa Operativo y los planes, políti­cas y estrategias a nivel europeo que tienen lugar en el mismo periodo y en los mismos ámbitos que el P.O., se ha utilizado una matriz de cruce de los Objetivos Específicos con los objetivos/directrices de los planes, políticas y estrategias europeas. Para ello se ha escogido el siguiente sistema de pun­tuación que determina el grado de coherencia entre objetivos:

— Grado de coherencia elevado = 5 puntos.

— Grado de coherencia pertinente= 3 puntos.

— Grado de coherencia bajo= 0 puntos.

A continuación, se exponen las distintas estrategias comunitarias sobre las que se ha procedido a evaluar la coherencia externa: la estrategia EU2020 y los objetivos indicados en el Position Paper realizado por la Comisión para el caso de España a través de sus retos principales.

— 16 —

Instituto de Estudios Fiscales

La estrategia EU2020

La Estrategia Europa 2020 constituye el marco de referencia para la coordinación de las políticas económicas y de empleo de los Estados miembros de la UE. Establece un ciclo que se extiende has­ta el año 2020, referencia para diseñar los Programas nacionales de reformas.

La Estrategia de la Unión para un crecimiento inteligente, sostenible e integrador establece las metas y los objetivos compartidos que deben gobernar la actuación de los Estados miembros y de la Unión Europea. Esta estrategia se materializa en cinco objetivos:

— Objetivo 1: el 75 % de la población de entre 20 y 64 años debería estar empleada.

— Objetivo 2: el 3 % del PIB de la UE debería ser invertido en I+D.

— Objetivo 3: debería alcanzarse el objetivo «20/20/20» en materia de clima y energía (incluido un incremento del 30% de reducción de emisiones si se dan las condiciones para ello).

— Objetivo 4: el porcentaje de abandono escolar debería ser inferior al 10 % y al menos el 40 % de la generación más joven debería tener estudios superiores completos.

— Objetivo 5: el riesgo de pobreza debería afectar a 20 millones de personas menos.

La siguiente Tabla de doble entrada muestra el nivel de integración entre la estrategia del PO y la europea.

Tabla 2.3.Coherencia con la Estrategia EU 2020

Objetivos de la Estrategia Europa 2020

Objetivos Estratégicos del Programa

Operativo

Objetivo 1: Empleo para el 75% de las personas de 20 a 64 años

Objetivo 2: Inversión

del 3% del

Objetivo 3: Objetivo 20/20/20

Objetivo 4: Educación

Objetivo 5: Luchar contra

la pobreza y la exclusión

social

Grado de coherencia entre objeti­

vosPIB en I+D (AA -

EU2020)

OE.8.2.1 5 0 0 3 5 52%

OE.8.2.2. 5 3 3 5 5 84%

OE.8.2.3. 5 3 3 5 5 84%

OE.8.2.4 5 0 0 0 5 40%

OE.8.7.1 5 0 0 3 3 44%

Grado de coherencia

entre objetivos100% 24% 24% 64% 92%

Fuente: Elaboración propia

En la Tabla 2.3, puede observarse que dos de los objetivos de la estrategia EU 2020 se ven cubiertos por los Objetivos Específicos de este Programa Operativo, referentes al empleo y a la lucha contra la pobreza y exclusión social, con más de un 90%, mientras que el resto de objetivos de la estrategia no se ven cubiertos por el POEJ. Esto asegura una amplia cobertura en aquellos objetivos estratégicos por parte de los Objetivos Específicos de este PO, que resultan de especial relevancia.

Los objetivos de la estrategia EU 2020 para el caso de España. Position paper de la Comisión Euro­pea

Los objetivos de la estrategia EU 2020 son comunes a todos los Estados Miembros, sin embargo, para garantizar que cada uno de ellos adapte la estrategia a su situación particular, la Comisión pro­pone que los objetivos generales se traduzcan en objetivos y trayectorias nacionales. En este caso, los retos más apremiantes para España, según las Recomendaciones específicas para España en

— 17 —

relación con la Estrategia 20204 se concretan en ciertos aspectos como la sostenibilidad de las finan­zas públicas, conseguir un sistema fiscal eficiente, realizar ajustes en el sector financiero, mejorar la situación del mercado laboral en nuestro país, atajar las debilidades estructurales de España en cuanto a educación, promover la inclusión social y la lucha contra la pobreza, acelerar las reformas para subsanar las deficiencias del entorno empresarial, reformar el sector energético y mejorar la calidad de la administración pública.

Estos desafíos pueden resumirse en los siguientes retos:

— Reto 1: elevado desempleo juvenil y total, la baja productividad laboral y el aumento de la pobreza y la exclusión social

— Reto 2: poca competitividad de las PYME y su escasa presencia en los mercados internacionales

— Reto 3: débil sistema de investigación e innovación, así como la insuficiente participación en el mismo del sector privado

— Reto 4: uso ineficiente de los recursos naturales

Para valorar la contribución de los Objetivos Específicos del P.O.E.J. a la estrategia EU 2020 para el caso de España se ha seguido la misma metodología que en el caso anterior y a partir de la matriz de cruce presentada en la siguiente tabla (Tabla 2.4) se puede concluir que solamente uno de los retos establecido en el Position Paper de la CE está cubierto adecuadamente por las dos Prioridades de Inversión, y sus correspondientes OE de este PO: el relativo al desempleo juvenil. Por lo que respecta al segundo de los retos que aparece en el Position Paper, de competitividad de las PYMES, la priori­dad de inversión 8.2 cubre considerablemente las necesidades en el descritas, mientras que la PI 8.7 solamente alcanza el 60%, valor nada despreciable. Sin embargo, los otros dos retos indicados no son cubiertos por este P.O.

Tabla 2.4:Coherencia con los objetivos del Position Paper. Comisión Europea

Retos más apremiantes para España según la E.E. 2020

N° de Retos

cubiertos por PI

Media del grado de

N° Medio de Retos atendidos por el OT

Prioridades de Inversión y Objetivos Específicos

FondoReto 1 Reto2 Reto 3 Reto 4

Grado de vinculación/ Intensidad

vinculación de los OE de una PI con respecto

a lasdebilidades

OE 8.2.1 FSE 5 3 0 0 8 2

OE 8.2.2 FSE 5 5 3 0 13 356.3% 3

OE 8.2.3 FSE 5 5 3 3 16 4PI.8.2 OE 8.2.4 FSE 5 3 0 0 8 2

Contribución de la estrategia de inversión

de la PI a los retos de la EE 2020

100% 80% 30% 15%

OE.8.7.1 FSE 5 3 0 0 11 3 55.0% 2

PI.8.7Contribución de la

estrategia de inversión de la PI a los retos

de la EE 2020

100% 60% 0% 0%

Fuente: Elaboración propia

4 COM (2013) 359 final.

— 18 —

Instituto de Estudios Fiscales

Nivel nacionalA continuación, el equipo evaluador también llevará a cabo este análisis de coherencia externa con los grandes marcos nacionales, que se traducirán principalmente en los Acuerdos de Asociación, que de alguna forma reflejan los Programas Nacionales de Reformas que se llevaron a cabo en 2013, además de otros documentos fundamentales que se tendrán que tener en cuenta:— Acuerdo de Asociación del Periodo 2014-2020.— Programa Nacional de Reformas España 2013 PNR.— Estrategia de emprendimiento y Empleo Joven 2013-2016. (Recomendaciones 5 y 6 del Consejo)— Plan Nacional de implantación de Garantía Juvenil, Iniciativa de Empleo Juvenil.Acuerdo de asociaciónEvaluar la coherencia externa implica asimismo analizar la consistencia de la estrategia del P.O.E.J. con la estrategia planteada en el Acuerdo de Asociación presentado por España para el periodo 2014-2020.El Acuerdo de Asociación se presenta como un documento de carácter estratégico a elaborar por el Estado miembro con la participación de los agentes principales, es decir, las autoridades regionales, locales y otras autoridades públicas competentes; los interlocutores económicos y sociales; y los or­ganismos que representen a la sociedad civil, en consonancia con el enfoque de gobernanza multini- vel. Este documento debe asimismo contemplar la estrategia del Estado miembro y las prioridades y medidas para la utilización de los fondos EIE de una manera efectiva y eficiente para perseguir la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador. Los grandes objetivos que se plantea son los siguientes:

OT1: Potenciar la investigación, el desarrollo tecnológico y la innovación

OT2: Mejorar el uso y la calidad de las tecnologías de la información y de las comunicaciones y el ac­ceso a las mismas

OT3: Mejorar la competitividad de las pequeñas y medianas empresas, del sector agrícola (en el caso del FEADER) y del sector de la pesca y la acuicultura (en el caso del FEMP)

OT4: Favorecer el paso a una economía con bajas emisiones de carbono en todos los sectores

OT5: Promover la adaptación al cambio climático y la prevención y gestión de riesgos

OT6: Proteger el medio ambiente y promover la eficiencia en el uso de los recursos

OT7: Promover un transporte sostenible y eliminar los estrangulamientos en las infraestructuras de red fundamentales

OT8: Promover el empleo y favorecer la movilidad laboral

OT9: Promoción de la inclusión social y reducción de la pobreza

OT10: Invertir en la educación, el desarrollo de las capacidades y el aprendizaje permanente mediante el desarrollo de las infraestructuras de educación y formación

— 19 —

Cuadro 2.1.Objetivos Temáticos del Acuerdo de Asociación

Fuente: Acuerdo de Asociación para España 2014-2020

El equipo evaluador considera que la coherencia con el Acuerdo de Asociación está asegurada en el sentido de que toma de éste las prioridades de inversión asociadas al OT8 y, por lo tanto, el objetivo principal del POEJ de promover el empleo juvenil y favorecer la movilidad laboral coincide, plenamen­te, con la estrategia señalada por el propio Acuerdo de Asociación.

Programa nacional de reformas

El siguiente paso en el estudio de la coherencia externa desde la óptica nacional consiste en analizar la consistencia de la estrategia del P.O.E.J. con el Plan Nacional de Reformas (PNR), que se presen­ta como un programa de gran envergadura que incorpora acciones que tienen como principal objetivo la mejora de la eficiencia, flexibilidad y competitividad de distintos ámbitos de la economía española y para facilitar el crecimiento y la creación de empleo (Tabla 2.5).

Tabla 2.5.Plan Nacional de Reformas y Acuerdo de Asociación

Tipo Medida

AGS 1. Proseguir un saneamiento fiscal diferenciado y favorecedor del crecimiento

AGS 2. Restablecer las condiciones normales de préstamo a la economía

AGS 3. Fomentar el crecimiento y la competitividad actual y futura

Objetivoespecifico

Eje 1. Aumentar la flexibilidad de la economía 1 -^ de ^de la Economía Española No aplica

Ley de Garantía de la Unidad de Mercado y Plan de Racionalización Normativa

Aplicación de los principios de necesidadEje 2. Garantizar un entorno favorable y proporcionalidad a los medios de

a los emprendedores, facilitando el inicio intervención de los municipios y el desarrollo de proyectos empresariales . . . . . . y apoyando su internacionalización Ley de A poyo al Emprended°r

y su Internacionalización

Ley de Colegios y Servicios Profesionales

Reforma del Gobierno Corporativo

OE 8.2.3.

Reforma educativaEje 3. Capital humano Planes para la reducción

del abandono escolarOE.8.2.2.

. , , , . .. Agenda Digital para España Eje 4. Impulso a la innovación 3 a r ry a las nuevas tecnologías

Investigación, Desarrollo e Innovación

Nuevo marco de supervisión de la competencia y los mercados

Reforma energética

Impulsar la competencia en el sector de carburantes

Eje 5. Garantizar un funcionamiento competitivoy eficiente de los mercados Liberalización del transporte

ferroviario de viajeros

Mejora de la regulación del transporte terrestre

Nuevo modelo de gestión de infraestructuras aeroportuarias

OE.8.2.2.

Nuevo marco de planificación estratégica: . „ . . . . . el Plan de Infraestructuras,

Eje 6. Mej° rar la eficiencia y competitividad Transporte y Vivienda de los sistemas logísticos 1 ransporte y Vivienda

Impulso a la Intermodalidad

Modificación de la Ley de Prevención y Control Integrados de la Contaminación

Proyecto de Ley de protecciónEje 7. Crecimiento respetuoso con el medio y uso sostenible del litoral

ambiente y lucha contra los efectos y de modificación de la Ley de Costas del cambio climático

Plan Sectorial de Turismo y Biodiversidad

Plan Nacional de Mejora de la Calidad del Aire

(Sigue)

— 20 —

Instituto de Estudios Fiscales

(Continúa)

Tipo Medida Objetivoespecifico

AGS 1. Proseguir un saneamiento fiscal diferenciado y favorecedor del crecimiento

AGS 2. Restablecer las condiciones normales de préstamo a la economía

AGS 3. Fomentar el crecimiento y la competitividad actual y futura

Nuevo modelo de política de suelo y vivienda

Eje 8. Impulsar la competitividad de los sectores

Plan Estatal para la regeneración urbana y el alquiler

Plan Nacional e Integral de Turismo.Ley de medidas para mejorar el

funcionamiento de la cadena alimentariaCreación de un Código de Buenas

Prácticas Mercantiles.Estrategia de apoyo a las Industrias

Culturales y Creativas.

Seguimiento de la reforma del mercado laboral

OE. 8.2.1., OE 8.2.4,

OE.8.7.1..

Eje 9. Lucha contra el desempleo y las consecuencias sociales de la crisis

Políticas activas de empleo: una nueva estrategia orientada a mejorar la capacidad

de inserción profesional, en particular de los más jóvenes

OE.8.2.1, - 8.2.4.

Inclusión social

AGS 5. Modernizar la administración pública

Eje 1. Racionalización y eliminación de duplicidades

Ley para la Racionalización y Sostenibilidad de la Administración Local

OE.8.7.1.

Comisión para la Reforma de las Administraciones Públicas (CORA)

Eje 2. Transparenciade la administración pública

Ley de Transparencia, Acceso a la Información Pública y Buen Gobierno OE.8.7.1

Eje 3. Impulso de la administración electrónica yreducciónde cargas

Séptimo Acuerdo de Consejo de Ministros sobre reducción de cargas administrativas OE.8.7.1

Eje 4. Mejorar la calidad, independencia y eficiencia de los sistemas judiciales

Profesionalización de la carrera judicial OE.8.7.1

Fuente: Plan Nacional de Reformas

Para analizar la coherencia de los Objetivos Específicos del Programa Operativo y el Plan Nacional de Reformas, se ha utilizado la misma metodología que en el apartado anterior.

— 21 —

Tabla 2.6.Coherencia con Plan Nacional de Reformas 2013

Ejes del plan nacional de reformas 2013Objetivos

Específicos del PO

AGS 3. Fomentar el crecimiento y la competitividad Actual y futura

AGS 5. Modernizar la administración pública

devinculación

Eje 1 Eje 2 Eje 3 Eje 4 Eje 5 Eje 6 Eje 7 Eje 8 Eje 9 Eje 1 Eje 2 Eje 3 Eje 4

OE 8.2.1. 5 0 0 0 3 0 0 0 5 3 0 3 0 29%

OE 8.2.2. 3 3 5 5 0 0 3 0 5 3 0 3 0 46%OE 8.2.3. 5 5 3 3 3 0 3 3 5 0 0 3 0 51%

OE 8.2.4. 5 0 0 0 3 0 0 0 5 0 0 3 0 25%

OE 8.7.1 0 3 3 3 3 0 0 3 5 5 0 5 0 46%

Grado de 72% 44% 44% 44% 48% 0% 24% 24% 100% 44% 0% 68% 0%vinculación 44% 28%

Fuente: Elaboración propia

En primer lugar, hay que tener en cuenta que la AGS1 y la AGS2 del PNR hacen referencia a medi­das de carácter macroeconómico que no tienen relación con la EU2020, por lo que no han sido teni­das en cuenta en el análisis. Sin embargo, en lo que respecta al resto de medidas se observa que sobretodo el ejel y el eje9 del AG3, así como el eje3 del AG5 del PNR están en línea con los objeti­vos de crecimiento integrador reflejados en el PO.

La estrategia de emprendimiento y empleo joven 2013-2016

La tercera de las estrategias analizadas para comprobar el grado de coherencia con el POEJ es la Estrategia de Emprendimiento y Empleo Joven 2013-2016 (EEEJ). La estrategia se instrumenta con una motivación fundamental: reducir la tasa de desempleo juvenil y abordar las causas estructurales que hacen que sea superior a la de la población en general. Para ello, se proponen 100 medidas (agrupadas en 10 líneas de actuación), que se han diseñado para hacer frente a los diferentes des­equilibrios identificados. Los objetivos marcados en esta estrategia son los siguientes:

— Objetivo 1: Contribuir a mejorar la empleabilidad de los jóvenes.

— Objetivo 2: Aumentar la calidad y la estabilidad del empleo joven.

— Objetivo 3: Promover la igualdad de oportunidades.

— Objetivo 4: Fomentar el espíritu emprendedor.

Para analizar la coherencia de los Objetivos Específicos del POEJ y la Estrategia de Emprendimiento y Em­pleo Joven se ha utilizado la misma metodología que la mostrada para el Plan Nacional de Reformas.

Tabla 2.7.Coherencia con la Estrategia de Emprendimiento y Empleo Joven

Prioridades de Inversión y Objetivos Específicos

Objetivos de la Estrategia de Emprendimiento y Empleo Joven (EEEJ) Grado de

vinculación/ Intensidad

N° de Objetivos cubiertos

por OE

Media del grado de

vinculación de los OE

con respecto a la EEEJ

Objetivo1 Objetivo2 Objetivo3 Objetivo 4

PI 8.2 5 5 5 5 4

OE 8.2.1 5 5 3 3 16 2PI.8.2 78,8%

OE 8.2.2 5 5 3 5 18 3

(Sigue)

— 22 —

Instituto de Estudios Fiscales

(Continúa)

Prioridades de Inversión y Objetivos Específicos

Objetivos de la Estrategia de Emprendimiento y Empleo Joven (EEEJ) Grado de N° de

Objetivos cubiertos

por OE

Media del grado de

vinculación de los OE

con respecto a la EEEJ

Objetivo1 Objetivo2 Objetivo3 Objetivo 4vinculación/Intensidad

OE 8.2.3 3 3 3 5 14 4

OE 8.2.4 5 5 5 0 15 2

Coherencia de la estrategia de inversión

del PO con los objetivos de EEEJ

90% 90% 70% 65%

PI 8.7 5 3 5 3 4

OE.8.7.1 5 3 5 3 16 3 80,0%8 7 Coherencia de la

PI.8.7 estrategia de inversión del PO con los

objetivos de EEEJ100% 60% 100% 60%

Fuente: Elaboración propia

Claramente se observa que la coherencia entre el POEJ y la estrategia de empleo joven es muy alta, especialmente por lo que respecta a los tres primeros objetivos de la EEEJ. En general, las acciones programadas por el POEJ inciden en gran número de los objetivos buscados por esta estrategia na­cional. Solamente destacar que el único objetivo que no parece favorecer de manera tan considerable es el relacionado con el fomento del espíritu emprendedor.

Plan nacional de implantación de garantía juvenil

Finalmente en lo referente al apartado de coherencia externa del POEJ en relación a las actuaciones nacionales, el equipo evaluador analiza el grado de relación respecto al Plan nacional de Garantía Juvenil (PNGJ). El objetivo de este plan es garantizar que todos los jóvenes menores de 25 años reciban una buena oferta de empleo, educación continua, formación de aprendiz o periodo de prácti­cas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados. Los gran­des objetivos que se marca son:

— Mejorar la intermediación

— Mejorar la empleabilidad

— Favorecer la contratación

— Favorecer el emprendimiento

Tabla 2.8.Coherencia con el Plan Nacional de implantación de Garantía Juvenil

Prioridades de Inversión y Objetivos Específicos

Objetivos de la Plan Nacional de implantación de Garantía Juvenil (PNGJ) Grado de

vincula­ción/

Intensidad

N° de Objetivos cubiertos

por OE

Media del grado de

vinculación de los

OE con respecto a la PNGJ

interme­diación

empleabi­lidad

contrata­ción

emprendi­miento

PI 8.2 3 5 5 3

OE 8.2.1 5 5 5 3 18 4

OE 8.2.2 3 5 5 3 16 4PI.8.2 77,5%

OE 8.2.3 0 5 3 5 13 4

OE 8.2.4 5 5 5 0 15 4

(Sigue)

— 23 —

(Continúa)

Fuente: Elaboración propia

De manera clara se puede concluir que la coherencia entre el PO y la estrategia del Plan de Garantía Juvenil es muy elevada, mostrando valores que se sitúan entre el 100% y el 90% en muchos casos, como cabría esperar, dado quelas acciones programadas por el POEJ inciden en la mayoría de los objetivos buscados por el PNGJ. De manera similar a lo ocurrido en el estudio de la coherencia con la Estrategia de Emprendimiento y Empleo Joven, el único objetivo que no parece favorecer de manera tan considerable es el relativo a fomentar el emprendimiento, similar resultado al obtenido en la estra­tegia nacional anterior.

Observando el análisis previo, se puede resaltar el alto grado de fundamentación e interrelación exis­tente entre los objetivos específicos y P.I. de la estrategia del POEJ tanto en lo referente a las estra­tegias a nivel europeo, dadas en la estrategia de la UE2020 y las orientaciones del consejo, así como los planes desarrollados a nivel nacional, como son el Acuerdo de Asociación, el Plan Nacional de Reformas, la Estrategia de emprendimiento y empleo Joven, y finalmente el Plan Nacional de implan­tación de Garantía Juvenil, ya que, las metas y objetivos planteados se encuentran estrechamente relacionados con las directrices marcadas por las distintas estrategias nacionales o europeas tenidas en consideración.

2.2.3. Análisis de coherencia interna

Como se establece en el Articulo 55,3,b y f sobre la evaluación exante de los programas operativos, será necesario valorar “la coherencia interna del programa o de la actividad propuestos y su relación con otros instrumentos financieros, y la manera en que los productos esperados contribuirán a los resultados”. Por este motivo, en este capítulo se desarrolla el estudio de la coherencia interna del Programa Operativo. Para ello es recomendable detectar y clarificar de forma explícita la estructura de la estrategia del P.O con el fin de facilitar la mejor comprensión de la misma. Las posibilidades que se consideran son las siguientes:

— Detección de las sinergias entre los Objetivos Específicos del POEJ, es decir, medir el grado en que unos Objetivos influyen sobre los otros para alcanzar el objetivo general de la intervención.

— La consistencia de la estrategia mediante un esquema gráfico que explicite la definición y jerar- quización de esta, y que permita extraer conclusiones sobre el nivel de estabilidad y fuerza de la intervención pública.

— Especificación del marco lógico o cadena de valor de las intervenciones mediante la representa­ción de diagramas de flujo para las acciones diseñadas en cada OE.

— 24 —

Prioridades de Inversión y Objetivos Específicos

Objetivos de la Plan Nacional de implantación de Garantía Juvenil (PNGJ) Grado de

vincula­ción/

Intensidad

N° de Objetivos cubiertos

por OE

Media del grado de

vinculación de los

OE con respecto a la PNGJ

interme­diación

empleabi-lidad

contrata­ción

emprendi­miento

Coherencia de la estrategia de inversión del

PO con los objetivos de PNGJ

PI 8.7OE.8.7.1

Coherencia de la estrategia

PI87 de inversión del PO con los

objetivos de PNGJ

65% 100% 90% 55%

5 5 5 3 4 5 5 5 3 18 4 90,0%

100% 100% 100% 60%

Instituto de Estudios Fiscales

Por lo que se refiere a la primera aproximación de análisis de la coherencia interna, la evaluación de las sinergias entre los Objetivos Específicos del POEJ implica examinar la capacidad de cada Objeti­vo para influir sobre el logro del resto de Objetivos, bien por influencia5 (la consecución de un Objetivo permite alcanzar otros Objetivos del PO) o bien por sensibilidad6 (la consecución de otros Objetivos permite alcanzar el Objetivo en cuestión).

Para analizar estos efectos se empleará la metodología recomendada en la Guía para la Evaluación del Desarrollo Socioeconómico que consiste en la construcción de una matriz en la que se valoran las interrelaciones entre los diferentes OE. Para ello, se asigna un valor a cada cruce (1, 3 y 57) en fun­ción de la intensidad de interrelación entre los Objetivos.

Así, esta matriz permite obtener, por filas, la intensidad y vinculación funcional entre los OE, esto es, el grado de influencia de un Objetivo sobre el resto. Del mismo modo, pero por columnas, permite determinar en qué medida un Objetivo se ve influenciado por los demás, determinando, por tanto, el grado de sensibilidad de este objetivo.

Este análisis permite clasificar los Objetivos en cuatro grupos jerárquicos:

— Objetivos estratégicos, son aquellos con una valoración superior a la media tanto en influencia como en sensibilidad. Por tanto, constituyen objetivos clave de la estrategia por su elevado poten­cial multiplicador.

— Objetivos influyentes, son aquellos que tienen una elevada capacidad de influencia (superior a la media), pero un menor grado de sensibilidad (inferior a la media). Éstos pueden considerarse ob­jetivos con elevado grado de influencia.

— Objetivos sensibles, son aquellos con una sensibilidad mayor que la media pero con influencia inferior a la media. Por tanto, su desarrollo o éxito depende en buena parte del cumplimiento o el logro de los otros objetivos, por lo que presentan un elevado grado de dependencia del resto.

— Objetivos independientes, son aquellos que por sus propias características presentan un mayor grado de independencia (baja influencia y sensibilidad respecto a la media).

A continuación, se presenta la matriz de sinergias entre los Objetivos Específicos del Programa Ope­rativo:

Tabla 2.9.Matriz de sinergias entre Objetivos Específicos del Programa Operativo.

OE.8.2.1 OE.8.2.2 OE.8.2.3 OE.8.2.4 OE.8.7.1Cómo influye

(influencia)

OE.8.2.1 3 5 5 1 14

OE.8.2.2 5 5 3 3 16

OE.8.2.3 5 3 3 1 12

OE.8.2.4 5 3 1 1 10

OE.8.7.1 5 3 3 5 16

Cómo es influido (sensi­bilidad) 20 12 14 16 6 13,6

Fuente: Elaboración propia

Con la información disponible en la tabla anterior sobre sinergias se puede realizar la representación gráfica de las mismas, tomando como punto de referencia el valor medio de las influencias que se generan entre OE (que es de 13,6).

5 Mide el impacto que tiene sobre otros OE.6 Mide el impacto que otros OE tienen sobre él.7 El valor 1 determina una intensidad de interrelación débil, el valor 3 moderada y el 5 aguda.

— 25 —

Gráfico 2.2:Representación gráfica de las sinergias entre Objetivos Específicos

Fuente: Elaboración propia

Conforme a esta matriz de sinergias y a su correspondiente gráfico, se puede desarrollar la siguiente clasificación de los Objetivos Específicos del PO.

Tabla 2.10.Clasificación de los Objetivos Específicos bajo el análisis de coherencia interna.

Objetivosestratégicos Objetivos influyentes Objetivos sensibles Objetivos

independientes

OE8.2.1 OE8.2.4 OE8.7.1, OE8.2.2 OE8.2.3

Fuente: Elaboración propia

En primer lugar, cabe destacar que casi todos los OE mantienen algún tipo de interrelación entre ellos, ya sea de manera débil, moderada o intensa. Estas sinergias favorecen el funcionamiento del Programa Operativo y la consecución del objetivo general de la intervención.

Sin embargo, existe un OE que, tanto por su influencia sobre el resto, así como por su sensibilidad a la hora de ser influido por otros Objetivos, obtiene un carácter estratégico. Este es el OE8.2.1 (mejo­rar la activación temprana y perfeccionar los procesos de intermediación y movilidad laboral). Este objetivo está dirigido, principalmente, a combatir las necesidades más importantes identificadas en el diagnóstico inicial referente a la alta tasa de desempleo existente. En este sentido, y tal como se ob­serva en el análisis de la pertinencia, es el objetivo que incidía de manera más notable sobre las debi­lidades y fortalezas identificadas.

En el otro extremo, se encuentran aquellos objetivos que, dado su grado de influencia y sensibilidad, se determinan como independientes, es decir, su consecución no depende en gran medida del logro de otros, así como su éxito no contribuye, intensamente, al cumplimiento del resto. Este es el OE8.2.3 (apoyar el espíritu emprendedor fomentando la responsabilidad y la innovación y emprendimiento).

Finalmente, se sitúan aquellos objetivos específicos que se ven influidos, en mayor medida, por la consecu­ción del resto, como lo son el OE8.2.2 (mejorar las aptitudes y las competencias profesionales de las perso­nas jóvenes), OE8.7.1 (Mejorar la calidad y respuesta de las instituciones del mercado de trabajo y su coordinación), y, por último, un objetivo que influye, intensamente, en el éxito de otros, como es el OE8.2.4 (incentivar la contratacion, teniendo en cuenta la perspectiva de genero).

Consistencia de la Estrategia

Una vez analizada la coherencia interna, la consistencia de la estrategia se llevará a cabo a través de un análisis enprofundidad de los objetivos y prioridades, identificando la manera en la que se relacionan y la

— 26 —

Instituto de Estudios Fiscales

posible existencia de objetivos y prioridades contradictorias, así como recomendaciones para solucionar estos problemas. Este análisis de coherencia interna se hará a través de dos elementos:— El diseño de un árbol de objetivos, que presentará de forma clara las interrelaciones entre el obje­

tivo general del POEJ, sus objetivos específicos y las prioridades de inversión que se fijen en el Programa para su desarrollo e implementación.

— El diseño del marco lógico que, establece la cadena recursos, actividades, productos y resultados finales.

Diseño de árbol de objetivos del Programa OperativoEl análisis de la compatibilidad interna de la estrategia permitirá detectar y señalar las posibles siner­gias entre las diferentes líneas de actuación y acciones y se comprobará si una línea de acción no pone en peligro los resultados de otra. Para ello, la jerarquía de los objetivos y las relaciones existen­tes entre ellos se presentarán de forma piramidal, donde las diferentes alturas de la pirámide indican que se trata de objetivos más estratégicos y de más largo plazo. Sin embargo, existen situaciones en las que esta estructura piramidal puede resultar en ocasiones ambigua, puesto que no facilita el en­tendimiento jerarquizado de la estrategia a desarrollar, pudiendo localizarse ciertas inconsistencias o falta de información en aspectos como:— La forma concreta en que cada uno de los Objetivos Intermedios contribuye a la consecución de

los Objetivos Finales.— La argumentación de cómo ayudan los Objetivos específicos a poder alcanzar los Objetivos In­

termedios y, en consecuencia, los Finales del POEJ.Este planteamiento permitirá una mayor interrelación de la estrategia con los indicadores que serán establecidos para su seguimiento y, por ende, facilitará la futura evaluación de la estrategia del PO, así como incrementará la importancia de la misma respecto a los resultados que se generaran en las futuras evaluaciones intermedias y expost.El equipo evaluador considera que, analizando el documento de programación del POEJ remitido por el equipo programador sería recomendable una fundamentación teórica más detallada de las priori­dades para la consecución de los Objetivos planteados en el POEJ, que permita explicitar la coheren­cia del POEJ con las principales necesidades y problemas detectados durante el diagnóstico. La siguiente figura realizada por el equipo de evaluación muestra una posibilidad en la definición y jerar- quización de la estrategia en forma piramidal, que explicita las relaciones existentes y que puede resultar adecuada para el entendimiento de las sinergias creadas entre las diferentes líneas de actua­ción, prioridades y objetivos intermedios propuestos para el cumplimiento de los objetivos finales.

Gráfico 2.3:Diseño de árbol de los objetivos del PO

Fuente: Elaboración propia

— 27 —

La gran ventaja que presenta el análisis de este Programa Operativo es que, dada su estructura, con un único Objetivo Temático (OT8: Promover el empleo y favorecer la movilidad laboral), y solo dos Ejes Prioritarios, uno con dos PI y el otro solo con la PI 8.2., resulta bastante sencillo y recomendable realizar una sistematización de la relación existente entre Objetivos Finales y Objetivos Intermedios, y entre éstos y las prioridades de actuación contenidas en el PO (incluyendo los objetivos específicos de cada prioridad).

A través del análisis realizado por el equipo evaluador se puede afirmar que el PO es consistente en términos de las relaciones entre objetivos de corto, medio y largo plazo. Además, se observa que existen sinergias, como la establecida por el OE8.7.1 que tiene una relación directa con un objetivo a medio plazo (La modernización de las instituciones del mercado de trabajo, como los servicios de empleo públicos y privados y la mejora de la respuesta a las necesidades del mercado laboral) tam­bién puede afectar de manera indirecta al otro objetivo de medio plazo planteado en esta estrategia (Integración sostenible en el mercado de trabajo de los jóvenes, en particular aquellos sin trabajo y no integrados en los sistemas de educación y formación).

Diseño del Marco Lógico del Programa Operativo

Una vez analizada la consistencia del Programa, la evaluación ex ante valorará la forma en que los productos contribuyen a los resultados esperados del programa, mediante la elaboración de un dia­grama lógico de impacto para cada Objetivo Específico, destinado a establecer los vínculos de causa­lidad de los diferentes tipos de acciones previstos, partiendo desde los recursos disponibles, los productos que se generan, para finalizar con los resultados esperados. Para este fin, el equipo eva­luador examinará la contribución que se espera de los objetivos específicos y de las Prioridades de inversión de las líneas de acción seleccionadas, comprobando si los productos generan los resulta­dos deseados a nivel del Programa.

Con esta estructura de la estrategia se puede identificar los impactos posibles según los diferentes tipos de proyectos, que es, sin lugar a dudas, el elemento central presente en todos los programas y la óptica del nuevo periodo de programación 2014-2020 orientada a resultados. Esta teoría enfocada a resultados e impacto resulta mucho más fácil de realizar en aquellos proyectos con objetivos muy enfocados que satisfacen mejor las expectativas, pero que son menos numerosos.

Gráfico 2.4:Marco Lógico(cadena de valor) de un Objetivo Específico

Fuente: Elaboración propia

Mediante la representación del marco lógico de las acciones, dentro del marco de una evaluación ex ante el equipo evaluador, se puede observar el grado de eficacia que se puede llegar a lograr con las diferentes actividades y proponer modificaciones en el caso que así se consideren. Para ello se anali­zaran:

— La descripción de cada actuación financiada en este Programa Operativo.

— Se estudiará como los productos pueden generar los resultados esperados, y si factores externos pueden afectar la obtención de los resultados buscados.

Este estudio nos permite identificar los vínculos más importantes entre las medidas y los objetivos. Naturalmente, en este contexto, se debe tener en cuenta:

— la asignación financiera de los recursos entre los diferentes ejes y medidas, y

— 28 —

Instituto de Estudios Fiscales

— los factores externos importantes que influyen en la elección de las políticas del Programa.

Dado que, como ya se ha indicado por parte del equipo evaluador, se sugiere al equipo de programa­ción clarificar de manera más explícita la estructura de dicha estrategia con el fin de facilitar la com­prensión de la misma, a continuación se presenta un posible esquema de representación gráfica de la misma a partir de la cual se podría desarrollar la argumentación, tanto de la coherencia interna como de la pertinencia. En este análisis se separa cada uno de los Objetivos específicos dentro de la P.I.

Antes de pasar a analizar cada uno de los OE es necesario realizar dos aclaraciones. La primera de ellas es en relación al primer paso del marco lógico, relativo a los recursos necesarios para realizar cualquier actividad. Dependiendo de la acción emprendida serán necesarios recursos financieros, personal, de edificios, etc. Con el objeto de simplificar el análisis se ha considerado un único recurso, que es el “recurso financiero”, dado que con una asignación presupuestaria se pueden lograr el resto: contratación de personal, compra de equipos informáticos, etc. Además se ha realizado la distinción, dado que son acciones cofinanciadas, en denominarlo “recurso del FSE y nacional”.

La segunda aclaración es la relativa a los indicadores que se utilizaran para cuantificar el resto de etapas en el marco lógico. El equipo de evaluación ha observado la existencia de multitud de posibili­dades a la hora de establecer un indicador, pero en aras de la simplificación, se ha decido por emple­ar los propuestos por el equipo de programación, aunque esto pueda suponer un perdida de intuición en los análisis.

Una vez realizadas estas aclaraciones comenzamos con el análisis de las actividades, que el equipo de la UAFSE ha establecido en el POEJ, relacionadas con el OE 8.2.1., que son:

— Acciones de orientación profesional, información laboral y acompañamiento en la búsqueda de empleo.

— Actuaciones con agencias de colocación.

— Programas de movilidad

A continuación se presenta la cadena de valor para cada una de estas acciones:

Gráfico 2.5.Marco Lógico de las actuaciones asociadas al OE.8.2.1

— 29 —

Se va a explicar la causalidad existente en la tercera de las acciones (programa de movilidad), indicando que para el resto de actuaciones la lectura es similar. Partiendo de unos recursos financieros, aportados tanto por fondos europeos como nacionales, se realizan acciones de movilidad laboral a personas desempleadas. El producto que van a generar estas acciones son personas desempleadas (de larga duración) que están participando. Es de esperar que una persona que recibe esta asistencia tenga más posibilidades de encontrar trabajo. Por lo tanto, y siguiendo una estructura de causalidad, el comprobar si esta acción ha tenido el resultado es­perado podría ser analizando el número de participantes en los programas de movilidad que han recibido una oferta de empleo.

Utilizando esta forma de análisis para el resto de acciones del OE 8.2.1 parece claro que existe una lógica bien marcada en todas las actuaciones. El equipo evaluador considera, que bajo ciertos su­puestos ajenos a la actuación, el objetivo que se establece puede ser alcanzado con estas actuacio­nes.

Pasamos a continuación a considerar las actuaciones asociadas al Objetivo Especifico 8.2.2. En total encontramos las siguientes 8 diferentes actividades:

— Programas de segunda oportunidad.

— Formación con compromiso de contratación.

— Formación, especialmente en idiomas y TIC.

— Impulso de la formación dual.

— Escuelas Taller y Casas de Oficios y programas mixtos de empleo-formación.

— Evaluación y acreditación de las competencias profesionales.

— Prácticas no laborales en empresas.

— Formación para la obtención de certificados de profesionalidad.

El marco lógico asociado a las actuaciones citadas queda representado en la siguiente figura:

Gráfico 2.6.Marco lógico de las actuaciones asociadas al O.E.8.2.2

— 30 —

Instituto de Estudios Fiscales

Tal y como se observa, las actuaciones enmarcadas en este Objetivo Específico están encaminadas a mejorar la empleabilidad de aquellas personas no ocupadas ni integradas en los sistemas de for­mación y educación, principalmente. En este sentido, el producto asociado a las medidas señaladas, se refiere a aquellas personas que participan en el marco de una determinada acción. Por ejemplo, en el caso de la actuación para la formación con compromiso de colocación, el producto asociado serían aquellas personas inactivas no integradas en los sistemas de educación o formación que parti­cipan bajo esta acción y, bajo la estructura de causalidad descrita en la figura, el resultado esperado podría ser aquellos participantes que están empleados en el plazo de seis meses posteriores a la participación.

Para el resto de acciones la lógica de actuación es bastante similar, por lo que el equipo evaluador considera que los resultados pueden ser alcanzados adecuadamente bajo la actual estrategia de inversión del PO.

La financiación, como ya se ha comentado para el anterior Objetivo Específico, proviene tanto de recursos nacionales, como de los fondos europeos.

Por lo que se refiere, a las acciones relacionadas al Objetivo Especifico 8.2.3 estas son:

— Ayudas al autoempleo.

— Fomento de la cultura emprendedora.

— Medidas para favorecer el autoempleo y el emprendimiento colectivo en el marco de economía social.

— Asesoramiento al autoempleo y creación de empresas y formación para emprendimiento.

Siendo su análisis de marco lógico el siguiente:

— 31 —

Gráfico 2.7.Marco lógico de las actuaciones asociadas al O.E.8.2.3

Para este OE, las cuatro acciones programadas tienen un claro carácter de fortalecimiento del auto- empleo. Para esas acciones los indicadores de producto ideales son personas, inactivas o desem­pleadas, que participan en las distintas acciones. Como ejemplo, partiendo de la medida OE8.2.3.4, Es de esperar que al realizar una acción de asesoramiento al autoempleo de un inactivo (actividad) la “producción” de esa acción se pueda medir como el “número de personas participantes en la acción de asesoramiento que no están integradas en el sistema educativo o de formación”, pero si el análisis de esta actuación se quedara en ese punto se estaría perdiendo de vista el objetivo de este periodo de programación orientado a resultado. El objetivo final de esta acción es que las personas que son beneficiadas de esa acción, ahora tengan más posibilidades de encontrar un empleo. Por ese motivo el paso final del marco lógico para esta actividad es observar el número de personas inactivas que encuentran empleo tras haber participado en la actividad. Aplicando esta lógica al resto de activida­des se observa una estructura consistente en el diseño de las actuaciones propuestas por parte del equipo de programación.

Para el Objetivo Especifico 8.2.4., las acciones descritas son:

— Bonificaciones en las cuotas de la Seguridad Social.

— Ayudas al empleo para la contratación de jóvenes con un periodo mínimo de permanencia.

— Fomento de la economía social.

— Formación y fomento del empleo para jóvenes investigadores.

— Otros incentivos a la contratación.

Siendo la estructura de causalidad subyacente en las actuaciones la que se muestra a continuación:

— 32 —

Instituto de Estudios Fiscales

Gráfico 2.8.Marco lógico de las actuaciones asociadas al O.E.8.2.4

En este caso particular, la mayoría de las actividades propuestas generan productos que influyen en la obtención del resultado. No obstante, el equipo evaluador considera que existe una acción que no se encuentra correctamente capturada en esta fase. Es la relativa a “formación y fomento de empleo para jóvenes investigadores”. Inicialmente cabe esperar que esta acción está destinada tanto a per­sonas con estudios de nivel medio (CINE 2) como de nivel superior o universitario (CINE 3). Sin em­bargo, observando los indicadores propuestos por el equipo de programación solo aparecen presentes indicadores para personas con estudios secundarios, dejando sin cubrir la posibilidad de estudiantes de doctorado o similares. En esta situación se estaría prestando una acción, pero no se tendría un indicador de producto que reflejara la ejecución de la misma, generándose de este modo una clara disfunción: existe una actuación pero el indicador de producto no se mueve. Tras realizar una consulta a la UAFSE relativa a esta cuestión, el equipo programador expuso que las acciones que se iban a realizar con ese objetivo iban destinadas exclusivamente a estudiantes de formación profesional, y no a universitarios. Por lo tanto, las dudas suscitadas al inicio quedan completamente resueltas.

Para el Objetivo Especifico 8.7.1. las acciones se centran en la adaptación de los servicios públicos de empleo y otras instituciones del mercado laboral, las medidas adoptadas para el intercambio de información y consulta de sistemas de información y la puesta en funcionamiento del sistema de in­formación y la base de datos única.

— 33 —

Gráfico 2.9.Marco lógico de las actuaciones asociadas al O.E.8.7.1

En los casos anteriores las actuaciones tenían un marcado carácter vertical. En estas situaciones resulta bastante sencillo establecer un producto para cada actuación. Sin embargo, el OE.8.7.1., al tratarse de acciones con un claro principio horizontal, como son la creación de sistemas informáticos, aplicaciones, etc., el producto que se genera no es tan claro como en los casos anteriores. Sin duda, se puede afirmar que esta es la actividad, entre todas las analizadas, en la que el estudio de la cau­salidad resulta más difuso, no pudiéndose establecer un marco lógico tan consiste como el obtenido en los anteriores casos.

2.2.4. Análisis de la incorporación de las prioridades horizontales

Tal y como se recomienda en el artículo 55, párrafo 3, puntos l) y m), del Reglamento de Disposicio­nes Comunes, la evaluación ex-ante debe examinar "la adecuación de las medidas previstas para promover la igualdad de oportunidades entre hombres y mujeres, prevenir todo tipo de discriminación, en particular a la accesibilidad para personas con discapacidad, y promover el desarrollo sostenible".

Para ello, el equipo evaluador propone el análisis de estas prioridades como punto fundamental de la evaluación de la estrategia del Programa. Siguiendo las indicaciones presentadas en las líneas guía de la Comisión Europea para el desarrollo de las evaluaciones ex-ante, este análisis cubrirá los pun­tos siguientes:

Promoción de la igualdad entre hombres y mujeres

La igualdad de oportunidades entre hombres y mujeres en la UE y en España ha adquirido una gran importancia durante la última década, sobre todo en lo que se refiere al impulso de esta perspectiva en las políticas nacionales de cada uno de los países miembros de la Unión. Como prueba de ello, es la importancia que se otorga a la incorporación de la cuestión de género en todas las actuaciones cofinanciadas por los Fondos Europeos. En relación con la igualdad entre hombres y mujeres, en este documento se evaluará:

— la manera en que el objetivo de la promoción de la igualdad se ha tenido en cuenta al elaborar el Programa (en el desarrollo del análisis socioeconómico, en la fase de concepción del Programa, y a través de procesos de consulta con organismos responsables de cuestiones de igualdad, entre otros)

— la contribución del Programa en la promoción de la igualdad entre mujeres y hombres y las moda­lidades previstas para garantizar la integración de la dimensión "hombres-mujeres" tanto en el ni­vel de Programa como en las operaciones, examinando si los documentos de programación contienen disposiciones adecuadas en relación con la integración del principio de igualdad entre hombres y mujeres en los procesos de implementación, seguimiento y evaluación

— 34 —

Instituto de Estudios Fiscales

Por ello, se analiza el grado de aplicación de la cuestión de género en el documento de programa­ción, analizando:

— El correcto uso del lenguaje, evitando el uso de expresiones sexistas.

— La inclusión en la estrategia y un análisis profundo de la situación inicial diferenciando por cues­tión de género la existencia de resultados particularmente relevantes.

— La desagregación en función del sexo de los datos y estadísticas que se utilizaran en los distintos indicadores, ya sean de producto o resultado, con una diferenciación por cuestión de género siempre que sea pertinente, unido al establecimiento de un sistema de seguimiento y evaluación en materia de género que presente información total y desagregada por sexo y que permita el análisis del impacto de la política y la aplicación de la prioridad de igualdad de género.

Fomento de la igualdad de oportunidades y prevención de la discriminación

La aplicación de los Fondos EIE debe tender a eliminar las desigualdades y promover la igualdad entre hombres y mujeres, así como a combatir la discriminación basada en el sexo, origen racial o étnico, religión o convicciones, discapacidad, edad u orientación sexual. Además, teniendo en cuenta el artículo 55.3, se debe valorar la estrategia establecida en el PO en lo referente a la igualdad de oportunidades y la prevención de la discriminación. Por este motivo se analizarán las siguientes cues­tiones:

— las acciones específicas previstas a lo largo del proceso de elaboración, concepción e implemen- tación del Programa (medidas específicas que se hayan tomado para la participación de los acto­res relevantes en la identificación de problemas/necesidades, definición de objetivos, decisiones relativas a la asignación de recursos, selección de acciones a ser apoyadas, formas previstas pa­ra el acceso a la financiación, etc.).

Teniendo presente la valoración de la incorporación en la estrategia de estos dos principios horizonta­les, se ha desarrollado una valoración de cómo los principales aspectos como la estrategia, la gober­nanza, los indicadores y las asignaciones financieras tienen en cuenta estos principios horizontales, teniendo en cuenta 3 tipos posibles de valores: alto, medio y alto .

En la Tabla 2.11 se valora el principio horizontal de igualdad entre hombres y mujeres y el de igual­dad de oportunidades y no discriminación en el Programa Operativo:

Tabla 2.11.Integración del principio de igualdad de oportunidades y no discriminación en el Programa Operativo

Estrategia Gobernanza Indicadores Asignacionesfinancieras

Prom

oció

n de

igua

ldad

ho

mbr

e y

muj

er

Intensidad Alta Media Media Media

Apreciación

Se realiza el análisis de contexto siempre

teniendo en cuenta la desagregación por género y tramos de edad de ambos gru­pos. En las priorida­

des de inversión como así también en los objetivos especí­ficos se observan la

inclusión de este principio.

Se manifiesta estar en coordinación con el Gobierno, CC.AA,

interlocutores sociales y otros agentes intere­sados en la elabora­

ción y puesta en marcha del POEJ.

Aunque se debería garantizar explícita­

mente la participación de la mujer de manera

transversal.

Todos los indicadores relacionados

con indivi­duos (partici­

pantes o desemplea­dos, inacti­vos) están desagrega­

dos por cuestión de

sexo.

La elegibilidad de la financiación se hará en base al colectivo

beneficiario, es decir la edad de 15 a 24 años con inde­

pendencia de su naturaleza (empleo, formación, educa­

ción o inclusión social). Sin embar­go, la asignación financiera no apa­rece desglosada

por sexo.

(Sigue)

— 35 —

(Continúa)

E s tra te g ia G o b e rn a n z a In d ic a d o re sA s ig n a c io n e s

fin a n c ie ra s

Fo

me

nto

ig

ua

lda

d d

e o

po

rtu

nid

ad

es

y

pre

ve

nc

ión

de

dis

cri

min

ac

ión

In te n s id a d A lta M e d ia M e d ia M e d ia

A p re c ia c ió n

Las medidas adopta­das tienen en cuenta este principio tales como personas en situaciones de dis­

criminación múltiple y grupos más vulnera­bles. Se tienen análi­

sis por tramos de edad y CC.AA. en las prioridades de inver­sión como así tam­bién en los objetivos específicos se obser­

van la inclusión de este principio.

Se manifiesta estar en coordinación con el Gobierno,

CC.AA, interlocutores sociales y otros

agentes interesados en la elaboración

y puesta en marcha del POEJ.

Losindicadores

estándiseñados en dirección a la condición de

desempleados e inactivos

más que por grupos

específicos, aunque queda

implícita la aplicación de este principio.

La elegibilidad de la financiación se hará en base al colectivo

beneficiario, es decir la edad de 15 a 24 años

con independencia de su naturaleza

(empleo, formación, educación

o inclusión social). Aunque la asignación financiera no aparece

explícitamente desglosada por grupos.

Fuente: Elaboración propia

Además, respecto a la cuestión del correcto uso del lenguaje, se observa analizando el POEJ, que es permisible concluir que la incorporación de la perspectiva de género se encuentra considerablemente integrada de forma transversal en la estrategia diseñada, mostrándose un correcto uso del lenguaje.

Adicionalmente, se puede hacer mención de otros principios que se tienen en cuenta en el POEJ tales como la innovación social y desarrollo sostenible.

En cuanto a innovación social el equipo de programación indica que procurará que en cada objetivo específico se pongan en marcha estrategias que faciliten la aplicación de soluciones innovadoras a los retos que afrontan las personas jóvenes “ninis”.

También se considera el principio de desarrollo sostenible a través del objetivo específico 8.2.2 donde hacen referencia a la mejora de aptitudes y competencias necesarias para cubrir las necesidades de mano de obra en sectores como la economía verde o las tecnologías de la información y las comuni­caciones desarrollando así conexión con el sector de telecomunicaciones y medioambiente.

Por lo que se refiere a la condicionalidad ex ante, cabe destacar el cumplimiento de esta en los temas relativos a lucha contra la discriminación, igualdad de género y protección de los derechos de las personas con discapacidad. También el desarrollo de un apartado específico sobre los principios horizontales con especificaciones de necesidades, medidas y cumplimiento de reglamentos que apor­ta el POEJ en el periodo de actuación.

Finalmente, siguiendo los estándares que la OCDE desarrolló con el fin de contribuir a establecer evaluaciones realizadas de acuerdo con los Principios de Evaluación de la Ayuda al Desarrollo del CAD (1991), y que se centran en la gestión e institucionalización de los sistemas de evaluación y configuran los criterios de referencia usados en las evaluaciones entre miembros del CAD, el equipo evaluador ha analizado los cinco criterios correspondientes a la lógica de la intervención haciendo uso de ellos, asignando como en el caso anterior 3 posibles valores: alta, media y baja.

— 36 —

Instituto de Estudios Fiscales

Criterios de evaluación Nivel de evaluabilidad

Pertinencia: Adecuación de los objetivos de la intervención a las necesidades, prioridades, prácticas y estratégicas, de mujeres y hombres y grupos vulnerables a discriminación

Alta

Eficacia: Relación de los objetivos del programa con los resultados pretendidos considerando los beneficios alcanzables por mujeres y hombres, y grupos vulnerables a discriminación, sin analizar los costes en los que se incurre para obtenerlos.

Alta

Eficiencia: Valoración si los resultados vinculados a la igualdad de género y no discriminación pueden ser logrados a un coste razo­nable y de si los beneficios tienen un coste equitativo y si puede ser asignados equitativamente.

Medio

Impacto: Contribución del programa a la política más amplia de igualdad de género y no discriminación, a los objetivos sectoriales de igualdad y al avance hacia la igualdad a largo plazo.

Medio

Sostenibilidad: Alcance de logros relevantes en materia de igual­dad de género y no discriminación que serán mantenidos después del período de financiación.

Medio

De esta manera, puede concluirse que el PO propone una estrategia de acción que tiene presente de forma adecuada la cuestión de género y también el relativo a la igualdad de oportunidades y preven­ción de la discriminación, lo que permite confirmar el completo cumplimiento de lo establecido por la normativa europea, siendo coherente con esta legislación y considerándose pertinente a la hora de reducir las desigualdades identificadas en el análisis de la situación socioeconómica en España.

Capítulo III. Indicadores, seguimiento y evaluación

El uso de indicadores para el seguimiento y la evaluación de los Fondos EIE8 ha existido desde los primeros períodos de programación, aunque es en el período 2014-2020 donde van a cobrar mayor importancia, debido al enfoque a resultados que la Comisión pretende conseguir a través de los Re­glamentos. Hasta ahora el seguimiento y la evaluación se hacían, fundamentalmente, a través de los indicadores ligados a la gestión de las actuaciones (indicadores operativos) y por ello se prestaba especial atención a las cuantías gastadas y productos desarrollados9, pero bajo la estrategia Europa

8 FEDER, FSE, FEADER, FEMP y Fondo de Cohesión, aunque de éste último España no recibirá financiación para el período 2014-2020.9 Los productos desarrollados varían en función del tipo de actuaciones que desarrollan cada uno de los Fondos EIE: perso­nas que reciben cursos de formación para mejorar su inserción en el mercado laboral, kilómetros de carreteras construidas,

— 37 —

2020 y el enfoque a resultados que se establece en el periodo 2014-2020, los indicadores que valo­ran los resultados de las actuaciones cobran especial importancia. Íntimamente relacionado con este hecho se encuentra la cuantificación de la efectividad de las acciones que se realizan, por lo que re­sulta imprescindible contar con una batería de indicadores que presenten toda aquella información relevante para la toma de decisiones, tanto en un entorno de gestión del programa como desde una óptica más estratégica.

En este sentido, la evaluación ex ante del Acuerdo de Asociación, ya contempla la importancia del enfoque a resultados, planteando una batería de 34 indicadores estratégicos, que se refieren a los grandes resultados que la intervención total de los Fondos EIE pretende conseguir.

El artículo 55 del RDC* 10, apartado3, letras c),g),j) yk) establece que la evaluación exante “valorará (c) la pertinencia y claridad de los indicadores del programa, (g) si los valores previstos cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE, (k) la idoneidad de los hitos seleccionados para el marco de rendimiento, y, finalmente, (j) la idoneidad de los proce­dimientos de seguimiento del programa y de recogida de datos necesarios para llevar a cabo evalua­ciones”. Por este motivo, en esta sección de la evaluación exante se tiene por objetivo asegurar el cumplimiento de dichos requisitos del RDC:

— Verificar las características teóricas de los indicadores propuestos, prestando especial atención a la pertinencia y la coherencia de los mismos.

— Estimar el nivel de realismo de la cuantificación realizada sobre las consecuciones del PO.

— Analizar los indicadores asociados al Marco de Rendimiento.

— Comprobar si existe la suficiente capacidad administrativa para recolectar información y realizar evaluaciones.

A continuación se desarrollan cada una de las secciones mencionadas.

3.1. Análisis Teórico del sistema de indicadores propuesto

Una vez que el equipo de programación ha establecido sus prioridades de intervención, que terminan por concretarse en actuaciones, es necesario medir la evolución de la parte operativa a través de indicadores de gestión o indicadores operativos, donde se pueden destacar, los indicadores financie­ros, ligados al gasto que se va realizando, y los indicadores de producto, que miden la cantidad que se va produciendo.

Sin lugar a dudas, lo mencionado previamente tiene una óptica de gestión. Para completar el segui­miento de una actuación pública, se deben cuantificar los resultados obtenidos a partir de su inter­vención, resultados que deben ser más concretos que los definidos en las estrategias iniciales. En esta fase se pueden distinguir dos tipos de indicadores, los indicadores de resultado y los de impacto, que buscan medir el resultado a más largo plazo que los primeros.

El uso de estos indicadores permite tener una visión clara y completa del desarrollo de la estrategia general y de las actuaciones concretas. Conocer bien las fases del desarrollo de un proyecto finan­ciado con fondos públicos es crucial para poder hacer un buen seguimiento a través del sistema de indicadores propuesto.

superficie agraria bajo proyectos de mejora de la calidad del suelo, proyectos que apoyan la innovación y competitividad de la pesca, número de patentes nuevas creadas, etc.10 Reglamento (UE) N° 1303/2013 del Parlamento Europeo y del Consejo de 17 de diciembre de 2013 por el que se estable­cen disposiciones comunes relativas al FEDER, FSE, Fondo de Cohesión, FEADER y al FEMP y por el que se deroga el Re­glamento (CE) Na 1083/2006 del Consejo.

— 38 —

Instituto de Estudios Fiscales

Gráfico 3.1.Identificación de las fases de un proyecto financiado con fondos públicos

Fuente: Elaboración propia

Además de una clasificación de los indicadores de acuerdo a la fase de la actuación pública analiza­da, también se puede plantear una clasificación en función de la obligatoriedad o no de los indicado- resexigida por la Comisión a través de los Reglamentos, habiendo indicadores que deben calcularse de manera obligatoria (indicadores comunes, según legislación del período 2014-20211) y otros que pueden ser específicos de cada programa (indicadores específicos). En este sentido, un indicador puede ser común y de producto, específico y de resultado, etc.

Finalmente, junto con el enfoque a resultados del nuevo período, otro de los aspectos clave para la evaluación y el seguimiento de los Fondos EIE es el Marco de Rendimiento, mecanismo por el cual la Comisión podrá llevar acabo correcciones financieras en caso de incumplimiento de los hitos inter­medios y metas finales establecidos por los responsables de cada Programa Operativo.

Los indicadores de producto y resultado empleados por el equipo de programación son los siguientes:

Tabla 3.1.Indicadores de Producto delos Ejes Prioritarios 1 y 5 del PO

Identificación Indicador Unidad de medida Fondo Categoría

de región Fuente de datosFrecuencia

de los informes

(P.8.2.1)Desempleados

incluidos de larga duración

Participantes FSETres

tipos de regiones

Estadística basada en históricos

Anualmente

(P.8.2.2)Personas inactivas

no integradas en los sistemas de

educación o formación

Participantes FSETres

tipos de regiones

Estadística basada en históricos

Anualmente

(P.8.2.3)Personas con

estudios de enseñanza primaria (CINE 1 ) o secundaria (CINE 2)

Participantes FSETres

tipos de regiones

Estadística basada en históricos

Anualmente

(P.8.7.1)

Número de proyectos dirigidos a las

administraciones públi­cas o a los

servicios públicos a nivel nacional, regional o local

Participantes FSETres

tipos de regiones

Estadística basada en históricos

Anuales

Fuente: Programa Operativo de Empleo Juvenil

11 Son los indicadores core del período 2007-2013.

— 39 —

Tabla 3.2.Indicadores de Producto del Eje de Asistencia Técnica del PO

Identificación Indicador Unidad de medida Fondo Categoría de región Fuente de datos

Frecuencia de los

informes

Actuaciones de

(A.P.1)preparación,

seguimiento y control del Programa

Operativo de Empleo Juvenil

N° deactuaciones

Tres tipos de regiones

Estadística basada en históricos

Anualmente

Numero de Estudios Tres tipos de regiones

Estadística basada en históricos

(A.P.2) y evaluaciones relacionadas con el Programa Operativo

N° de estudios Anualmente

(A.P.3)

Numero de campañas relacionadas con el Programa Operativo de Empleo Juvenil

N° de campañas

Tres tipos de regiones

Estadística basada en históricos

Anualmente

Fuente: Programa Operativo de Empleo Juvenil

Tabla 3.3.Indicadores de Resultado de los Ejes Prioritarios 1 y 5 del PO del PO

Identificación IndicadorCategoría

deRegión

Unidad de medida

paraindicador

Indicador de ejecución

comúnutilizado como base para la

fijación de un valor previsto

Fuente de datos

Frecuencia de los

informes

(8.2.1.1)

Participantes desempleados que

completan la intervención subvencionada por la Iniciativa de Empleo

Juvenil

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.1.2)

Participantes desempleados que

reciben una oferta de empleo, educación

continua, aprendizaje o período de prácticas tras

su participación

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.1.3)

Participantes desempleados que se

integran en los sistemas de educación o

formación, que obtienen una cualificación, o que

obtienen un empleo, incluido por cuenta

propia, tras su participación.

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(Sigue)

— 40 —

Instituto de Estudios Fiscales

(Continúa)

Identificación IndicadorCategoría

deRegión

Unidad de medida

para indica­dor

Indicador de ejecución

común utiliza­do como base para la fijación

de un valor previsto

Fuente de datos

Frecuencia de los

informes

(8.2.1.4)

Participantes inactivos y no integrados en los

sistemas de educación o formación que completan

la intervención subvencionada por la Iniciativa de Empleo

Juvenil

Tres tipos de región Participantes

personas inactivas no

integradas en los sistemas de

educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.1.5)

Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua,

aprendizaje o período de prácticas tras su

participación

Tres tipos de región Participantes

personas inactivas no

integradas en los sistemas de

educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.1.6)

Participantes inactivos y no integrados en los sistemas de educación

o formación que se integran en los sistemas

de educación o formación, que obtienen una cualificación, o que

obtienen un empleo, incluido por cuenta

propia, tras su participación.

Tres tipos de región Participantes

personas inactivas no

integradas en los sistemas de

educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.1.7)

Participantes en educación continua o

programas de formación que den lugar a una

cualificación, un aprendizaje o un período de prácticas en el plazo

de seis meses siguientes a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.1.8)Participantes empleados

en el plazo de seis meses siguientes a su

participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.1.1)

Participantes que trabajen como

autónomos en el plazo de seis meses siguientes

a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.2.2)

Participantes desempleados que

completan la intervención subvencionada por la Iniciativa de Empleo

Juvenil

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(Sigue)

— 41 —

(Continúa)

Identificación IndicadorCategoría

deRegión

Unidad de medida

para indica­dor

Indicador de ejecución

común utiliza­do como base para la fijación

de un valor previsto

Fuente de datos

Frecuencia de los

informes

(8.2.2.3)

Participantes desempleados que

reciben una oferta de empleo, educación

continua, aprendizaje o período de prácticas tras su participación

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.2.4)

Participantes desempleados que se

integran en los sistemas de educación o

formación, que obtienen una cualificación, o que

obtienen un empleo, incluido por cuenta

propia, tras su participación.

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.2.5)

Participantes inactivos y no integrados en los sistemas de educación

o formación que completan la intervención

subvencionada por la Iniciativa de Empleo

Juvenil

Tres tipos de región Participantes

personas inactivas no

integradas en los sistemas de

educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.2.S)

Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua,

aprendizaje o período de prácticas tras su

participación

Tres tipos de región Participantes

personas inactivas no

integradas en los sistemas de

educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.2.7)

Participantes inactivos y no integrados en los sistemas de educación

o formación que se integran en los sistemas

de educación o formación, que

obtienen una cualificación, o que

obtienen un empleo, incluido por cuenta

propia, tras su participación.

Tres tipos de región Participantes

personas inactivas no

integradas en los sistemas de

educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.2.8)

Participantes en educación continua o

programas de formación que den lugar a una

cualificación, un aprendizaje o un período de prácticas en el plazo

de seis meses siguientes a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(Sigue)

— 42 —

Instituto de Estudios Fiscales

(Continúa)

Identificación IndicadorCategoría

deRegión

Unidad de medida

para indica­dor

Indicador de ejecución

común utiliza­do como base para la fijación

de un valor previsto

Fuente de datos

Frecuencia de los

informes

(8.2.2.9)Participantes empleados

en el plazo de seis meses siguientes a su

participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.2.9)

Participantes que trabajen como

autónomos en el plazo de seis meses siguientes

a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.3.1)

Participantes desempleados que

completan la intervención subvencionada por la

Iniciativa de Empleo Juvenil

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.3.2)

Participantes desempleados que

reciben una oferta de empleo, educación

continua, aprendizaje o período de prácticas tras

su participación

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.3.3)

Participantes desempleados que se

integran en los sistemas de educación o

formación, que obtienen una cualificación, o que

obtienen un empleo, incluido por cuenta

propia, tras su participación.

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.3.4)

Participantes inactivos y no integrados en los sistemas de educación

o formación que completan la intervención

subvencionada por la Iniciativa de Empleo

Juvenil

Tres tipos de región Participantes

personas inactivas

no integradas en los sistemas de educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.3.5)

Participantes inactivos y no integrados en los

sistemas de educación o formación que reciben una oferta de empleo, educación continua,

aprendizaje o período de prácticas tras su

participación

Tres tipos de región Participantes

personas inactivas

no integradas en los sistemas de educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.3.6)

Participantes inactivos y no integrados en los sistemas de educación

o formación que se integran en los sistemas de

educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia,

tras su participación.

Tres tipos de región Participantes

personas inactivas

no integradas en los sistemas de educación o formación

Estadística basada

en históricosUn informe

al año

(Sigue)

— 43 —

(Continúa)

Identificación IndicadorCategoría

deRegión

Unidad de medida

para indica­dor

Indicador de ejecución

común utiliza­do como base para la fijación

de un valor previsto

Fuente de datos

Frecuencia de los

informes

(8.2.3.7)

Participantes en educación continua

o programas de formación que den lugar a una cualificación, un

aprendizaje o un período de prácticas en el plazo

de seis meses siguientes a su participación

Tres tipos de región Participantes Desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.3.8)Participantes empleados

en el plazo de seis meses siguientes a su

participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.3.9)

Participantes que trabajen como

autónomos en el plazo de seis meses siguientes

a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.4.1)

Participantes desempleados que

completan la intervención subvencionada por

la Iniciativa de Empleo Juvenil

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.4.2)

Participantes desempleados que

reciben una oferta de empleo, educación

continua, aprendizaje o período de prácticas tras su participación

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.4.3)

Participantes desempleados que se

integran en los sistemas de educación

o formación, que obtienen una

cualificación, o que obtienen un empleo,

incluido por cuenta propia ,tras su participación.

Tres tipos de región Participantes

desempleados incluidos de

larga duración

Estadística basada

en históricosUn informe

al año

(8.2.4.4)

Participantes inactivos y no integrados en los sistemas de educación

o formación que completan la intervención

subvencionada por la Iniciativa de Empleo

Juvenil

Tres tipos de región Participantes

personas inactivas

no integradas en los sistemas de educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.4.5)

Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de

empleo, educación continua, aprendizaje o

período de prácticas tras su participación

Tres tipos de región Participantes

personas inactivas

no integradas en los sistemas de educación o formación

Estadística basada

en históricosUn informe

al año

(Sigue)

— 44 —

Instituto de Estudios Fiscales

(Continúa)

Identificación IndicadorCategoría

deRegión

Unidad de medida

para indica­dor

Indicador de ejecución

común utiliza­do como base para la fijación

de un valor previsto

Fuente de datos

Frecuencia de los

informes

(8.2.4.6)

Participantes inactivos y no integrados en los sistemas de educación

o formación que se integran en los sistemas

de educación o formación, que

obtienen una cualificación ,o que obtienen un

empleo, incluido por cuenta propia, tras su participación.

Tres tipos de región Participantes

personas inactivas

no integradas en los sistemas de educación o formación

Estadística basada

en históricosUn informe

al año

(8.2.4.7)

Participantes en educación continua

o programas de formación que den lugar a una cualificación, un

aprendizaje o un período de prácticas en el plazo

de seis meses siguientes a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.4.8)Participantes empleados

en el plazo de seis meses siguientes a su

participación

Tres tipos de región Participantes Desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.2.4.9)

Participantes que trabajen como

autónomos en el plazo de seis meses siguientes

a su participación

Tres tipos de región Participantes desempleados

e inactivosEstadística

basada en históricos

Un informe al año

(8.7.1.1) Fases de desarrollo aplicativo informático

Tres tipos de región porcentaje

Número de proyectos

dirigidos a las administraciones

públicas o los servicios

públicos a nivel nacional,

regional o local

Estadística basada

en históricosUn informe

al año

Tabla 3.4.Indicadores de Resultado del Eje de Asistencia Técnica del PO

Identificación

Indicadorde ejecución común

Unidad utilizado como FrecuenciaIndicador . _ g .. de medida base para , de los Indicad°. de Región mddcddw b. f ^ ó n de datos indf! rli” “ cpara indicador la fijación informes

de un valor previsto

(A.1)

Porcentaje del gasto financiero de Estadísticaasistencia técnica Tres tipos Porcentaje basada Un informededicado a tareas de región financiero en al añode preparación, históricosejecución, segui­

miento y control

(Sigue)

— 45 —

(Continúa)

Identificación

Indicadorde ejecución común

Unidad utilizado como Frecuencia Indicador . _ g .. de medida base para , de los

de Región mddcddw b. fienCnón de datos indf! rlm“ c para indicador la fijación informesde un valor

previsto

(A.2)

(A.3)

Numero de estu­dios y evaluacio- Estadísticanes relacionados Tres tipos basada Un informe con el Programa N° de estudiosde región en al añoOperativo de históricosEmpleo Juvenil

publicados

Porcentaje de colectivo del

programaoperativo de Estadística opera wo e Tres tipos Porcentaje basada Un informe

Empleo Juvenil de región de ninis en al añoque conocen las históricosactuaciones cofi­nanciadas gracias

a las campañas

Fuente: Programa Operativo de Empleo Juvenil

Las propiedades teóricas que el equipo evaluador ha revisado para esta batería de indicadores, te­niendo en cuenta los requisitos reglamentarios han sido:

— Pertinencia: para ello, los indicadores deben reflejar el grado de cumplimiento de las operaciones y los objetivos al que pertenece el indicador, captando, por tanto, el impacto directo de aquel so­bre éste. Su valor debe de estar influenciado de manera directa y en la medida de lo posible por las acciones financiadas en la prioridad de inversión concreta.

— Coherencia: los indicadores son idóneos con respecto al resultado esperado para el que se han propuesto, logrando capturar su esencia.

— Claridad: los indicadores tienen un título claro y una definición inequívoca y fácil de entender. Es decir, deben de ser de fácil comprensión, libres de complejidades.

— Factibilidad: los indicadores deben ser construidos, en la medida de lo posible, en base a las es­tadísticas disponibles. Su medición no debe suponer una carga excesiva a los gestores de los Fondos.

Una vez definidas las diferentes propiedades teóricas para el sistema de indicadores del POEJ del FSE 2014-202, el equipo evaluador valorará si un determinado indicador cumple la propiedad plena­mente, la cumple moderadamente o no la cumple, tal y como se refleja en la tabla 3.5. Así, lo desea­ble es que los diferentes indicadores cumplan todas las propiedades, al menos, de manera moderada. En el caso de que alguna propiedad no se cumpla, el programador debería plantearse si ese indicador es bueno para el seguimiento de la actuación del Programa, y quizás sustituirse por otro.

Tabla 3.5.Leyenda para la comprobación de las propiedades deseables de los indicadores del POEJ

El indicador sí cumple la propiedad El indicador cumple moderadamente la propiedad El indicador no cumple la propiedad

X

Fuente: Elaboración propia

— 46 —

Instituto de Estudios Fiscales

Finalmente, y aplicando esta metodología, el equipo evaluador obtiene una serie de proporciones verticales que permiten hablar del porcentaje de indicadores que cumplen una determinada propie­dad, así como también se puede plantear el análisis en términos horizontales y analizar el cumpli­miento de diferentes propiedades por parte de un determinado indicador.

Las siguientes tablas (Tabla 3.6, Tabla 3.7, Tabla 3.8 y Tabla 3.9) recogen la evaluación de las pro­piedades teóricas, y continuación de cada una de ellas se destacan varios comentarios que comple­mentan la información presentada en las mismas.

Tabla 3.6.Evaluación propiedades teóricas de los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del PO

Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad

(P.8.2.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(P.8.2.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(P.8.2.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(P.8.7.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

Fuente: Elaboración propia

Para los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del POEJ, cabe destacar que el 100% de éstos cumplen las propiedades de pertinencia, coherencia y factibilidad, y sólo en el caso del indi­cador “desempleados incluidos de larga duración" el cumplimiento de la claridad del mismo se produ­ce de manera moderada. En este sentido, el equipo evaluador considera que el indicador podría cumplir esta propiedad en su totalidad si se refiriera a participantes jóvenes, tal y como se plantea bajo el enfoque del propio Programa Operativo, mejorando la claridad del mismo.

Tabla 3.7.Evaluación propiedades teóricas de los Indicadores de Producto del Eje de Asistencia Técnica del PO

Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad

(A.P.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(A.P.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(A.P.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

Fuente: Elaboración propia

En cuanto a los Indicadores de Producto para el Eje de Asistencia Técnica, el equipo evaluador verifi­ca que todos ellos cumplen con todas las propiedades exigidas en los requisitos reglamentarios sien­do, por lo tanto, adecuados para valorar el producto generado en lo que a este Eje se refiere.

Tabla 3.8.Evaluación propiedades teóricas de los Indicadores de Resultado

de los Ejes Prioritarios 1 y 5 del PO

Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad

(8.2.1.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(8.2.1.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(8.2.1.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(8.2.1.4) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

(Sigue)

— 47 —

(Continúa)Indicador

(identificación) Pertinencia Coherencia Claridad Factibilidad

(8.2.1.5) / / / / / / / / / / / /(8.2.1.6) / / / / / / / / / / / /(8.2.1.7) / / / / / / / / / / / /(8.2.1.8) / / / / / / / / / / / /(8.2.1.1) / / / / / / / / / / / /(8.2.2.2) / / / / / / / / / / / /(8.2.2.3) / / / / / / / / / / / /(8.2.2.4) / / / / / / / / / / / /(8.2.2.5) / / / / / / / / / / / /(8.2.2.S) / / / / / / / / / / / /(8.2.2.7) / / / / / / / / / / / /(8.2.2.8) / / / / / / / / / / / /(8.2.2.9) / / / / / / / / / / / /(8.2.2.9) / / / / / / / / / / / /(8.2.3.1) / / / / / / / / / / / /(8.2.3.2) / / / / / / / / / / / /(8.2.3.3) / / / / / / / / / / / /(8.2.3.4) / / / / / / / / / / / /(8.2.3.5) / / / / / / / / / / / /(8.2.3.S) / / / / / / / / / / / /(8.2.3.7) / / / / / / / / / / / /(8.2.3.8) / / / / / / / / / / / /(8.2.3.9) / / / / / / / / / / / /(8.2.4.1) / / / / / / / / / / / /(8.2.4.2) / / / / / / / / / / / /(8.2.4.3) / / / / / / / / / / / /(8.2.4.4) / / / / / / / / / / / /(8.2.4.5) / / / / / / / / / / / /(8.2.4.S) / / / / / / / / / / / /(8.2.4.7) / / / / / / / / / / / /(8.2.4.8) / / / / / / / / / / / /(8.2.4.9) / / / / / / / / / / / /(8.7.1.1) / / / / / / / / / / / /

Fuente: Elaboración propia

— 48 —

Instituto de Estudios Fiscales

Por otro lado, se verifica que el total de indicadores de resultado cumplen con las propiedades de pertinencia, coherencia, claridad y factibilidad.

Tabla 3.9.Evaluación propiedades teóricas de los Indicadores de Resultado del Eje de Asistencia Técnica del PO

Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad

(A.1) / / / / / / / / / / / /

(A.2) / / / / / / / / / / / /

(A.3) / / / / / / / / / / / /

Fuente: Elaboración propia

Lo mismo ocurre en relación a los Indicadores de Resultado del Eje de Asistencia Técnica, donde el equipo evaluador también considera que el conjunto de indicadores propuesto cumple, en su totali­dad, con las propiedades enunciadas.

Finalmente, cabe destacar que la evaluación en algunos casos de la definición de determinados indi­cadores es afirmativa hacia el programador, puesto que se han ceñido a los requisitos del RDC y el Reglamento del FSE, aunque, sin embargo, se detectan algunas objeciones que el equipo evaluador ha decidido contemplar en la presente evaluación:

Por ejemplo, si bien los indicadores de producto se ciñen al Reglamento, su definición resulta, en algunos casos, muy genérica, por lo que se recomienda una mayor especificación de éstos en rela­ción al colectivo de jóvenes. En cualquier caso, y dada la magnitud del sistema de indicadores, así como por motivos de simplificación, el equipo evaluador ha valorado positivamente la propiedad aso­ciada a estos indicadores.

Además, el equipo evaluador considera que algunos de los indicadores propuestos como indicadores de resultado, a nuestro entender, son indicadores de producto, ya que, por ejemplo, el hecho de haber participado en el POEJ no supone en sí un resultado. No obstante, también se ha evaluado que la propiedad correspondiente a estos indicadores se cumple totalmente puesto que los programado­res, en cualquier caso, han seguido los requisitos reglamentarios.

3.2. Análisis de los objetivos finales propuestos

La propiedad práctica que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios, ha sido la del realismo de los valores previstos cua lifica ­dos'2. Esta propiedad lo que pretende valorar es si los valores cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE. Este realismo ha de producirse tanto en los hitos propuestos por los Reglamentos como al final del período (metas).

3.2.1. Análisis de los hitos seleccionados para el Marco de Rendimiento

La información del Marco de Rendimiento para el POEJ se presenta en la siguiente tabla:

12 Artículo 55 del Reglamento (UE) N° 1303/2013, apartado 3, letra g).

— 49 —

Tabla 3.10.Marco de rendimiento por fondo y categoría de región

Ejeprioritario Fondo Categoría de región Indicador o etapa clave

de ejecuciónUnidad Hitos para 2018 Meta final (2023)

de medida, cuando proceda H M T H M T

Eje 1 (50) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - 60.129.711 - - 233.154.508

Eje 1 (50) FSE Más Desarrolladas Desempleados, incluidos los de larga duración N° participantes 25.818 21.299 47.118 100.112 82.588 182.700

Eje 1 (80) FSE MenosDesarrolladas Indicador Financiero Ayuda euros - - 8.864.482 - - 14.446.790

Eje 1 (80) FSE En transición Indicador Financiero Ayuda euros - - 39.659.505 - - 149.843.210

Eje 1 (80) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - 5.640.739 - - 24.593.082

Eje 1 (80)

Eje 1 (80)

Eje 1 (80)

FSE

FSE

FSE

MenosDesarrolladas

En transición

Más Desarrolladas

Desempleados, incluidos los de larga duración

Desempleados, incluidos los de larga duración

Desempleados, incluidos los de larga duración

N° participantes

N° participantes

N° participantes

240

7.362

2.154

196

7.366

2.162

436

14.728

4.315

391

27.814

9.390

319

27.832

9.426

710

55.646

18.815

Eje 1 (85) FSE En transición Indicador Financiero Ayuda euros - - 8.918.530 - - 28.535.850

Eje 1 (85) FSE En transición Desempleados, incluidos los de larga duración N° participantes 1.128 1.004 2.132 3.608 3.214 6.822

Eje 5 YEI No procede Indicador Financiero Ayuda euros - - 1.886.992.630 - - 1.886.992.630

Eje 5 YEI No procede Desempleados, incluidos los de larga duración N° participantes 476.050 413.845 889.895 476.050 413.845 889.895

Fuente: Programa Operativo de Empleo Juvenil

Instituto de Estudios Fiscales

Para la evaluación del realismo de los hitos y las metas establecidos para cada indicador del Marco de Rendimiento se hace uso de la tabla 3.11. A continuación de la misma, se destacan varios comen­tarios que complementan la información presentada en aquella.

Tabla 3.11.Evaluación del realismo de los hitos y metas del marco de rendimiento

Ejeprioritario Fondo Categoría

de regiónIndicador o etapa clave de ejecución

Unidad Hitos para 2018 Meta final (2023)de medida,

cuando proceda H M T H M T

Eje 1 (50) FSE MásDesarrolladas

IndicadorFinanciero Ayuda euros - - S Y S - - S Y S

Eje 1 (50) FSE MásDesarrolladas

Desempleados, incluidos los de larga duración

N° participantes S Y S S Y S

Eje 1 (80) FSE MenosDesarrolladas

IndicadorFinanciero Ayuda euros - - S Y S - - S Y S

Eje 1 (80) FSE En transición IndicadorFinanciero Ayuda euros - - S Y S - - S Y S

Eje 1 (80) FSE MásDesarrolladas

IndicadorFinanciero Ayuda euros - - S Y S - - S Y S

Eje 1 (80) FSE MenosDesarrolladas

Desempleados, incluidos los de larga duración

N° participantes S S S S S Y S S S S S S Y S

Eje 1 (80) FSE En transiciónDesempleados, incluidos los de larga duración

N° participantes S S S S S Y S S S S S S Y S

Eje 1 (80) FSE MásDesarrolladas

Desempleados, incluidos los de larga duración

N° participantes S S S S S Y S S S S S S Y S

Eje 1 (85) FSE En transición IndicadorFinanciero Ayuda euros - - S Y S - - S Y S

Eje 1 (85) FSE En transiciónDesempleados, incluidos los de larga duración

N° participantes S Y S S Y S

Eje 5 YEI No procede IndicadorFinanciero Ayuda euros - - S Y S - - S Y S

Eje 5 YEI No procedeDesempleados, incluidos los de larga duración

N° participantes S Y S S Y S

Fuente: Elaboración propia

En primer lugar, y teniendo en cuenta la información aportada por los programadores, el equipo eva­luador ha valorado positivamente, tanto para los hitos de 2018 como para las metas de 2023, la apli­cación de la metodología de costes medios utilizada por los programadores para el cálculo de los valores en dichos momentos. En líneas generales, la metodología consiste en estimar un coste medio del producto a partir de datos de períodos anteriores (en este caso del período 2007-2013) por regio­nes, y a partir de esos valores y de la asignación financiera para cada año del nuevo período, calcular cuántos productos se van a poder generar finalmente.

En segundo lugar, cabe destacar que el ritmo de las ejecuciones financieras es coherente con la evo­lución temporal del POEJ y, tal y como se puede comprobar en el capítulo relativo a la evaluación de la asignación financiera del Programa, el desarrollo de las mismas se produce de manera lineal a lo largo del tiempo, excepto en el caso de la Iniciativa de Empleo Juvenil donde la ejecución de los re­cursos se produce, en su totalidad, en los dos primeros años.

Por último, el equipo evaluador ha detectado, bajo la valoración del realismo de los hitos y metas diferenciando por género, que las previsiones se han hecho utilizando proporciones del período ante-

— 51 —

rior que no tienen por qué mantenerse en este nuevo período, ya que el mercado de trabajo y en es­pecial desde el lado de la oferta, ha visto durante el período de la crisis una evolución clara en térmi­nos de género y, por tanto, esos porcentajes podrían no mantenerse durante el nuevo periodo de programación. Dicho de otra manera; suponer que en 2014 el porcentaje de hombres frente al de mujeres que van a recibir, por ejemplo, un curso de capacitación es igual que en 2007 puede no ser del todo acertado, ya que la crisis ha tenido un impacto claro en la estructura del mercado de trabajo según el género.

3.3. Análisis de procedimiento de seguimiento del programa, procesos de recogida de datos y evaluación

A lo largo de la ejecución del Programa Operativo, se establece la necesidad de valorar el seguimien­to del mismo, así como evaluar su desarrollo para analizar su evolución en términos de eficiencia y consecución de los objetivos marcados. Los requisitos reglamentarios en lo que a todo lo anterior se refiere, quedan reflejados en el Título V del RDC, destacando el artículo 50 donde se plantea el deber de realizar, desde 2016 hasta 2023, un informe anual de ejecución que recoja los elementos clave para valorar la ejecución del mismo, tales como la evolución de los recursos financieros, los indicado­res comunes y específicos del programa y los valores previstos cuantificados, incluidos, en su caso, los cambios producidos en los valores de los indicadores de resultados, así como los hitos definidos en el marco de rendimiento desde el informe anual de aplicación que deberá presentarse en 2017.

Asimismo, y en relación a estos procesos de seguimiento y evaluación, es necesario contar con un sistema de recogida de información que sea capaz de dar soporte a las actuaciones que se van a desarrollar en el PO.

En este sentido, se valora positivamente el desarrollo del sistema de información para la aplicación de la Garantía Juvenil, cuyo objetivo final es garantizar que todos los jóvenes menores de 25 años pue­dan recibir una buena oferta de empleo, educación continua, formación de aprendiz o período de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados.

Llegado este punto, es necesario indicar que todos los países de la Unión Europea están elaborando actualmente planes nacionales de aplicación de la Garantía Juvenil y la Comisión facilita el intercambio de buenas prácticas entre gobiernos de manera que experiencias positivas, como la de Finlandia, puedan transmitirse a países donde el desempleo juvenil es especialmente preocupante13.

Para finalizar, además de destacar la creación de esta base de datos desde el punto de vista de los indicadores, también es destacable el efecto positivo que tiene por el lado de la gobernanza.

CAPÍTULO IV. ASIGNACIONES FINANCIERAS

Uno de los objetivos de la UE, que cobra especial importancia para el periodo de programación 2014­2020, es el buen aprovechamiento de los recursos con los que se financia política de cohesión que permitan conseguir los grandes resultados relativos al crecimiento inteligente, sostenible e integrador. Como se pone de manifiesto en el artículo 55.3 apartado c), la evaluación ex ante debe analizar la coherencia de la asignación de recursos presupuestarios con los objetivos del programa. Esta acción permitirá analizar la adecuada distribución de los recursos como un determinante claro para el logro de los objetivos indicados en la programación.

La evaluación de las asignaciones financieras del POEJ se centra en analizar principalmente que el reparto de los Fondos EIE debe estar en consonancia con la estrategia planteada en la que se han identificado las inversiones prioritarias a partir del diagnóstico.

13 El sistema finlandés ha permitido que los planes personalizados para jóvenes se hayan elaborado más rápidamente y, a la larga, se haya reducido el desempleo.

— 52 —

Instituto de Estudios Fiscales

4.1. Análisis de la distribución Financiera

En este apartado se valora la distribución de todos los flujos financieros acorde a los ejes prioritarios y en función de los tipos de región que se contemplan en el programa operativo y en el Reglamento FSE14. Según el apartado de justificación financiera del propio Programa Operativo tiene una dotación a coste total de 2.826.330.836euros, pudiéndose observar también la asignación por región y eje.Lamentablemente, la información suministrada por parte del equipo de programación en el POEJ no se encuentra desagregada suficientemente como para poder realizar un análisis con mucha mayor riqueza. En el caso de haber podido disponer de información a nivel de Objetivo Específico, y no por Prioridad de Inversión, se hubieran podido realizar un conjunto de valoraciones mucho más enrique- cedoras.No obstante, partiendo de la información suministrada por la UAFSE con un grado de desagregación “Eje prioritario / Prioridad de inversión / Tipo de región” el equipo evaluador establece que es conside­rable la cuantía, que del total del programa representa lo destinado a la Iniciativa de Empleo Joven, recogida en el Eje prioritario 5 mediante la PI 8.2 y que tiene la mayor asignación, ya que supone un 72.7% del total del programa. Lo que permite asegurar que este programa conserva una coherencia financiera con la estrategia planteada y los hitos que persigue el Fondo Social Europeo para el perío­do 2014-2020.Por otro lado, aunque la PI 8.2 está más que cubierta en el Eje 5, esta prioridad vuelve a recibir asig­naciones monetarias bajo el Eje 1, destinadas fundamentalmente a aquellas acciones realizadas so­bre la población de ninis que son indirectas, o a actuaciones que se realizarán más allá del periodo de vigencia de la Iniciativa de Empleo Joven. Además, este Eje cubre la prioridad de inversión 8.7 y aquí son las regiones más desarrolladas las que cobran una importancia financiera relevante, ya que su­ponen el 16% de toda la distribución del flujo monetario.Para llegar a estos resultados, se ha utilizado la información recogida en las diversas tablas que pre­senta el POEJ para la distribución de ayuda o subvención de la Unión y en coste total subvenciona- ble, estableciendo así la relación porcentual con el total, cada Eje Prioritario y las Prioridades de Inversión.En esta misma línea, y con el fin de observar la distribución financiera acorde a la estrategia contem­plada por POEJ y su correspondencia con las recomendaciones del Consejo Europeo y los retos se­ñalados por el “Position Paper de la Comisión Europea y la Estrategia UE 2020”, el equipo evaluador propone analizar la estructura del desempleo por tipo de región, que se definen en el Reglamento de Disposiciones Comunes N° 1303/2013 artículo 90.La información estadística de las tasas de desempleo se ha obtenido de la Encuesta de Población Activa, elaborada por el Instituto Nacional de Estadística, INE. Para el primer trimestre de 2014, este sólo ofrece la información del número de jóvenes parados y activos de entre 16 a 24 años y hasta 35 años, siendo imposible la desagregación de los datos para el rango contemplado en el POEJ de jóve­nes que no estudian, ni trabajan entre 15 a 29 años. Aún así se han recogido lo datos en la siguiente tabla:

14 Reglamento N° 1304/2013 relativo al Fondo Social Europeo.

— 53 —

Tabla 4.1.Jóvenes parados y activos menores de 35 años por tipo de región

Fuente: Elaboración propia a partir de los datos del Instituto Nacional de Estadística de España, Encuesta de Población Activa, I trimestre de 2014.

Regiones

Menosdesarrollada Transitoria Más desarrolladas

Extre

mad

ura

Anda

lucí

a

Cana

rias

Casti

lla L

a-

Man

cha

Meli

lla

Regió

n de

M

urcia

Arag

ón

Princ

ipado

de

Astu

rias

Islas

Bale

a­re

s

Cant

abria

Casti

lla

y Le

ón

Cata

luña

Com

unid

adVa

lenc

iana

Galic

ia

Com

unid

ad

de M

adrid

Com

unid

adFo

ral

de N

avar

ra

País

Vasc

o

La R

ioja

Ceut

a

Menores de 35 años

Totalparados 16-34 63,7 574,6 141,6 137,4 3,9 77,0 63,7 43,8 61,1 24,3 98,1 352,4 282,7 119,5 294,0 26,5 72,0 10,6 5,8

Total activos 16-34 165 1345,2 345,6 336,2 11 234 191,9 132,6 187,3 75 314,9 1167,5 742,1 368,6 1011,7 88 268,4 43,6 12,0Tasa

desempleo 16-34 38,61% 42,7 40,9 40,8 35,4 32,91 33,19 33,0 32,6 32,4 31,1 30,1 38,1 32,4 29,0 30,1 26,8 24,3 48,3

Menores de 25 años

Totalparados 16-24 20,7 202 46,9 49,9 1,1 24,8 21,9 11,5 19,6 6,0 31,1 143,0 111,2 35,0 117,3 9,4 23,2 5,0 2,0

Total activos 16-24 38,2 322,5 85,9 79,2 2,3 52,8 40,3 24,1 36,9 12,1 62,6 288,7 177,4 70,8 216,9 18,7 46,3 9,9 3,1Tasa

desempleo 16-24 54,19% 62,6 54,6 63,0 47,8 46,9 54,3 47,7 53,1 49,5 49,6 49,5 62,6 49,4 54,0 50,2 50,1 50,5 64,5

Instituto de Estudios Fiscales

Agregando la información contenida aquí por el tipo de Región del nivel NUTS 2, se ha elaborado las dos siguientes Tablas:

Tabla 4.2.Agregación de Jóvenes parados y activos menores. Menores 25 años

Menores de 25 añosMenos des­

arrollada En transición Más desarro­lladas

Total parados16-24años 20,70 324,7 536,2

Total activos16-24años 38,20 542,7 1.007,8

Tasa desempleo por región

16-24años 54,19% 59,83% 53,21%

Tabla 4.3.Agregación de Jóvenes parados y activos menores. Menores 35 años

Menores de 35 añosMenos des­

arrollada En transición Más desarrolla­das

Total parados 16-34 años 63,70 934,50 1.454,5

Total activos 16-34 años 165,00 2.272,00 4.603,6

Tasa desempleo por región 16-34 años 38,61% 41,13% 31,59%

Fuente: Elaboración propia a partir de los datos del Instituto Nacional de Estadística de Es­paña, Encuesta de Población Activa, I trimestre de 2014.

La metodología de cálculo para elaboración de la tasa de desempleo para menores de 35 y 25 años agre­gada ha sido relativamente sencilla puesto que se han sumado los valores de cada Comunidad Autónoma según el tipo de región y el rango de edad, en cada tipo de situación laboral y se han dividido entre sí, consiguiendo el total de parados entre los activos totales en cada región, correspondientemente.

El objetivo principal de la observación de la tasa de desempleo por regiones es establecer si hay una clara correlación entre ésta y la dotación financiera, puesto que supone una importante característica a la hora de evaluar la coherencia financiera y el reparto entre las regiones. El equipo evaluador no ha logrado encontrar una distribución financiera evidente relacionada al peso de los desempleados jóvenes (teniendo en cuenta la distorsión por edad de los datos recogidos15) y sí ha conseguidoobte- ner que la distribución no se aleja mucho de la realidad de los datos, observando valores similares para jóvenes entre 16 y 34 años, puede verse un reparto más lógico.

Sin embargo, es destacable que aunque la objetividad del reparto a través de este sistema puede ser muy eficiente y coherente, no es en realidad una metodología recomendable para que se haya pro­gramado teniéndola en cuenta así; teniendo en cuenta que los datos presentan como inconveniente el que no comprenden la totalidad de población objetivo que tiene el POEJ, los jóvenes de 15 a 29 años, explícitamente. Ante este problema proveniente de la información se da como positiva la distri­bución financiera que establece el programa.

Finalmente indicar que el equipo evaluador también ha tenido en cuenta que la clasificación de las Comunidades Autónomas no es uniforme por tipo de región, por lo que en caso de dos tipos de re­giones distintas con una tasa parecida de desempleo juvenil puede suponer la exhibición de un pro­blema en términos de programación, que puede ser solventado teniendo en cuenta más criterios que permitan un reparto más equitativo y coherente, de tal manera que resultaría muy recomendable que

15 La población objetivo del POEJ son jóvenes entre 15-29 años, los datos del INE no recogen esta muestra específicamente.

— 55 —

estos criterios se tuvieran presentes a la hora de establecer la asignación y ejecución dentro de cada tipo de región vista la disparidad de los datos en cada Comunidad Autónoma.

4.2. Coherencia de las asignaciones financieras en función de las debilidades

La esencia de cualquier PO viene dada por la adecuada distribución de recursos financieros a una estrategia clara y previamente identificada, de manera que de acuerdo al Artículo 55,3,c), la evalua­ción ex ante valorará “la coherencia de la asignación de recursos presupuestarios con los objetivos del programa”. Por lo tanto, se pretende comprobar si el presupuesto que se asigna a cada eje hará posible la consecución de los objetivos; es decir, si los ejes que resultaban más adecuados para atender los objetivos principales en la estrategia, resultan ser los que reciben más recursos.

Por lo tanto, en esta apartado de la evaluación ex-ante se valora la coherencia entre las asignaciones de recursos presupuestarios y las prioridades establecidas en la estrategia. En concreto, se examina si las asignaciones financieras se concentran en los objetivos más importantes en consonancia con los desafíos y las necesidades identificadas para el país. Para ello se ha procedido a crear un gráfico donde se relacio­nan las prioridades detectadas en términos de Ejes y la asignación financiera que estos reciben.

A partir del DAFO proporcionado por el equipo de programación, se determinó un cierto orden de importancia16 para cada uno de los Ejes Prioritarios. La figura mostrada a continuación ofrece el aná­lisis de coherencia, y para la correcta interpretación del gráfico se debe tener en cuenta por un lado que el eje vertical de la figura mide para cada Eje Prioritario, su importancia estratégica dentro de la DAFO del POEJ, y por otro, que el volumen de cada esfera representa el porcentaje de financiación que recibe del presupuesto total. Lo deseable en términos de coherencia en las asignaciones finan­cieras, es que las esferas más voluminosas se encuentren situadas en la parte superior del gráfico, indicando de esta manera que se ha dotado en mayor medida a los OE más estratégicos.

Figura 4.4:Importancia estratégica de los Ejes Prioritarios del POEJ y la participación en la asignación financiera

Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020.

El análisis conjunto de esta priorización y de los recursos económicos destinados a cada uno de ellos, permite señalar que, en términos generales, hay una buena consistencia entre las asignaciones fi­nancieras y el carácter estratégico de cada Eje Prioritario del POEJ.

Por tanto, se puede demostrar cómo el Eje 5, es la parte principal del programa operativo y recoge la mayor dotación para combatir el principal problema que articula toda la estrategia del mismo, el des­empleo juvenil. Seguido del Eje 1, cuyos objetivos específicos persiguen medidas para preparar el

16 Los criterios fundamentales para adjudicar este grado de importancia han sido el nivel de disparidades estructurales respec­to a la UE (Zona Euro) y el aumento de las mismas por el impacto de la crisis.

— 56 —

Instituto de Estudios Fiscales

espacio y la capacidad técnica de las administraciones para las acciones directas sobre los jóvenes desempleados o “nini”, se podría decir, que son medidas enfocadas en “preparar el terreno” a las más enfocadas en la estrategia.

En último lugar, indicar que la mínima importancia del Eje 8 es debido a que son todo medidas pro­pias de la Asistencia Técnica. Teniendo en cuenta todos estos resultados, se puede confirmar que el programa salvaguarda una buena distribución respecto a la coherencia financiera del gasto.

4.3. Coherencia de las asignaciones financieras: Análisis según Amenazas

Habitualmente, el análisis de posibles riesgos de ejecución financiera se suele realizar con el objeto de identi­ficar actuaciones que pueden ofrecer una mayor complejidad para su correcta ejecución. Para ello, el modo más habitual consiste en valorar aquellas actuaciones que, dada su similitud con la programación 2007­2013, tuvieron problemas de capacidad de absorción financiera o de otro tipo. El objetivo es poder identificar­las prioridades sobre las que habrá de establecer un cuidado particular en su seguimiento.

Para el análisis de las amenazas y riesgos financieros, el equipo evaluador ha considerado dos tipos de valoraciones distintas: por un lado se analiza cómo el PO ataca las principales debilidades detec­tadas, y por otra parte, observando los problemas existentes en la absorción en el periodo anterior, se analiza la evolución temporal de gasto propuesta en el periodo 2014-2020.

Comenzamos con el primer tipo de valoración, que analiza cómo el programa ataca a las principales debili­dades del programa operativo, a través de la distribución del gasto por Eje, Prioridad y Objetivo Específico.

Para poder contrastar la coherencia en la distribución de toda la dotación, según el programa, se analizan los porcentajes sobre el coste total por Eje prioritario, ya que no se puede desagregar por cada Objetivo Especí­fico, puesto que el Programa Operativo no recoge la distribución a este nivel. Así de esta manera, se cruzan los Objetivos específicos relacionados con una característica principal común a diversas debilidades, de manera que permita agregar cada debilidad según el problema principal que demuestre.

Acorde al reparto por E.P., se establece la relación que tienen a través de las Prioridades de inver­sión, y a su vez las medidas que tienen cada una de ellas, para afrontar las debilidades que se plan­tean. Este cruce de debilidades y Objetivos, permite obtener el porcentaje que se destina a cada característica principal y por tanto, a diversas debilidades.

Para simplificar el análisis de la siguiente tabla, las distintas debilidades mostradas en el DAFO del PO se han agregado por características comunes (columna 2 de la tabla), de tal forma que los resul­tados obtenidos son los mostrados a continuación:

Tabla 4.4.Coherencia de las asignaciones financiera a partir de las debilidades

del análisis DAFO y los objetivos específicos

Característica

Objetivos específicos relacionados

Objetivosespecíficos

relacionadosEjes

Relacionados

% deasignación

del eje sobre el

total

Debilidades principal de la debilidad 8.2.1 8.2.2 8.2.3 8.2.4 8.7.1

D1.Desempleo

X 8.2.4 Eje 5 73%

D5. X 8.2.4 Eje 5 73%

D2 Destrucción X 8.2.4 Eje 5 73%

D3. de empleo X 8.2.4 Eje 5 73%

(Sigue)

— 57 —

(Continúa)

DebilidadesCaracterística

principal de la debilidad

Objetivos específicos relacionados

Objetivosespecíficos

relacionadosEjes

Relacionados

% deasignación

del eje sobre el total8.2.1 8.2.2 8.2.3 8.2.4 8.7.1

D4. X 8.7.1 Eje5/Eje1 73%+26%Incentivo al

D10. trabajador X X X 8.2.1/8.2.2/ 8.7.1 Eje5/Eje1 73%+26%

D12. X X 8.2.1/ 8.2.3 Eje 5 73%+26%

D6. X 8.2.2 Eje 5 73%

D7. Formación- X 8.2.2 Eje 5 73%

D8. Capital X 8.2.2 Eje 5 73%

D9.Humano

X X 8.2.2/ 8.7.1 Eje5/Eje1 73%+26%

D11. X X 8.2.2 /8.7.1 Eje5/Eje1 73%+26%

Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020.

Como muestra la tabla, varias debilidades reciben el 99% de la financiación, principalmente las cubiertas por el Objetivo específico 8.2.4, que ataca principalmente las amenazas sobre el desempleo juvenil, la empleabilidad de población “nini” y de larga duración y la destrucción actual de puestos de trabajo.Es resaltable la sinergia entre los Ejes 5 y 1, dado que atacan las debilidades propias del sistema educativo y formativo, las condiciones laborales, empleo y emprendimiento para la población menor de 25 años, con gran cantidad de iniciativas que incentivan la formación y el autoempleo juvenil.Por lo que se refiere a la distribución temporal de los flujos financieros, de acuerdo a la información recogida en el Plan de Financiación del Programa Operativo, el reparto a lo largo del periodo de toda la ayuda se hará de una manera diferenciada para la Iniciativa de Empleo Juvenil IEJ, IEJ-FSE y el resto de la ayuda FSE.

EL programa establece que para todas las medidas de la IEJ y IEJ-FSE se realizará en el bienio 2014-2015, siguiendo la normativa de la IEJ y persiguiendo la prioridad de inversión 8.2, actuando con su correspondiente N+3, con medidas directas sobre la población objetivo del programa.

Atendiendo a esto, se ha podido elaborar el siguiente gráfico para mostrar la distribución del gasto en las diferentes regiones cada año entre el periodo 2014-2020.

Figura 4.2:Evolución temporal de la asignación financiera.

Distribuciónacumulada relativa (izquierda) y en valores absolutos (derecha)

Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020.

— 58 —

Instituto de Estudios Fiscales

De acuerdo al diseño de la IEJ, la evolución temporal muestra que debe estar plenamente implemen- tada en los dos primeros años ya que persigue un impacto decisivo que pretende poner freno al paro Juvenil y la situación de los “ninis” en España. Por lo que se refiere al resto de acciones, se observa que, a diferencia de la IEJ, que a partir de los dos primeros años desaparece, la tendencia a lo largo del tiempo es constante, pero en valores mucho menores que los observados en la IEJ.

Como recomendación por parte del equipo evaluador, observando la posible aparición de riesgos de absorción financiera por lo que respecta a la IEJ, es necesario reducir en lo posible todas las restric­ciones, administrativas o de cualquier tipo, que garanticen los niveles de ejecución financiera pro­puestos por parte del equipo de programación.

CAPÍTULO V. GOBERNANZA

5.1. Introducción

El art. 5 del Reglamento de Disposiciones Comunes establece que para el desarrollo de los Programa Operativos, se debe organizar una asociación con las autoridades regionales, locales y urbanas y otras autoridades públicas competentes, los interlocutores económicos y sociales y los organismos que representen a la sociedad civil17. Esta asociación debe estar presente no sólo en la preparación inicial de los programas sino durante su ejecución, seguimiento y evaluación. El reglamento hace mención también a las nuevas medidas para el periodo 2014-2020 que buscan la máxima eficiencia en la intervención de los Fondos EIE, tales son: la concentración de recursos, la reducción de cargas administrativas y la simplificación, la proporcionalidad en las asignaciones financieras, la descentrali­zación y la incorporación de agentes privados al tramo nacional, y el uso de instrumentos financieros que consigan un efecto multiplicador de las acciones planificadas.

El equipo evaluador se dedicó a verificar el cumplimiento de todos estos principios que durante los trabajos de elaboración del POEJ se han venido desarrollando así como también de los preceptos enunciados en el Código de Conducta del Partenariado.

La metodología empleada ha sido la observación del modelo de gestión desarrollado en el POEJ, los recursos humanos asignados para desarrollar su labor y el análisis y verificación de los mecanismos de comunicación con otros agentes sociales, grupos de interés, organismo intermedios, etc., existen­tes en el proceso de programación del POEJ por lo que se presenta un cuadro resumen del análisis de cumplimiento de los principios de "Buen Gobierno" del Libro Blanco de la Gobernanza europea.

Como resultado, el equipo evaluador concluye que los principios de Gobernanza se cumplen y están presentes en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo.

5.2. Evaluación de la Gobernanza: Análisis de buenas prácticas

En esta sección se pretende valorar los cambios propuestos por la Comisión que afectan al diseño y la ejecución de la Política de Cohesión 2014-2020, y por ende al modelo de gestión y desarrollo del POEJ. Entre los cambios esenciales se pueden destacar:

— La concentración de recursos y la simplificación, para que España simplifique el modelo actual de gestión al reducir el número de programas operativos y organismos intermedios,

— La descentralización, con el fin de conseguir un modelo de gestión más distribuido, con mayor protagonismo de las regiones,

— Eficiencia en la gestión, mediante la implantación de soluciones de e-Gobierno,

17 Incluidos los interlocutores medioambientales, las organizaciones no gubernamentales y los organismos encargados de promover la igualdad y la no discriminación.

— 59 —

— Reducción de cargas y mejora de la capacidad administrativa,

— La posibilidad de incorporar agentes privados en la aportación del tramo nacional y

— Mayor uso de instrumentos financieros para facilitar las inversiones y compensar el ajuste presu­puestario de las Administraciones.

Los Reglamentos establecen que las regiones más desarrolladas o en transición están obligadas a incorporar el principio de concentración en su programación. En España, para el periodo 2014-2020, todas las regiones, salvo Extremadura, se sitúan entre las regiones más desarrolladas o en transición. En el caso del FSE, el principal reto es la lucha contra el desempleo, especialmente el desempleo juvenil, con el apoyo de la Iniciativa de Empleo Juvenil que tiene una dotación de 2.000 millones de euros. En este punto también resulta conveniente destacar que el concepto de concentración también se aplica en este PO en términos temporales. El Eje Prioritario 5, asociado a acciones directas sobre jóvenes ninis, se debe desarrollar en los dos primeros años del periodo de programación, es decir años 2014 y 2015 (con un N+3) lo que obligará sin lugar a dudas, a realizar un esfuerzo de concen­tración de actuaciones en un periodo de corto de tiempo.

Por lo que se refiere a la reducción de cargas administrativas, el artículo 55,3 párrafo n) establece que la evaluación ex ante deberá “valorar las medidas previstas para reducir la carga administrativa a los beneficiarios”. Analizando el documento remitido por el equipo de programación, la sección 10 (apartado 5) del mismo describe todo un catálogo de medidas que se están llevando a cabo, o se implantarán, dentro de la UAFSE para la reducción de cargas administrativas y la simplificación de la gestión del Fondo Social, que implicara a su vez una reducción de los correspondientes costes admi­nistrativos en relación con la ejecución de los mismos (así como la reducción del número de organis­mos intermedios).

A pesar del trabajo que se está realizando, el equipo evaluador considera que este es uno de los elementos claves en los que se debe intensificar los esfuerzos, ya que debido a la propia arquitectura institucional española, con múltiples niveles de gobierno y un elevado índice de descentralización y desconcentración, harán que estos mecanismos no sean fáciles de implementar.

Otros de los criterios a tomar en cuenta en la programación es la participación de los agentes privados en el tramo nacional. Analizando el plan de financiación ofrecido por el equipo de programación se observa que se han tomado en consideración esta posibilidad con una participación en la financiación del PO por parte de agentes privados nacionales de 13 millones de euros. Cantidad, que al compararla con el resto de montos resulta testimonial, aunque desde el equipo evaluador se valora muy positivamente la inclusión del sector privado en la financiación y promovemos que se continúe en esta línea.

La utilización de los instrumentos financieros obtienen una gran relevancia en el período 2014-2020 y como se menciona en el Acuerdo de Asociación, España hará uso de ellos en el próximo período de programación, aprovechando la experiencia acumulada en el período 2007-2013 a través de entida­des como el Instituto de Crédito Oficial (ICO) o el Centro de Desarrollo Tecnológico Industrial (CDTI) en la Administración central, así como por parte de varias CCAA y esto se puede aplicar también para el caso concreto del POEJ.

Por lo que se concluye que el principio de proporcionalidad, reducción de cargas administrativas, la participación de los agentes privados y la utilización de instrumentos financieros se encuentran pre­sente en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asig­naciones financieras, así como en la estrategia a desarrollarse en todo el periodo.

5.3. Evaluación de los RR.HH. y de la capacidad administrativa

Teniendo en cuenta el gran volumen de financiación, que implicarán un gran número de acciones, es necesario garantizar que la administración pública tenga suficiente estructura administrativa que per­mita facilitar, controlar y evaluar todas las actividades que se realizarán. Esta cuestión de la capaci­dad administrativa es de especial relevancia en este PO, ya que en 2 años debe realizar una implementación masiva de la Iniciativa de Empleo Joven, compuesta por 2,000 millones de euros. Finalmente, el artículo 55, 3) párrafo i) establece que la evaluación ex ante deberá “valorar la adecua-

— 60 —

Instituto de Estudios Fiscales

ción de los recursos humanos y de la capacidad administrativa para la gestión del programa”. Por estos motivos, este apartado se dedica a analizar esta característica operativa referente a recursos de la administración del estado.Para poder valorar de manera correcta los recursos disponibles, es de gran interés conocer el volu­men de acciones que tienen que soportar estas estructuras en donde la contribuyen en la elaboración y el desarrollo del POEJ aportaciones de los organismos intermedios, públicos o privados.En términos organizacionales, las tareas principales que han de desarrollarse en el FSE y por tanto en el desarrollo del POEJ son las de programación, gestión, certificación y pagos, evaluación, auditor­ía y difusión.La descripción de estas funciones es común a los demás programas operativos y pueden consultarse en detalle en la evaluación ex ante del Acuerdo de Asociación, por lo que sólo es necesario recalcar la importancia del cumplimiento de los principios de gobernanza en todas las etapas ya que es un elemento primordial para el buen desarrollo del POEJ.Por tanto, a este respecto el equipo evaluador detecta que los recursos humanos que pueden desti­narse al desarrollo de la programación del período 2014-2020 en general, son correctos, aunque no abundantes, por lo que se recomendaría incrementar la plantilla en lo posible, con el objeto de mejo­rar la eficacia y calidad de todas aquellas obligaciones que tienen establecidas. La heterogeneidad está presente en sus asignaciones ya que los recursos humanos asignados a sus labores propias no siempre tienen dedicación exclusiva. Además debe tenerse en cuenta que algunas de las tareas que han de desarrollarse, son llevadas a cabo a partir de Organismos Intermedios y Asistencias Técnicas.

5.4. Comunicación y coordinación. La aplicación del principio de partenariado

Para ello el equipo evaluador responde a las preguntas: ¿quién ha participado? (descripción de los participantes), ¿cuándo? (a través de las reuniones que han celebrado) y ¿cómo?, identificando las conexiones entre los agentes involucrados

Tabla 5.1.Esquema de la evaluación del partenariado para el POEJ

— 61 —

— Consejo de la Juventud de España— Organizaciones empresariales: CEOE y CEPYME— Organizaciones sindicales: UGT y CC.OO— Asociaciones representativas de la Economía Social y del trabajo

autónomo— Cámaras de comercio

¿Quién ha participado?Lista de los

partners consultados:

— Asociaciones de jóvenes empresarios como CEAJE— CC.AA y ciudades autónomas de España— Ministerio de Educación, Cultura y Deporte.— Banco Europeo de Inversiones;— Centro Superior de Investigaciones Científicas;— Instituto de la Juventud;— Consejo Superior de Cámaras de Comercio;— Fundación Secretariado Gitano, Cruz Roja, Fundación ONCE y Cáritas;— Fundación Incyde;— Instituto de Comercio Exterior;— Confederación Española de Centros de Enseñanza;— Red de Fundaciones Universidad Empresa.— Dirección General del Trabajo Autónomo,— Economía Social y la Responsabilidad Social de las Empresas

(DGSTAYRSE)

— Interlocutores sociales en España

— Organizaciones no gubernamentales: Cruz Roja; Fundación ONCE; Cáritas y Secretariado Gitano.

— Grupo Permanente de Trabajo de la Red de políticas de Igualdad: Organismos de igualdad de Murcia y La Rioja y del Instituto de la Mujer

— Subdirección General de Igualdad de Trato y no Discriminación del Ministerio de Sanidad, Servicios Sociales e Igualdad.

— Principales organizaciones ecologistas: WWF y Seo Birdlife

— Instituto de Estudios Fiscales

— 16 de abril de 2013, 7 de mayo de 2013 y 14 de octubre de 2013: Reuniones con las CC.AA

— 13 de marzo de 2014 y 30 de abril: Reuniones bilaterales con todas las comunidades autónomas relativas a la programación 2014-2020 y al Programa Operativo de Empleo Juvenil.

¿Cuándo?Principales reuniones que han

tenido lugar en las que participaron los agentes

en el proceso de elaboración del POEJ

—

—

—

18 de diciembre de 2013: Conferencia Sectorial de Empleo y Asuntos Laborales

19 de diciembre de 2013: Plan Nacional de Implantación de la Garantía Juvenil presentado a la Comisión Europea

24 de marzo y 28 de abril de 2014:Reuniones del grupo de trabajo.

— 5 de febrero de 2014: Reunión con los principales organizaciones ecologistas

— 27 de febrero de 2014: Grupo Permanente de Trabajo de la Red de políticas de Igualdad

— Reuniones de carácter periódico con la mayoría de las entidades.

¿Cómo?

— Por un lado, en la programación se ha aplicado el principio de parte- nariado a través de reuniones de la UAFSE con los partners especifi­cados arriba y propios del desarrollo del POEJ y, por otro, en la fase de evaluación, a través de reuniones de la UAFSE con el Instituto de Estudios Fiscales, encargado de elaborar la evaluación ex ante del Programa Operativo de Empleo Juvenil.

Fuente: Elaboración propia

5.5. Resumen de evaluación de Gobernanza

Por último, y a modo de resumen, se presenta un cuadro con las características de la intervención del POEJ evaluando el cumplimiento de los principios de “Buen Gobierno” siguiendo las líneas del Libro Blanco de la Gobernanza europea antes mencionadas.

Tabla 5.2.Evaluación de propiedades de la buena gobernanza

C a ra c te r ís t ic a s N iv e l d e e v a lu a b ilid a d

Apertura: La intervención del POEJ impone a las instituciones trabajar de forma más abierta, presenta una comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza Alta

de los ciudadanos en la institución.

(Sigue)

— 62 —

Instituto de Estudios Fiscales

(Continúa)

Características Nivel de evaluabilidad

Participación: Se entiende que la calidad, la pertinencia y la eficacia de la intervención exigen una amplia participación

ciudadana tanto en la fase de formulación como de implementación y evaluación.

Alta

Responsabilidad: El POEJ exige la clarificación del papel de cada una de las instituciones que intervienen en la toma de decisiones. Alta

Eficacia: El POEJ requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros,

de una evaluación de su futuro impacto y en su caso de la experiencia acumulada.

Alta

Coherencia: El POEJ exige que acciones sean coherentes y fácilmente comprensibles. Alta

Fuente: Elaboración propia

CAPÍTULO VI. PRINCIPALES CONCLUSIONES DE LA EVALUACIÓN EX ANTE DEL POEJ

6.1. Introducción

En este apartado se presentan las principales conclusiones y recomendaciones planteadas por parte del equipo evaluador con el fin de mejorar la calidad del Programa Operativo de Empleo Juvenil, que se ha elaborado en paralelo con éste y que recoge información detallada de todo el proceso de eva­luación, las recomendaciones concretas que se han elaborado a medida que se iban desarrollando los documentos del Programa Operativo y las aportaciones a la programación del equipo evaluador.

La evaluación ex ante del POEJ se ha desarrollado por parte del Instituto de Estudios Fiscales (IEF18), organismo autónomo del Ministerio de Hacienda y Administraciones Públicas, que realiza, entre otros, trabajos de evaluación de políticas públicas.

El presente apartado se estructura de acuerdo a los principales pilares de la evaluación ex ante, es decir, la evaluación de la estrategia de actuación; el sistema de indicadores, seguimiento y evalua­ción; el planteamiento financiero y el análisis de la gobernanza del propio Programa Operativo.

En cada capítulo se hace referencia a los requisitos reglamentarios exigidos en materia de evaluación ex ante, la metodología seguida para el análisis de la cuestión y las principales conclusiones a las que llega el equipo evaluador.

6.2. Estrategia de actuación

La evaluación de la estrategia del programa operativo se divide en diferentes secciones:

a) Análisis del Diagnóstico y lecciones aprendidas

Aunque el RDC no establece de manera obligatoria la realización de un análisis DAFO para los pro­gramas operativos, el equipo evaluador considera que es muy recomendable la creación de éste, ya que se trata de una herramienta analítica que contribuye al pensamiento estratégico, y permite ayudar a la unidad de programación a encontrar sus factores estratégicos críticos.

18 http://www.ief.es

— 63 —

El éxito de cualquier intervención pública parte de la elaboración de un diagnóstico correcto de la situación que afronta. En las fases iniciales de creación del POEJ se presenta la evolución y situación actual de los jóvenes en España, sin la presencia de un análisis DAFO.

Con el objetivo de profundizar en el análisis de esta situación, el equipo evaluador desarrolla y propo­ne un diagnóstico de la situación de los jóvenes, en especial de aquellos que ni estudian ni trabajan (ninis) en los que se centra este Programa Operativo, planteando un análisis DAFO. Este análisis ha sido tenido en cuenta por parte del equipo de programación en las siguientes versiones del PO.

En este sentido, y con el objetivo de tener una visión más minuciosa de la situación inicial, el equipo evaluador considera que el análisis DAFO presentado es completo y refleja correctamente las princi­pales características donde se enclava el POEJ. Como recomendación por parte del equipo evalua­dor estaría el ser algo más preciso en ciertos elementos propuestos en la DAFO, y sustentar todas las afirmaciones que en él aparecen con un análisis descriptivo previo.

Por lo que se refiere a las lecciones aprendidas en periodos anteriores, el artículo 55, apartado 3, a) del Reglamento de Disposiciones Comunes establece que las evaluaciones ex ante valoraran las enseñanzas extraídas de los periodos de programación anteriores.

Así, el equipo de programación ha tenido en consideración las propuestas realizadas por parte del equipo evaluador incluyendo este apartado en su programación, obteniendo enseñanzas en la ges­tión del periodo 2007-2013 que sería conveniente tener en consideración en la preparación del perio­do actual referentes a:

— Simplificación y racionalización de procedimientos.

— Evitar solapamientos de actuaciones.

— Mejora de los sistemas de gestión y control.

— Favorecer la utilización de instrumentos financieros.

b) Pertinencia de la EstrategiaUno de los elementos más importantes en la evaluación ex ante de un PO es el estudio de la estrate­gia del programa, siendo el propósito de esta sección el mejorar y fortalecer la calidad del Programa Operativo mediante el establecimiento de la estrategia de programación lo más adecuada posible.Con ello, se da cumplimiento a la exigencia del artículo 55, apartado 3, a) del Reglamento de Disposi­ciones Comunes donde se señala la necesidad de valorar la contribución a la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador, habida cuenta de los objetivos temáticos y las prioridades seleccionados y teniendo presentes las necesidades nacionales y regionales y el poten­cial de desarrollo.La metodología planteada se basa en analizar el nivel de intensidad con el que cada una de las prio­ridades y líneas de acción propuestas se relaciona con los resultados del análisis DAFO. Para ello, se construye un "marco" que verifica como las prioridades y líneas de acción del PO se corresponden con los desafíos que trata de afrontar este Programa. Para hacer este análisis de la pertinencia, el equipo evaluador diseña una matriz donde, de una forma clara se puede apreciar la existencia (o no) de vínculos entre el análisis DAFO realizado y las prioridades establecidas por parte del equipo de programación del POEJ.El grado de pertinencia de la estrategia de inversión alude a la capacidad del conjunto de objetivos específicos del PO en afrontar las debilidades, o en potenciar las fortalezas más determinantes que han sido observadas en el ámbito del mismo a lo largo de la elaboración del DAFO. Por tanto, rela­ciona, por un lado el impacto potencial de la estrategia de inversión sobre cada debilidad (fortaleza), y por otra parte la importancia de la misma.Este indicador, por tanto, aumenta si existe una buena correspondencia o proporcionalidad entre la importancia real de cada debilidad (fortaleza) y el impacto esperado (potencial) de la estrategia de inversión sobre ella. Si el mayor impacto de la estrategia de inversión se centra en las debilidades (fortalezas) prioritarias y el menor en las medias, el grado de pertinencia de la estrategia será alto y disminuirá en la medida que no se dé la correspondencia señalada.

— 64 —

Instituto de Estudios Fiscales

Gráfico 6.1:Pertinencia de la estrategia de inversión del PO

Debilidades Fortalezas

Debilidad 1 Tasa de desempleo alta a pesar de la caída de la tasa de actividad Fortaleza 1 Recuperación del consumo interno

favorecerá la creación de empleo

Debilidad 2Empleo juvenil destruido hombres de la construcción y de la industria

manufacturera. En el caso de las mujeres, procede sector servicios

Fortaleza 2

Reconocimiento por parte de las personas jóvenes de la importancia de

la educación y formación. La escasez de oportunidades laborales ha propiciado

un retorno a la formación y una disminución de abandono escolar.

Debilidad 3Destrucción de empleo juvenil centrado

en trabajadores con menores niveles de educación reglada

Fortaleza 3 Importancia de la familia como red social y de apoyo

Debilidad 4 Condiciones de trabajo del empleo juvenil son muy precarias: Fortaleza 4

Mejores niveles en competencias transversales que el resto de la población activa (idiomas, uso de las tecnologías,

adaptación al cambio, etc.)

Debilidad 5 Aumento del desempleo de larga y muy larga duración Fortaleza 5 Diferencias de género en relación

con el mercado de trabajo se reducenDebilidad 6 Bajo conocimiento de idiomas extranjeros

Debilidad 7 Escaso peso relativo de la Formación Profesional de grado medio

Debilidad 8 Importante número de jóvenes que en la actualidad no estudia ni trabaja "ninis"

Debilidad 9En “ni-ni” principalmente niveles

de estudios bajos, pero los universitarios también presencia significativa,

especialmente en mujeres.

Debilidad 10 Jóvenes con menores niveles de educación son los que menos se forman

Debilidad 11 Elevadas tasas de abandono escolar

Debilidad 12 Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil

Fuente: Elaboración propia

— 65 —

Observando los resultados del análisis de pertinencia, la adecuación de los objetivos específicos a los principales retos observados en este P.O es alta. Se produce una correspondencia positiva entre las principales debilidades y fortalezas identificadas en el análisis DAFO y los impactos potenciales que cabe esperar de los objetivos específicos y prioridades de inversión.

c) Coherencia externa de la Estrategia

La evaluación de la coherencia externa queda recogida a nivel reglamentario por el artículo 55, apar­tado 3, a) del Reglamento de Disposiciones Comunes donde se señala que la evaluación ex ante debe valorar la contribución del PO a la estrategia de la UE para un crecimiento inteligente, sostenible e integrador, mientras que en el apartado 3, d) indica que la evaluación ex ante deberá analizar la coherencia de los objetivos seleccionados con otros instrumentos pertinentes a nivel regional, nacio­nal y de la UE, como son documentos estratégicos y políticas relacionados con el ámbito de actua­ción del PO.

Por ello, y una vez que la matriz de pertinencia del PO muestra y corrige el vínculo entre los retos y las necesidades, el siguiente paso consiste en realizar un análisis detallado sobre la coherencia entre aquello “que se quiere hacer” con aquello “que se puede hacer” -. En este sen­tido, se revisa, a través de matrices, las relaciones entre las Prioridades y Objetivos del pro­grama propuesto y las grandes líneas políticas y estratégicas existentes a dos diferentes niveles de gobierno:

— A nivel de la Unión Europea:

- Estrategia UE 2020.

- Objetivos de la estrategia para España. Position Paper de la Comisión Europea.

— A nivel nacional:

- Acuerdo de Asociación del Periodo 2014-2020.

- Programa Nacional de Reformas 2013.

- Estrategia de emprendimiento y empleo joven 2013-2016.

- Plan Nacional de Implantación de Garantía Juvenil.

La evaluación muestra que el PO es coherente parcialmente con las estrategias europeas, dado que menos de la mitad de los objetivos de la estrategia EU 2020 y los indicados en el Position Paper se ven cubiertos por los Objetivos Específicos de este Programa Operativo, mientras que para el caso nacional, por lo que se refiere al Plan Nacional de Reformas hay solapamiento en dos ejes pero la relación con el Acuerdo de Asociación es muy importante por constituir la parte del Objetivo Temático 8 destinada a jóvenes. Además, la coherencia es notable con las otras dos estrategias nacionales, que tienen un marcado perfil de mercado laboral.

d) Coherencia interna de la Estrategia

El análisis de la coherencia interna tiene como fin detectar las sinergias entre los objetivos específicos del PO, esto es, medir el grado en que unos objetivos influyen sobre los otros para alcanzar el logro general de la intervención.

A nivel reglamentario, el artículo 55 apartado 3, b) exige la valoración por parte del equipo evaluador de la coherencia interna del programa o de la actividad propuesta y su relación con otros instrumen­tos pertinentes.

— 66 —

Instituto de Estudios Fiscales

Para analizar estos efectos se empleará la metodología recomendada en la Guía para la Evaluación del Desarrollo Socioeconómico que consiste en la construcción de una matriz en la que se valoran las interrelaciones entre los diferentes OE. Para ello, se asigna un valor a cada cruce (1, 3 y 519) en fun­ción de la intensidad de interrelación entre los Objetivos. Este enfoque permite clasificar a los objeti­vos en cuatro grupos jerárquicos, (estratégicos, sensibles, influyentes e independientes). Realizando los cálculos sobre las sinergias entre objetivos específicos se puede obtener la representación gráfica de las mismas, tomando como punto de referencia el valor medio de las influencias que se generan entre OE.

Gráfico 6.2:Representación gráfica de las sinergias entre Objetivos Específicos

Fuente: Elaboración propia

El análisis demuestra que existe un OE que, tanto por su influencia sobre el resto, así como por su sensibilidad a la hora de ser influido por otros Objetivos, obtiene un carácter estratégico. Este es el OE8.2.1, mientras que existen OE que se ven influidos, en mayor medida, por la consecución del resto, como lo son el OE8.2.2, OE8.7.1 , así como un objetivo que influye, intensamente, en el éxito de otros, como lo es el OE8.2.4

e) Consistencia de la estrategia

Para complementar el análisis de la estrategia, el equipo evaluador, teniendo en cuenta el artículo 55, apartado 3, a) y el documento guía de evaluación ex ante valora la consistencia de la estrategia a través de un análisis en profundidad de los objetivos y prioridades identificando la manera en la que se relacionan y la posible existencia de objetivos y prioridades contradictorias, así como recomenda­ciones para solucionar estos problemas.

Se comienza presentando un diseño de un árbol de objetivos, que mostrará de forma clara las interrelaciones entre el objetivo general del Programa Operativo, sus objetivos específicos y las prioridades de inversión que se fijen en el Programa para su desarrollo e implementación, mos­trando la jerarquización de la estrategia en forma piramidal, que explicita las relaciones existen­tes y que puede resultar adecuada para el entendimiento de las sinergias creadas entre las diferentes líneas de actuación, prioridades y objetivos intermedios propuestos para el cumpli­miento de los objetivos finales.

19 El valor 1 determina una intensidad de interrelación débil, el valor 3 moderada y el 5 alta.

— 67 —

Grafico 6.3:Diseño de árbol de los objetivos del PO

Fuente: Elaboración propia

Observándose la clara estructura que el PO de Empleo Joven tiene, se puede afirmar que el PO es consistente en términos de las relaciones entre objetivos de corto, medio y largo plazo.

El segundo elemento estudiado en la consistencia fue el diseño del marco lógico que, establece la cadena recursos, actividades, productos y resultados finales, permitiendo valorar la forma en que los productos contribuyen a los resultados esperados del Programa.

Grafico 6.4:Marco Lógico de un Objetivo Específico

Fuente: Elaboración propia

Utilizando esta forma de análisis para todos los objetivos específicos del PO se puede confirmar que existe una lógica bien marcada en todas las actuaciones. El equipo evaluador considera, que bajo ciertos supuestos ajenos a la actuación, el objetivo que se establece puede ser alcanzado con estas actuaciones.

e) Cumplimiento de los principios horizontales

La evaluación ex-ante debe examinar la adecuación de las medidas previstas para promover la igual­dad de oportunidades entre hombres y mujeres, prevenir todo tipo de discriminación, en particular a la accesibilidad para personas con discapacidad, y promover el desarrollo sostenible en consonancia con el artículo 55 apartado 3, letras l) y m).

— 68 —

Instituto de Estudios Fiscales

En este sentido, parece permisible concluir que la incorporación de la perspectiva de género se en­cuentra considerablemente integrada de forma transversal en la estrategia diseñada, mostrándose un correcto uso del lenguaje.

Por lo que se refiere al principio de igualdad y no discriminación, el PO recoge en sus actuaciones este principio, enfatizando la actuación en jóvenes que corren riesgo de sufrir exclusión social y quie­nes procedan de comunidades marginadas.

6.3. Indicadores, seguimiento y Evaluación

El artículo 55 del Reglamento de Disposiciones Comunes apartado 3, letras c), g), j) y k) establece que la evaluación ex ante “valorará (c) la pertinencia y claridad de los indicadores del programa, (g) si los valores previstos cuantificados de los indicadores son realistas, habida cuenta de la ayuda previs­ta de los Fondos EIE, (k) la idoneidad de los hitos seleccionados para el marco de rendimiento, y, finalmente, (j) la idoneidad de los procedimientos de seguimiento del programa y de recogida de da­tos necesarios para llevar a cabo evaluaciones”. Por este motivo, en esta sección de la evaluación ex ante se tiene por objetivo asegurar el cumplimiento de dichos requisitos del Reglamento de Disposi­ciones Comunes. Las principales conclusiones se sintetizan a continuación.

Para el análisis teórico y práctico de los Indicadores propuestos en el PO, se identifican una serie de propiedades deseables que éstos deben cumplir y se valora el grado de cumplimiento de aquellas por el conjunto de Indicadores, en función de la siguiente escala de valoración:

Tabla 6.1.Leyenda para la comprobación de las propiedades deseables de los indicadores del POEJ

El indicador sí cumple la propiedad El indicador cumple moderadamen­te la propiedad El indicador no cumple la propiedad

X

Fuente: Elaboración propia

a) Análisis teórico de los Indicadores y objetivos finales propuestos

Las propiedades teóricas que el equipo evaluador ha revisado para la batería de indicadores del PO,teniendo en cuenta los requisitos reglamentarios han sido:

— Pertinencia: para ello, los indicadores deben reflejar el grado de cumplimiento de las operaciones y los objetivos al que pertenece el indicador, captando, por tanto, el impacto directo de aquel so­bre éste. Su valor debe de estar influenciado de manera directa y en la medida de lo posible por las acciones financiadas en la prioridad de inversión concreta.

— Coherencia: los indicadores son idóneos con respecto al resultado esperado para el que se han propuesto, logrando capturar su esencia.

— Claridad: los indicadores tienen un título claro y una definición inequívoca y fácil de entender. Es decir, deben de ser de fácil comprensión, libres de complejidades.

— Factibilidad: los indicadores deben ser construidos, en la medida de lo posible, en base a las es­tadísticas disponibles. Su medición no debe suponer una carga excesiva a los gestores de los Fondos.

Tras el análisis y la construcción de diferentes tablas donde se valora el grado de cumplimiento de lasanteriores propiedades20, las principales conclusiones a las que llega el equipo evaluador son:

— Para los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del POEJ, cabe destacar que el 100% de éstos cumplen las propiedades de pertinencia, coherencia y factibilidad, y sólo en el ca-

20 Pueden consultarse con mayor detalle en el documento de evaluación ex ante.

— 69 —

so del indicador “desempleados incluidos de larga duración” el cumplimiento de la claridad del mismo se produce de manera moderada.

— En cuanto a los Indicadores de Producto para el Eje de Asistencia Técnica, el equipo evaluador verifica que todos ellos cumplen con todas las propiedades exigidas en los requisitos reglamenta­rios.

— Por otro lado, se verifica que el total de indicadores de resultado cumplen con las propiedades de pertinencia, coherencia, claridad y factibilidad.

Finalmente, se añaden algunas consideraciones y recomendaciones, tales como que:

— si bien los indicadores de producto se ciñen al Reglamento, su definición resulta, en algunos ca­sos, muy genérica, por lo que se recomienda una mayor especificación de éstos en relación al co­lectivo de jóvenes.

— Además, el equipo evaluador considera que algunos de los indicadores propuestos como indica­dores de resultado son indicadores de producto, ya que, por ejemplo, el hecho de haber participa­do en el POEJ no supone en sí un resultado.

b) Hitos seleccionados en el Marco de Rendimiento

La propiedad práctica que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios, ha sido la del realismo de los valores previstos cuantificados.

Las principales conclusiones asociadas a la valoración de esta propiedad son:

— En primer lugar, y teniendo en cuenta la información aportada por los programadores, el equipo evaluador ha valorado positivamente, tanto para los hitos de 2018 como para las metas de 2023, la aplicación de la metodología de costes medios utilizada por los programadores para el cálculo de los valores en dichos momentos.

— En segundo lugar, cabe destacar que el ritmo de las ejecuciones financieras es coherente con la evolución temporal del POEJ y, tal y como se puede comprobar en el capítulo relativo a la evalua­ción de la asignación financiera del Programa.

— Por último, el equipo evaluador ha detectado, bajo la valoración del realismo de los hitos y metas diferenciando por género, que las previsiones se han hecho utilizando proporciones del período anterior que no tienen por qué mantenerse en este nuevo período.

c) Procedimiento de seguimiento del Programa y control

A lo largo de la ejecución del Programa Operativo se establece la necesidad de valorar el seguimiento del mismo, así como evaluar su desarrollo para analizar su evolución en términos de eficiencia y con­secución de los objetivos marcados.

En relación a ambos procesos de seguimiento y evaluación, es necesario contar con un sistema de recogida de información, capaz de dar soporte a las actuaciones que se van a desarrollar en el PO.

En este sentido, se valora positivamente el desarrollo del sistema de información para la aplicación de la Garantía Juvenil, cuyo objetivo final es garantizar que todos los jóvenes menores de 25 años pue­dan recibir una buena oferta de empleo, educación continua, formación de aprendiz o período de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados.

6.4. Asignaciones Financieras

Según el Reglamento de Disposiciones Comunes, la necesidad de una evaluación ex ante es notoria en tanto que se puede prever y valorar como la programación va alcanzar sus hitos y objetivos, así como va a contribuir a la estrategia de la Unión para un crecimiento inteligente, sostenible e integra­dor, habida cuenta de los objetivos temáticos y las prioridades de inversión ordenadas para las nece-

— 70 —

Instituto de Estudios Fiscales

sidades nacionales y regionales y el desarrollo potencial, teniendo presente las lecciones aprendidas de periodos pasados.

Desde la perspectiva de la evaluación financiera se ha conseguido analizar las dotaciones financieras que han recibido cada uno de estos objetivos temáticos y las prioridades de inversión a través de los diferentes tipos de región. Para este tipo de análisis se ha recogido la información del Plan de finan­ciación y se ha evaluado la distribución respecto a las prioridades en cada región, para ver las dispa­ridades y comprobar que se llevará a cabo una distribución coherente y pertinente con la estrategia marcada y el buen aprovechamiento de los recursos.

Por otro lado, se ha analizado como se ha planteado la distribución temporal de los recursos, y por último, se ha evaluado la coherencia del reparto financiero con la estrategia del POEJ derivadas de su DAFO, y también con las debilidades agregadas por los objetivos específicos que las afectan di­rectamente.

En resumen, el equipo evaluador realizó diferentes análisis sobre la distribución y evolución financiera del POEJ, concluyendo que:

— Análisis de la distribución financiera; se evaluó la distribución por grupos de regiones y se com­probó el porcentaje de los 2.826.330.836 euros entre los tres ejes prioritarios, reconociéndose que el Eje 5 es el elemento central sobre el que gravita el programa ya que son las acciones directas de la Iniciativa de Empleo Juvenil y es concordante con su asignación tanto de ayuda propia como del FSE.

Los grados de cofinanciación han sido cumplidos como lo establece el Reglamento de Disposicio­nes comunes y es remarcable que la P.I 8.2 recoja la mayor dotación, dando al programa un examen positivo, acorde a las actuaciones que contempla bajo esta prioridad.

Se remarcó también que la división y desagregación financiera por objetivos específicos hubiese brindado un mejor examen de distribución y coherencia y es el único aspecto que podría mejorar­se de esta parte del programa.

— Coherencia financiera; para este análisis se ha observado el programa desde dos puntos de vista.

En primer lugar, a través del análisis del reparto en función de la estrategia de esta forma se midió que porcentaje del total se repartió por los Ejes, asignando a estos una ponderación en función de su importancia, de tal manera que se pudiese comprobar que el Eje 5 recibe la mayor dotación y cubre las principales amenazas y debilidades por medio de los objetivos del Programa.

Esta concentración de los recursos permite afianzar la idea de que el POEJ, tiene una estrategia equilibrada y permite asegurar una buena eficiencia en el reparto de los recursos.

En segundo lugar, en un sentido más estricto se evalúa el reparto por objetivos específicos, agregándolos en función de los ejes y permitiendo a su vez establecer una relación con las debili­dades.

Estas fueron agregadas en características principales comunes entre ellas, de tal manera que se pudiese establecer un nexo entre éstas características y los objetivos específicos, tal como se re­conoce en el POEJ, así se observa qué P.I. recogía el mayor número de debilidades y ver su asignación y que sinergias se producían entre estos.

El resultado es muy ilustrativo, puesto que la P.I 8.2, a través de los OE 8.2.2 y 8.2.4, es el eje central de todo el programa, resultado que se encuentra muy relacionado con recibir la mayor cuantía financiera.

Estos resultados demuestran que el POEJ guarda el concepto de coherencia financiera en rela­ción a la estrategia planteada y los hitos propuestos.

— Evolución financiera; se ha analizado la distribución de los flujos financieros en el tiempo, como la distribución de la Iniciativa de Empleo Juvenil recoge su dotación en el periodo 2014-2015, con su correspondiente N+3, en acciones directas sobre la población objetivo, “nini”, dichas actuaciones

— 71 —

están directamente relacionadas con las recomendaciones del Consejo y los objetivos estableci­dos, con una actuación rápida e intensa.

6.5. Gobernanza

El art. 5 del Reglamento de Disposiciones Comunes establece que para el desarrollo de los Programa Operativos, se debe organizar una asociación con las autoridades regionales, locales y otras autori­dades públicas competentes, los interlocutores económicos y sociales y los organismos que repre­senten a la sociedad civil21. Esta asociación debe estar presente no sólo en la preparación inicial de los programas sino durante su ejecución, seguimiento y evaluación. El reglamento hace mención también de las nuevas medidas para el periodo 2014-2020 que buscan la máxima eficiencia en la intervención de los Fondos EIE, tales son: la concentración de recursos, la reducción de cargas ad­ministrativas y la simplificación, la proporcionalidad en las asignaciones financieras, la descentraliza­ción y la incorporación de agentes privados al tramo nacional, y el uso de instrumentos financieros que consigan un efecto multiplicador de las acciones planificadas.

El equipo evaluador se dedicó a verificar el cumplimiento de todos estos principios que durante los trabajos de elaboración del POEJ se han venido desarrollando como así también de los preceptos enunciados en el Código de Conducta del Partenariado.

La metodología ha sido la observación del modelo de gestión desarrollado en el POEJ, los recursos humanos asignados para desarrollar su labor y el analizar y verificación de los mecanismos de comu­nicación con otros agentes sociales, grupos de interés, organismo intermedios, etc. que hubo en el proceso de programación del POEJ por lo que se presenta un cuadro resumen del análisis de cum­plimiento de los principios de "Buen Gobierno" del Libro Blanco de la Gobernanza europea.

Como resultado, el equipo evaluador concluye que los principios de Gobernanza se cumplen y están presentes en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo.

Para ello el equipo evaluador responde a las preguntas: ¿quién ha participado? (descripción de los participantes), ¿cuándo? (a través de las reuniones que han celebrado) y ¿cómo?, identificando las conexiones entre los agentes involucrados

21 Incluidos los interlocutores medioambientales, las organizaciones no gubernamentales y los organismos encargados de promover la igualdad y la no discriminación

Tabla 6.2.Esquema de la evaluación del partenariado para el POEJ

— 72 —

— Consejo de la Juventud de España— Organizaciones empresariales: CEOE y CEPYME— Organizaciones sindicales: UGT y CC.OO— Asociaciones representativas de la Economía Social y del trabajo autónomo— Cámaras de comercio

¿Quién ha participado? — Asociaciones de jóvenes empresarios como CEAJELista de los partners — CC.AA y ciudades autónomas de España

consultados: — Ministerio de Educación, Cultura y Deporte.— Banco Europeo de Inversiones;— Centro Superior de Investigaciones Científicas;— Instituto de la Juventud;— Consejo Superior de Cámaras de Comercio;— Fundación Secretariado Gitano, Cruz Roja, Fundación ONCE y Cáritas;— Fundación Incyde;

Instituto de Estudios Fiscales

— Instituto de Comercio Exterior;— Confederación Española de Centros de Enseñanza;— Red de Fundaciones Universidad Empresa.— Dirección General del Trabajo Autónomo,— Economía Social y la Responsabilidad Social de las Empresas

(DGSTAYRSE)— Interlocutores sociales en España— Organizaciones no gubernamentales:Cruz Roja; Fundación ONCE;

Cáritas y Secretariado Gitano.— Grupo Permanente de Trabajo de la Red de políticas de Igualdad: Orga­

nismos de igualdad de Murcia y La Rioja y del Instituto de la Mujer— Subdirección General de Igualdad de Trato y no Discriminación del

Ministerio de Sanidad, Servicios Sociales e Igualdad.— Principales organizaciones ecologistas: WWF y Seo Birdlife

Instituto de Estudios Fiscales

— 16 de abril de 2013, 7 de mayo de 2013 y 14 de octubre de 2013: Reuniones con las CC.AA

— 13 de marzo de 2014 y 30 de abril: Reuniones bilaterales con todas las comunidades autónomas relativas a la programación 2014-2020 y

¿Cuándo?Principales reuniones que han tenido lugar en las que

participaron los agentes en el proceso de elaboración

del POEJ

—

al Programa Operativo de Empleo Juvenil.

18 de diciembre de 2013: Conferencia Sectorial de Empleo y Asuntos Laborales

19 de diciembre de 2013: Plan Nacional de Implantación de la Garant­ía Juvenil presentado a la Comisión Europea

24 de marzo y 28 de abril de 2014:Reuniones del grupo de trabajo.

5 de febrero de 2014: Reunión con los principales organizaciones ecologistas

27 de febrero de 2014: Grupo Permanente de Trabajo de la Red de políticas de Igualdad

Reuniones de carácter periódico con la mayoría de las entidades.

— Por un lado, en la programación se ha aplicado el principio de parte­nariado a través de reuniones de la UAFSE con los partners especifi-

¿Cómo? cados arriba y propios del desarrollo del POEJ y, por otro, en la fasede evaluación, a través de reuniones de la UAFSE con el Instituto de Estudios Fiscales, encargado de elaborar la evaluación ex ante del Programa Operativo de Empleo Juvenil.

Fuente: Elaboración propia

Por último, se presenta un cuadro con las características de la intervención del POEJ evaluando el cumplimiento de los principios de “Buen Gobierno” siguiendo las líneas del Libro Blanco de la Gober­nanza europea antes mencionadas.

Tabla 6.3.Evaluación de propiedades de la buena gobernanza

Características Nivel de evaluabilidad

Apertura: La intervención del POEJ impone a las instituciones trabajar de forma más abierta, presenta una comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza

de los ciudadanos en la institución.

Alta

(Sigue)

— 73 —

(Continúa)

Características Nivel de evaluabilidad

Participación: Se entiende que la calidad, la pertinencia y la eficacia de la intervención exigen una amplia participación

ciudadana tanto en la fase de formulación como de implementación y evaluación.

Alta

Responsabilidad: El POEJ exige la clarificación del papel de cada una de las instituciones que intervienen en la toma de decisiones. Alta

Eficacia: El POEJ requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros,

de una evaluación de su futuro impacto y en su caso de la experiencia acumulada.

Alta

Coherencia: El POEJ exige que acciones sean coherentes y fácilmente comprensibles. Alta

Fuente: Elaboración propia

6.6. Conclusiones

La reducción del desempleo juvenil constituye uno de los retos más importantes para el período de programación 2014-2020. La estrategia Europa 2020 tiene como objetivos principales el crecimiento inteligente, sostenible e integrador, que pasa por conseguir un descenso notable en el número de jóvenes desempleados.

El Programa Operativo de Empleo Juvenil está diseñado para contribuir a atenuar la intensidad del paro entre este colectivo, especialmente afectado.

Teniendo en cuenta las lecciones aprendidas de períodos anteriores y las recomendaciones del equi­po evaluador a partir de su evaluación ex ante, el programa está en condiciones de poder iniciar su recorrido con garantías suficientes sobre su viabilidad.

Las evaluaciones intermedias que sobre él se hagan, que además ya podrán contar con porcentajes de ejecución y análisis de la parte operativa, deberán incidir igualmente sobre la idoneidad en la ges­tión, así como los logros obtenidos, en respuesta al nuevo enfoque de los Reglamentos del período 2014-2020, que pretende asegurar la consecución de resultados tras la aplicación de la política de cohesión en España.

— 74 —