82
1

Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

  • Upload
    ivie

  • View
    750

  • Download
    1

Embed Size (px)

Citation preview

Page 1: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

1

Page 2: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie
Page 3: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Bienvenida y Presentación Rafael Pardo Director de la Fundación BBVA y Catedrático de Universidad Francisco Pérez Catedrático de la Universitat de València y Director de Investigación del Ivie

Page 4: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

EQUIPO INVESTIGADOR Investigadores: Joaquín Aldás Manzano (dir.) (Universidad de Valencia e Ivie) Alejandro Escribá Esteve (Universidad de Valencia ) María Iborra Juan (Universidad de Valencia e Ivie) Vicente Safón Cano (Universidad de Valencia e Ivie) Equipo técnico: Irene Zaera Cuadrado (Ivie) Edición: Julia Teschendorff Cooper (Ivie)

Page 5: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Presentación de resultados del Estudio

Joaquín Aldás Universitat de València e Ivie

Grupos estratégicos de universidades

en el Sistema Universitario Español,

identificación y descripción

Page 6: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Grupos estratégicos de universidades en el Sistema Universitario Español,

identificación y descripción

Joaquín Aldás Manzano

Universitat de València e Ivie

Madrid, 13 de diciembre de 2016

Page 7: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Introducción

Objetivo

Variables utilizadas en la determinación de los grupos estratégicos

Características del entorno

Características de los input

Características organizativas

Metodología

Grupos estratégicos identificados

Conclusiones

Page 8: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Introducción

Creciente atención a la medición y evaluación del desempeño de las universidades por parte de múltiples actores: responsables gubernamentales en materia educativa, la sociedad, medios de comunicación o los propios gestores de las universidades.

Creciente notoriedad de diferentes rankings de universidades que, de manera general, no tienen en cuenta en su evaluación la relativización del rendimiento a partir de la dotación de recursos, las características estructurales y organizativas y el contexto socioeconómico en el que operan las universidades.

Necesidad de introducir modelos que ayuden a entender el diferencial de desempeño entre universidades, los factores que lo explican y las vías de mejora que pueden seguir las instituciones que integran el sistema: grupos estratégicos y benchmarking.

El desarrollo del conjunto de indicadores del sistema de información universitario español, su creciente alcance (en término de número de instituciones), riqueza (nivel de detalle y variedad de indicadores), longevidad de las series de datos y su sistematización en iniciativas como el proyecto U-Ranking (FBBVA-IVIE) son la base empírica necesaria para estos análisis.

Page 9: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Objetivo

Entonces, si: Cada universidad cuenta con una combinación de recursos diferente.

Cada universidad opera en un contexto geográfico y sociodemográfico específico.

Si los gestores tienden a considerar que las comparaciones de resultados entre organizaciones con características estructurales y contextos muy diferentes son poco equitativas.

Los gestores quieren tomar como referencia para la mejora de sus prácticas y resultados a organizaciones con niveles de desempeño superiores a los propios pero con características estructurales y contextuales similares.

¿Podemos identificar grupos estratégicos en el sistema universitario español? Grupo estratégico: grupos de organizaciones competidoras en un sector que poseen características

similares y que, por tanto, tienden a comportarse de modo similar desde un punto de vista estratégico (Hunt 1972).

Y con ello: Explicar mejor las diferencias de desempeño entre las universidades españolas

Ofrecer benckmark razonables para la identificación de buenas prácticas de gestión y su aplicación para la mejora de los resultados

Page 10: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Objetivo

Factores estables/estructurales

Características del entorno

Características de la

organización

Características de los inputs

Factores palanca/modificables

Comportamientos /

Estrategias / Respuestas Outputs / desempeño

Factores similares en el grupo

estratégico

Explican la parte del desempeño que

se debe a la dotación de recursos y

a las condiciones contextuales

Acciones individuales

(no analizadas en este trabajo)

Explican la parte de desempeño

asociada a cómo se utilizan los

recursos y cómo se aprovecha el

contexto

Indicadores de

desempeño

Valoración de los

resultados en

docencia

investigación y

transferencia

Page 11: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Variables utilizadas en la determinación de los grupos

estratégicos

Page 12: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Factor 1: Características del entorno

Las variables contextuales pueden ejercer una gran influencia en la facilidad o dificultad para que las universidades obtengan mejores o peores resultados (e.g. La ubicación en comunidades autónomas con mayores tasas de desempleo estructural pueden lastrar los resultados de empleabilidad de los egresados).

Se han tenido en cuenta las siguientes dimensiones del entorno:

Grado de desarrollo o capacidad económica de la zona de influencia. Existe una correlación entre el nivel de renta de las familias y su nivel educativo y también las comunidades más desarrolladas tendrán tejidos empresariales más densos que favorecen la empleabilidad y las relaciones universidad-empresa.

Grado de rivalidad existente en una comunidad autónoma por la captación de estudiantes y recursos, favorece los procesos de búsqueda de mejora continua para mantener la competitividad y reputación.

Tamaño de la población objetivo. La existencia de un mercado potencial más amplio en términos de la cohorte de edad que cursa estudios universitarios modera la intensidad competitiva y es un indicador del atractivo del mercado para la implantación de nuevas instituciones.

12

Page 13: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Factor 1: Características del entorno

13

Variable Descripción Año Fuente

CT1 PIB per cápita PIB per cápita de la CCAA. Euros 2013 INE

CT2

Población de 18 años por

universidad en la

provincia

Población residente de 18 años de la provincia entre el número de

universidades con actividad en esa misma provincia(sin distinguir por

naturaleza de impartición de la universidad)

2014-2015MECD e

INE

CT3 Población 18 añosPoblación residente de 18 años por provincia (edad a 31 de

diciembre)2014 INE

Características de su entorno

Page 14: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Factor 2: Características de los input Los principales recursos del sistema universitario están relacionados con las características de los

estudiantes que constituyen uno de los principales input del sistema, las características del profesorado, y los recursos financieros disponibles (Hernangomez et al. 2007; Thieme, Araya y Olavarrieta 2012; Warning 2004).

Se han tenido en cuenta, por tanto, las siguientes características de los recursos:

Estudiantes. Las universidades que cuentan con estudiantes cuyas capacidades de partida son más elevadas parten con unas mejores condiciones para desarrollar sus procesos formativos de un modo eficaz y eficiente, y pueden lograr también mejores índices de empleabilidad.

Profesorado. Es relevante valorar la disposición de una plantilla de profesorado teniendo en cuenta su grado de capacitación para la docencia e investigación. La presencia de un numero suficiente de profesores doctores, con capacidad relacional, cargas docentes que permitan el correcto desarrollo tanto de las actividades docentes como de las investigadoras, en suficiente numero para atender las necesidades docentes y los potenciales crecimientos, así como su experiencia y potencial disposición para adaptarse a los cambios y nuevas necesidades.

Financieros. Son un elemento fundamental para el desarrollo eficaz de las funciones de las universidades y que confieren más o menos holgura para iniciar o desarrollar cambios estratégicos encaminados a la mejora del desempeño

14

Page 15: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

15

Factor 2: Características de los input

Variable Descripción Año Fuente

CE1 Notas de corte

Nota de admisión mínima de cada universidad. La nota de mínima de admisión a una titulación

en un centro es la nota del último estudiante que ha sido admitido en el proceso de preinscripción

por el cupo general, tanto en convocatoria ordinaria como extraordinaria

2014-2015 MECD

CE2 % alumnos extranjerosAlumnos no españoles de 1º. y 2ºº ciclo y grado y máster respecto al total de alumnos de 1º. y 2º.

ciclo, de grado y máster de los centros propios y adscritos 2014-2015 MECD

CE3 % alumnos de postgradoAlumnos matriculados en estudios de máster sobre el total de alumnos de 1º. y 2º. ciclo, de grado y

máster de los centros propios2014-2015 MECD

CP1 % profesores doctoresProfesores doctores equivalentes a tiempo completo sobre el total del personal docente e

investigador equivalente a tiempo completo de los centros propios2013 CRUE

CP2 Alumnos por profesorAlumnos matriculados en estudios de 1º. y 2º. ciclo y grado y máster sobre el total de profesorado

docente e investigador equivalente a tiempo completo de los centros propios2013-2014 MECD

CP3% de publicaciones en

coautorías internacionales

Publicaciones para las cuales existe un coautor afiliado a una institución extranjera sobre el total

de publicaciones

Media 2011-

2013

IUNE

(Thomson

Reuters)

CP4Edad media de los

profesoresEdad media de la plantilla docente de los centros propios 2013-2014 MECD

Características de los estudiantes

Características del profesorado

Page 16: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

16

Factor 2: Características de los input

Variable Descripción Año Fuente

CRF1 Presupuesto por alumno

Ingresos liquidados de la Universidad sobre el total de alumnos

matriculados en estudios de 1º. y 2º. ciclo y grado y máster de los

centros propios

2013-2014CRUE y

MECD

CRF2 Presupuesto por profesor

Ingresos liquidados de la Universidad sobre el total del personal

docente e investigador equivalente a tiempo completo de los

centros propios

2013-2014CRUE y

MECD

Recursos financieros

Page 17: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Factor 3: Características organizativas

La configuración de la estructura organizativa de las universidades y su complejidad es fruto, en muchos casos, de un largo proceso histórico y de una serie de inversiones especificas difícilmente reversibles, pero que tiene importantes consecuencias en cuanto a la flexibilidad para adaptarse al entorno e implementar mejoras en sus procesos.

Se han tenido en cuenta las siguientes características organizativas:

Tamaño, que refleja la complejidad inicial de una institución universitaria y que condiciona la capacidad de reacción, la flexibilidad y la inercia estratégica de las organizaciones. Las universidades grandes encuentran más dificultades para realizar acciones de reajuste de su oferta, son también generalmente más antiguas y tienen procesos y culturas más arraigadas y difíciles de modificar.

El número y la variedad de áreas de conocimiento presentes en la oferta académica de una universidad, por un lado, incrementan la complejidad de la gestión al introducir realidades internas diferenciadas que producen desigualdades y dificultan el mantenimiento de equilibrios y la aplicación de políticas equitativas para todas las áreas

17

Page 18: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

18

Factor 3: Características organizativas

Variable Descripción Año Fuente

CO1 Alumnos por universidadNúmero de estudiantes de 1º. y 2º. ciclo y grado y máster de los

centros propios2014-2015 MECD

CO2Concentración en ramas

de enseñanza

Índice de Gini calculado a partir del número de estudiantes de 1º y 2º

ciclo y grado y máster por rama de enseñanza de los centros propios

y adscritos

2014-2015 MECD

CO3 Titulaciones de grado Número de titulaciones de grado impartidas tanto en centros propios

como adscritos2014-2015 MECD

Características organizativas

Page 19: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

19

Resumen de indicadores

UNIVERSIDAD

ENTORNO

ORGANIZACIÓN

PIB per capita

Población 18 años /universidad en la provincia

Población 18 años

Alumnos por universidad

Concentración en ramas de enseñanza

Titulaciones de grado

iNPUTS PROFESORADO

PRESUPUESTO

ESTUDIANTES

% Doctores

Alumnos/Profesor

% Coautorías int.

Edad media

Nota de corte

% alumnos extranjeros

% alumnos postgrado

Presupuesto por alumno

Presupuesto por profesor

Page 20: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Metodología seguida en el establecimiento de los grupos

estratégicos

Page 21: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Esquema de análisis utilizado Análisis de conglomerados jerárquico

Cada universidad viene caracterizada por un vector con los 15 indicadores. Se calcula la distancia (euclídea al cuadrado) de cada universidad respecto a todas las demás Se unen en un mismo grupo a aquellas dos que más cercanas (similares) son. Se repite el proceso hasta que todas forman un solo grupo Se determina mediante el dendograma el número razonable de grupos

21

IND1 IND2 IND3 IND4

A 100 90 10 20

B 90 100 15 5

C 85 85 5 15

D 70 90 20 10

E 10 20 100 90

F 15 5 90 100

G 5 15 85 85

H 20 10 70 90

UniversidadIndicadores

Universidad A B C D E F G H

A 0 0,26 0,18 0,67 15,31 15,86 14,39 12,36

B 0,26 0 0,26 0,33 15,86 16,86 14,94 13,32

C 0,18 0,26 0 0,3 14,39 14,94 13,24 11,38

D 0,67 0,33 0,3 0 12,36 13,32 11,38 10,14

E 15,31 15,86 14,39 12,36 0 0,26 0,18 0,67

F 15,86 16,86 14,94 13,32 0,26 0 0,26 0,33

G 14,39 14,94 13,24 11,38 0,18 0,26 0 0,3

H 12,36 13,32 11,38 10,14 0,67 0,33 0,3 0

Page 22: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Esquema de análisis utilizado Escalamiento multidimensional

Es una herramienta que visualiza en un mapa de dos dimensiones una matriz de distancias

Su interpretación es elemental, aparecerán más próximas en el mapa las universidades con menores distancias en la matriz (más similares)

Los ejes no tienen interpretación, son solo distancias relativas

22

Universidad A B C D E F G H

A 0 0,26 0,18 0,67 15,31 15,86 14,39 12,36

B 0,26 0 0,26 0,33 15,86 16,86 14,94 13,32

C 0,18 0,26 0 0,3 14,39 14,94 13,24 11,38

D 0,67 0,33 0,3 0 12,36 13,32 11,38 10,14

E 15,31 15,86 14,39 12,36 0 0,26 0,18 0,67

F 15,86 16,86 14,94 13,32 0,26 0 0,26 0,33

G 14,39 14,94 13,24 11,38 0,18 0,26 0 0,3

H 12,36 13,32 11,38 10,14 0,67 0,33 0,3 0

Page 23: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Esquema de análisis utilizado Regresión property fitting

Proyecta en el mapa las variables (indicadores) para mostrar cuáles de ellos han tenido más peso en la formación del grupo El mayor peso se ilustra con una mayor longitud (módulo) de la flecha (vector)

23

IND1

IND3

IND4

IND2

Page 24: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Grupos estratégicos identificados

Page 25: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Identificación en tres pasos

3. Universidades públicas presenciales El tercer dendograma identifica 5 grupos de universidades públicas presenciales

25

UOC

UDIMA

UNED

1. Todas las universidades El primer dendograma separa las universidades a

distancia del resto (presenciales)

2. Universidades presenciales El segundo dendograma separa las universidades privadas de las públicas presenciales

UEMC

UIC

URLL

UV IC

UCHUCV

COMILLA SUANE

UEM

UNUDE

UMON

USJ

b) Universidades presenciales

Universidades privadas

públicas presenciales

UAH

UAL

UCA

UCO

UGR

UHUUJAEN

UMA

UPO

US

UNIZAR

UNIOVI

UIB

ULL

ULPGCUNICAN

UBU

UNILEON

USAL

UVA

UCLM

UAB

UB

UDG

UDL

UPC

UPF

URV

UA

UJI

UMH

UPV

UV

UNEX

UDC

USC

UVIGO

UAM

UC3M

UCM

UPM

URJC*

UM

UPCT

UPNA

UPV-EHU

UNIRIOJA

Page 26: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

GRUPO UNIVERSIDADES

1. Universidades a distancia UNED – UOC – UDIMA

2. Universidades privadasUEMC – UCV – UCH – USJ – UVIC – UN – UDE – UMON – UIC

– COMILLAS – UANE – URLL – UEM

3. Universidades altamente especializadas UPF – UC3M– UPV– UPC– UPM

4. Grandes universidades metropolitanas UCM – UAM – UAB – UAH – UB – UV

5. Jóvenes universidades investigadorasUNICAN – UVIGO – UDL – UA – UJI – URV – UPNA – UDG –

UMH – UPO – UPCT – UIB – UNIRIOJA

6. Universidades regionales generalistasUPV/EHU – USC – UNIZAR – ULL – UGR – USAL – US – UMA –

UCO – UNIOVI

7. Universidades públicas docentesUVA – UM – ULPGC – UNEX – UCA – UDC – UNILEON – UAL –

UHU – UJAEN – UCLM – UBU

Identificación en tres pasos

Page 27: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Podríamos ilustrar la caracterización mediante el property fitting como en la monografía pero optaremos por un planteamiento más descriptivo

Identificación en tres pasos

Grupo 3

Grupo 4

Grupo 6

Grupo 7

Grupo 5

Notas

corte

% al. extranjeros

% al. de postgrado

% profesores doctores

Alumnos por profesor

% pub. en coautoría

internacional

Edad media

profesorado

Presupuesto

alumno

Presupuesto

profesor

Alumnos por universidad

Concen. ramas de

enseñanza

Titulaciones grado

PIB pc

Pob. 18 años por

universidad

Población 18 años

-0,9

-0,8

-0,7

-0,6

-0,5

-0,4

-0,3

-0,2

-0,1

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

-0,8 -0,6 -0,4 -0,2 0,0 0,2 0,4 0,6 0,8

Page 28: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Caracterización de los grupos estratégicos identificados

Page 29: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

1. Universidades a distancia Universidades públicas presenciales=100

UNED – UOC – UDIMA

Page 30: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

2. Universidades privadas Universidades públicas presenciales=100

UEMC – UCV – UCH – USJ – UVIC – UN – UDE – UMON – UIC – COMILLAS – UANE – URLL – UEM

Page 31: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

3. Universidades altamente especializadas Universidades públicas presenciales=100

UPF – UC3M– UPV– UPC– UPM

Page 32: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

4. Grandes universidades metropolitanas

UCM – UAM – UAB – UAH – UB – UV

Universidades públicas presenciales=100

Page 33: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

5. Jóvenes universidades investigadoras

UNICAN – UVIGO – UDL – UA – UJI – URV – UPNA – UDG – UMH – UPO – UPCT – UIB – UNIRIOJA

Universidades públicas presenciales=100

Page 34: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

6. Universidades regionales generalistas

UPV/EHU – USC – UNIZAR – ULL – UGR – USAL – US – UMA – UCO – UNIOVI

Universidades públicas presenciales=100

Page 35: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

7. Universidades públicas docentes

UVA – UM – ULPGC – UNEX – UCA – UDC – UNILEON – UAL – UHU – UJAEN – UCLM – UBU

Universidades públicas presenciales=100

Page 36: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Peso relativo de los grupos estratégicos en el SUE

36

Universidades altamente especializadas

Grandes universidades metropolitanas

Jóvenes universidades investigadoras

Universidades regionales generalistas

Universidades privadas

Universidades públicas docentes

Universidades a distancia

% Presupuesto del sistema universitario

11%

21%

14%

30%

17%

2%

6%

% Profesores doctores del sistema universitario

% Alumnos grado y máster del sistema universitario

9%

17%

14%

24%

16%

15%

6%

15%

13%

21%

14%

27%

3%

8%

15%

Page 37: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Conclusiones

Page 38: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Conclusiones

38

Existe una fuerte heterogeneidad latente en el sistema universitario español.

Esta heterogeneidad se traduce en la formación de siete tipos básicos de universidad

(grupos estratégicos) en función de las características del entorno en el que actúan de

manera preferente, las características de sus input y la de sus recursos financieros.

Ignorar esta heterogeneidad en la evaluación del rendimiento de estas instituciones puede

generar procesos faltos de equidad.

Al contrario, tener en cuenta esta heterogeneidad puede favorecer los procesos de

mejora en la gestión en la medida en que las universidades de un grupo pueden identificar

a las instituciones que, con dotaciones de recursos similares, tengan desempeños

superiores y mediante ejercicios de benchmarking compartir las buenas prácticas que les

llevan a esos resultados.

Pero para ello primero…

… será necesario demostrar que, efectivamente, en el seno de un mismo grupo

estratégico hay diferencias de desempeño y…

… que diferentes grupos estratégicos muestran diferencias en sus resultados fruto de

la pertenencia a distintos grupos

Page 39: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Grupos estratégicos de universidades en el Sistema Universitario Español,

identificación y descripción

Joaquín Aldás Manzano

Universitat de València e Ivie

Madrid, 13 de diciembre de 2016

Page 40: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie
Page 41: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Resultados docentes, investigadores y de transferencia de los grupos

estratégicos del Sistema Universitario Español

Alejandro Escribá Esteve

Universitat de València e Ivie

Madrid, 13 de diciembre de 2016

Page 42: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Presentación de resultados del Estudio

Alejandro Escribá Universitat de València e Ivie

Resultados docentes, investigadores y de

transferencia de los grupos estratégicos

del Sistema Universitario Español

Page 43: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Introducción

Objetivo

La medición del desempeño de las universidades

Niveles de desempeño de los grupos estratégicos identificados

Docencia

Investigación

Transferencia

Conclusiones e implicaciones

43

Page 44: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Introducción

El Sistema Universitario Español presenta una elevada heterogeneidad en cuanto a las características de las universidades que lo componen y contextos en los cuales operan.

Las comparaciones de desempeño que no tienen en cuenta dicha heterogeneidad corren el riesgo de infravalorar la eficacia relativa de algunas universidades que parten de condiciones más desfavorables.

Es posible identificar grupos estratégicos de universidades, es decir, grupos de universidades que son similares entre sí, y que se enfrentan a los desafíos de su triple misión partiendo de recursos, características y condiciones parecidas.

La medición del desempeño a través de los grupos estratégicos

Puede proporcionar una imagen más justa y equitativa de la eficacia de las instituciones

Permite identificar universidades que puedan ser consideradas como referentes próximos y factibles de los cuales aprender o trasladar prácticas (benchmarking eficiente)

Complementa otros sistemas de evaluación (generalmente enfocados en los usuarios o la administración) aportando una perspectiva más apropiada para los gestores de las instituciones universitarias y los responsables de las políticas públicas

Page 45: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Objetivos

Comprobar si los niveles de desempeño de las universidades están influidos por la pertenencia a los grupos estratégicos.

Identificar universidades con niveles de eficacia superiores a sus pares (resto de universidades, especialmente las pertenecientes al mismo grupo) que puedan servir de referentes de mejora

Valorar las implicaciones de adoptar una perspectiva de grupos estratégicos en el estudio del desempeño de las universidades y en el planteamiento de estrategias de benchmarking

Page 46: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Objetivos

Identificación de grupos

Factores estables/estructurales

Características del contexto

Características de la

organización

Características de los inputs

Factores palanca/modificables

Comportamientos /

Estrategias / Respuestas Outputs / desempeño

Factores similares en el grupo

estratégico

Explican la parte del desempeño que

se debe a la dotación de recursos y

a las condiciones contextuales

Acciones individuales

(no analizadas en este trabajo)

Explican la parte de desempeño

asociada a cómo se utilizan los

recursos y cómo se aprovecha el

contexto

Indicadores de

desempeño

Valoración de los

resultados en

docencia

investigación y

transferencia

Evaluación del desempeño

Page 47: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

La medición del desempeño de las universidades

Page 48: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Qué es el desempeño de las universidades, y cómo medirlo La evaluación del desempeño es necesaria para avanzar en el objetivo último de mejorar la calidad, la eficacia y

la eficiencia de los sistemas universitarios.

No existe un modelo general acerca de cómo debe medirse el desempeño o la eficacia de las organizaciones

Constructo multidimensional. Recoge diferentes misiones y realidades. No se conoce bien la interacción entre dimensiones.

Constructo subjetivo. Diferentes interpretaciones según la función de objetivos del que evalúa u observa (estudiantes, empleadores, personal, gestores, administración…)

Medición adoptada:

Atiende de modo individualizado las 3 misiones que definen a las universidades en el SUE (docencia, investigación, innovación y desarrollo tecnológico).

Adopta las perspectivas propias de los responsables de la mejora del sistema (gestores, administración)

Asume la universidad como unidad de análisis

Utiliza datos objetivos

Analiza un periodo de desempeño con un promedio de 3 años para cada variable

48

Page 49: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño docente

49

Factor Dimensión Indicador Año Fuente

RD1 Tasa de éxito 2013-2014 CRUE

RD2 Tasa de evaluación 2013-2014 CRUE

RD3 Tasa permanencia 2013-2014 CRUE

EMP1Tasa de afiliación a la seguridad social de los

egresados de la universidad2011-2014 MECD

EMP2% de egresados empleados en su categoría

profesional2011-2014 MECD

Docencia

Resultados

docentes

Empleabilidad

Page 50: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

50

Desempeño investigador

Factor Dimensión Indicador Año Fuente

VI1Documentos citables con referencia ISI por cada 100

profesores doctores

Media 2011-

2013

IUNE

(Thomson

Reuters)

VI2Tesis doctorales leídas por cada 100 profesores

doctores

Media 2011-

2013

CRUE y

MECD

CI1 Factor medio de impactoMedia 2011-

2013

IUNE

(Thomson

Reuters)

CI2 % de publicaciones en el primer cuartilMedia 2011-

2013

IUNE

(Thomson

Reuters)

CI3 Citas por documentoMedia 2011-

2013

IUNE

(Thomson

Reuters)

Investigación

Volumen de la

investigación

Calidad de la

investigación

Page 51: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

51

Desempeño en transferencia

Factor Dimensión Indicador Año Fuente

LICIngresos por licencias por cada 100 profesores

doctores

Media 2011-

2013

IUNE (OTRIS)

y CRUE

PAT Número de patentes por cada 100 profesores doctores Media 2012-

2014

IUNE

(INVENES)

y CRUE

Innovación y

desarrollo

tecnológico

Ingresos por

licencias

Page 52: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Normalización y representación Ante la diversidad de escalas de las medidas de las diferentes variables se opta por normalizar

todas las medidas en una escala de 0 a 100.

100 = Valor máximo alcanzado en una dimensión por cualquiera de las universidades del SUE

0 = Valor mínimo alcanzado en una dimensión por cualquiera de las universidades del SUE

Posteriormente, se agregan los indicadores para la formación de su dimensiones del desempeño

Docencia: Empleabilidad (2 indicadores); Resultados Docentes (3 indicadores)

Investigación: Volumen de investigación (2 indicadores); Calidad de la investigación (3 indicadores)

Transferencia: Ingresos por patentes (1 indicador); Ingresos por licencias (1 indicador)

Se adopta una solución de 2 dimensiones por ámbito de desempeño para facilitar una visualización gráfica y fácilmente comprensible.

Se agrega mediante medias aritméticas simples de los indicadores de cada su dimensión

52

Page 53: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Niveles de desempeño de los grupos estratégicos

identificados

Page 54: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Grupos estratégicos identificados Se han identificado 7 grupos estratégicos en el SUE

54

1. Todas las universidades

2. Universidades presenciales

3. Universidades públicas presenciales UOC

UDIMA

UNED

UEMC

UIC

URLL

UV IC

UCHUCV

COMILLA SUANE

UEM

UNUDE

UMON

USJ

b) Universidades presenciales

Universidades privadas

públicas presenciales

UAH

UAL

UCA

UCO

UGR

UHUUJAEN

UMA

UPO

US

UNIZAR

UNIOVI

UIB

ULL

ULPGCUNICAN

UBU

UNILEON

USAL

UVA

UCLM

UAB

UB

UDG

UDL

UPC

UPF

URV

UA

UJI

UMH

UPV

UV

UNEX

UDC

USC

UVIGO

UAM

UC3M

UCM

UPM

URJC*

UM

UPCT

UPNA

UPV-EHU

UNIRIOJA

Page 55: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Análisis del desempeño en

docencia por grupos estratégicos

Page 56: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño docente

Poca variabilidad en cuanto a resultados docentes entre grupos estratégicos

Diferencias considerables en

resultados de empleabilidad, pero fuertemente influidos por el contexto regional en el que operan las universidades de cada grupo

Resultados docentes medios en los grupos estratégicos

1. Universidades

a distancia

6. Universidades regionales

generalistas 7. Universidades públicas docentes

5. Jóvenes universidades investigadoras

4. Grandes univ. metropolitanas

2. Universidades privadas

3. Universidades altamente

especializadas

Page 57: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño docente – Heterogeneidad intragrupo Grupo 2. Universidades Privadas 1. Resultados docentes

2. Empleabilidad

Page 58: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Características de las universidades privadas Universidades públicas presenciales=100

UEMC – UCV – UCH – USJ – UVIC – UN – UDE – UMON – UIC – COMILLAS – UANE – URLL – UEM

Page 59: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño docente – Comparativa En algunos grupos hay mayor heterogeneidad interna que en otros, pero el efecto

de los grupos, y especialmente del contexto regional, es evidente

Grupos 2, 3 y 4 Grupos 5 y 6 Grupo 7

Page 60: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Análisis del desempeño en

investigación por grupos estratégicos

Page 61: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño investigador

Elevada variabilidad tanto en volumen como en calidad de la investigación

La pertenencia al grupo tiene una

fuerte capacidad explicativa, aunque también existe gran heterogeneidad intragrupo

Resultados de investigación medios en los grupos estratégicos

1. Universidades

a distancia

6. Universidades regionales generalistas

7. Universidades

públicas docentes

5. Jóvenes universidades investigadoras

4. Grandes universidades metropolitanas

2. Universidades privadas

3. Universidades altamente

especializadas

Page 62: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño investigador – Heterogeneidad intragrupo Grupo 4. Grandes universidades metropolitanas

2. Volumen de la investigación

1. Calidad de la investigación

Page 63: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Características del grupo 4 Universidades públicas presenciales=100

UCM – UAM – UAB – UAH – UB – UV

Page 64: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño investigador – Comparativa Considerable variabilidad tanto intragrupo como intergrupo, pero… Los grupos explican el 59% de la varianza explicada de la calidad de la investigación y el 41% del

volumen

Grupo 2 Grupos 5, 6 y 7 Grupos 3 y 4

Page 65: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Análisis del desempeño en

transferencia por grupos estratégicos

Page 66: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño en transferencia

El carácter tecnológico de las universidades politécnicas sitúa al grupo 3 en clara superioridad frente al resto.

Poca variabilidad en el resto de grupos, si

bien hay muchísima variabilidad interna

Resultados de innovación y desarrollo tecnológico medios en los grupos estratégicos

Page 67: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño transferencia – Grupo 3 Grupo 3. Universidades altamente especializadas

2. Patentes por profesor doctor ETC

1. Ingresos por licencias por profesor doctor ETC

Page 68: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Características de las universidades altamente especializadas Universidades públicas presenciales=100

UPF – UC3M– UPV– UPC– UPM

Page 69: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Desempeño en transferencia – Comparativa Elevadísima variabilidad en todos los grupos Patrones poco claros del efecto de la pertenencia al grupo Área de mejora en cuanto a la medición del desempeño

Grupo 2 y 7 Grupos 4, 5 y 6 Grupo 3

Page 70: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Conclusiones e implicaciones

Page 71: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Conclusiones

71

La pertenencia a los grupos estratégicos explica una parte considerable de

la varianza explicada del desempeño de las universidades (entre el 40 %y el

50%) en la mayor parte de las variables consideradas

Las evaluaciones del desempeño de las universidades deben ser realizadas

con precaución, pues no todas las universidades cuentan con las mismas

condiciones de partida.

Los grupos estratégicos permiten entender mejor estas realidades y diseñar

acciones de mejora más eficaces o realizar evaluaciones más equitativas

La heterogeneidad existente dentro de cada grupo estratégico indica que las

universidades pueden activar palancas para lograr mejores niveles de

desempeño en diferentes ámbitos, a partir de condiciones de partida similares

Este planteamiento permite identificar, en la mayor parte de los grupos

estratégicos, casos de universidades con muy buenos niveles de desempeño

que pueden servir de referencia próxima para realizar ejercicios de

benchmarking más realistas.

Page 72: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Conclusiones

72

Docencia

Necesidad de establecer medidas de eficacia en la empleabilidad a partir

de indicadores que tengan en cuenta las condiciones laborales y

económicas del contexto próximo en el que están ubicadas las

universidades

Investigación

Existen diversos caminos, o combinaciones de recursos, para lograr

una eficacia por encima del promedio en la producción de

investigación, tanto en volumen como en calidad.

Parece necesaria una masa crítica de recursos orientados a la

investigación

Transferencia

Menor patrón territorial que la docencia (empleabilidad) o la investigación

Page 73: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Implicaciones

73

Sobre la evaluación. ¿Cómo deben evaluarse las universidades? ¿Cuál debe ser el

marco de referencia?

Docencia. Empleabilidad-Territorio / Resultados docentes muy homogéneos

Investigación. Factores de impacto vs. Impacto económico-social

Transferencia. Necesidad de medidas más comprehensivas.

Instituciones con diferente énfasis en cada una de las 3 misiones.

Mediciones con menos ruido; marco temporal adecuado

Mejora del SUE. Estrategias y posicionamiento que deberían adoptar los diferentes

actores clave (administración central y autonómica, normativas, gestores universitarios)

Definición de objetivos. ¿Qué es la eficacia? ¿Dónde debería situarse el SUE?

¿Cuál debería ser su estructura?

Valorar diferentes tipologías de universidades

Establecer políticas que incentiven la mejora

Elevar el desempeño de las universidades situadas en la frontera

Aproximar al resto de universidades hacia la frontera de su grupo

Reducir paulatinamente las barreras de movilidad y favorecer la permeabilidad

en el SUE

Page 74: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Resultados docentes, investigadores y de transferencia de los grupos

estratégicos del Sistema Universitario Español

Alejandro Escribá Esteve

Universitat de València e Ivie

Madrid, 13 de diciembre de 2016

Page 75: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie
Page 76: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Mesa Redonda Lecciones de los grupos estratégicos para la

mejora del Sistema Universitario Español

Page 77: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

José Juan Moreso Presidente de la Agencia para la Calidad de las Universidades (AQU) en Cataluña, Ex-Rector de la UPF

José María Sanz Rector de la UAM

Juan Manuel Mora Vicerrector de Comunicación de la Universidad de Navarra

Julio Iglesias de Ussel Catedrático de la Universidad Complutense, Ex Secretario de Estado de Universidades

Page 78: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Alcance de la heterogeneidad

• ¿Considera relevante la heterogeneidad en el SUE? ¿Cree que el mapa de grupos estratégicos que propone el estudio es realista?

• ¿Tiene sentido que la legislación contemple un único modelo de universidad que realiza tanto docencia como investigación y transferencia?

• ¿Convendría diferenciar distintos modelos de universidades, a semejanza del sistema americano?

• ¿Puede ayudar la diferenciación a mejorar el rendimiento global del SUE o lo empeoraría?

Page 79: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Evaluación de las universidades

• ¿Deberían contemplar los sistemas de evaluación de las universidades la importancia en cada institución de la docencia, la investigacion, y la innovacion y el desarrollo tecnologico?

• ¿Debe ser la referencia para la evaluacion y comparacion del desempeno el conjunto del Sistema Universitario o el grupo más similar (grupo estratégico)?

• ¿Deben tenerse en cuenta en las evaluaciones los factores de entorno?

• ¿Cuestiona la heterogeneidad el valor de los rankings generales? ¿Los hace irrelevantes?

Page 80: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Estrategias de mejora

• ¿Que estrategias pueden impulsar la mejora del Sistema Universitario en su conjunto, una vez detectada su heterogeneidad?

• ¿Qué objetivos estratégicos deben ser específicos para algunos grupos de universidades?

• ¿Qué mejoras pueden abordarse desde el ámbito de gestión de las propias universidades, con independencia de su entorno?

• ¿Qué pueden hacer las administraciones responsables de las políticas educativas para impulsar las mejoras de las universidades?

Page 81: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

Propuestas de mejora

• ¿Qué objetivos propondría para las universidades pertenecientes a los grupos que presentan los mejores resultados?

• ¿Qué objetivos propondría para mejorar el desempeño de las universidades con dotaciones de recursos más modestas y contextos menos favorables?

• ¿Qué actuaciones generales propone para mejorar el conjunto del Sistema Universitario Español?

Page 82: Condicionantes del desempeño de las universidades españolas. Seminario Fundacción BBVA - Ivie

82