Propuesta metodológica para la evaluación Propuesta metodológica para la evaluación de la calidad docente e investigadora:de la calidad docente e investigadora:

Planteamiento y experimentación

Antonio Pulido

Julián Pérez

Almería, 19/20 de junio de 2003

Fases de la aplicaciónFases de la aplicación1) Listado de actividades a valorar en un profesor

universitario2) Ponderación de actividades por un panel de expertos3) Análisis de ponderaciones: peculiaridades y sesgos4) Elaboración del banco de datos sobre curricula de

profesores universitarios5) Transformación de banco de curricula a banco de

datos de indicadores6) Simulación de resultados según ponderaciones

alternativas7) Análisis de simulaciones, ordenaciones de profesores

y umbrales de calidad

Hemos considerado 54 actividades agrupadas en 12 componentes y 3 grandes bloques

Bloque 1: Investigación Publicaciones Proyectos de investigación Congresos Transferencia de resultados Formación de investigadores Premios y distinciones

Actividades a valorar enActividades a valorar enun profesor universitarioun profesor universitario

Actividades a valorar enActividades a valorar enun profesor universitarioun profesor universitario

Bloque 2: Docencia Clases y tutorías

Programas y material docente

Participación en actividades docentes

Bloque 3: Gestión Gestión de la investigación

Gestión de la docencia

Otras tareas de gestión

Ponderaciones de primerPonderaciones de primery segundo nively segundo nivel

Ponderaciones de primer y segundo nivel Peso 1º nivel Peso 2º nivel

Investigación 0,434 Publicaciones 0,351 Proyectos de Investigación 0,214 Congresos 0,114 Transferencia de resultados 0,098 Formación de Investigadores 0,167 Premios y Distinciones 0,056 Docencia 0,426 Clases y Tutorías 0,575 Programas y Material Docente 0,284 Part. En Actividades Docentes 0,140 Gestión 0,14 Gestión Investigación 0,440 Gestión Docencia 0,399 Otras tareas de Gestión 0,162

Ponderaciones finales ordenadasPonderaciones finales ordenadas(porcentajes del total)(porcentajes del total)

ActividadActividad %%

1 Coordinación de las Asignaturas 6,3

2 Tutorías 6,2

3 Resultados de las Asignaturas 6,0

4 Calificación en encuestas de alumno 5,9

5 Artículos en revistas internacionales 3,8

6 Libros científicos o monografías 3,4

7 Capítulos de libros científicos 3,1

8 Artículos en revistas nacionales 2,8

9 Elaboración Material Docente 2,6

10 Libros de texto 2,5

ActividadActividad %%

11 Elaboración de programas 2,4

12 Incorporación Internet Docencia 2,3

13 Dirección Grupos de Inv. 2,3

14 Responsable Proy. Internacionales 2,2

15 Uso de SW/TI en Docencia 2,2

16 Documentos de trabajo 2,1

17 Responsable Proyectos Nacionales 2,1

18 Decano o Equipo Decanal 2,1

19 Organización de Congresos 2,0

20 Participación Proy. Internacionales 1,9

Ponderaciones finales ordenadasPonderaciones finales ordenadas(porcentajes del total)(porcentajes del total)

ActividadActividad %%

21 Tesis Dirigidas 1,9

22 Part. en comisiones investigación 1,9

23 Part. Comisiones de Trabajo 1,9

24 Participación Proyectos Nacionales 1,7

25 Formación de nuevos profesores 1,7

26 Otras tareas de Gestión Académica 1,6

27 Cursos de Doctorado 1,5

28 Part. proy. de innovación docente 1,5

29 Otros Proyectos 1,4

30 Tesinas y Proyectos Fin de Carrera 1,4

Ponderaciones finales ordenadasPonderaciones finales ordenadas(porcentajes del total)(porcentajes del total)

ActividadActividad %%

31 Pub. sobre calidad docente 1,4

32 Cursos de Máster 1,3

33 Part. Comisiones calidad docencia 1,3

34 Otros Cursos de Postgrado 1,2

35 Ponencia Congreso Internacional 1,1

36 Patentes Internacionales 1,0

37 Ponencia Congreso Nacional 0,9

38 Comunicación Congreso Int. 0,9

39 Patentes Nacionales 0,9

40 Contratos Empresas Privadas 0,8

Ponderaciones finales ordenadasPonderaciones finales ordenadas(porcentajes del total)(porcentajes del total)

ActividadActividad %%

41 Contratos con las AAPP 0,8

42 Comunicación Congreso Nacional 0,7

43 Póster Congreso Internacional 0,7

44 Dictámenes e Informes 0,7

45 Premios Internacionales 0,7

46 Póster Congreso Nacional 0,6

47 Premios Nacionales 0,6

48 Part. órganos asesores a empresas 0,6

49 Publicaciones en prensa periódica 0,6

50 Desarrollo iniciativas de Internet 0,6

Ponderaciones finales ordenadasPonderaciones finales ordenadas(porcentajes del total)(porcentajes del total)

ActividadActividad %%

51 Pertenencia Asoc. Científicas Int. 0,5

52 Actividades de difusión 0,5

53 Pertenencia Asoc. Científicas Nac. 0,4

54 Otras Distinciones 0,4

Ponderaciones finales ordenadasPonderaciones finales ordenadas(porcentajes del total)(porcentajes del total)

Composición del panelComposición del panel de expertos para ponderaciónde expertos para ponderación

SexoSexoTotal N Total N

(%)(%)MujerMujer HombreHombre

Grandes áreasGrandes áreas N % fila % col. N % fila % col.

Ciencias Ciencias ExperimentalesExperimentales

13 21.0 30.2 49 79.0 45.4 62 (41.1)

Ciencias Sociales Ciencias Sociales y Humanidadesy Humanidades

12 41.4 27.9 17 58.6 15.7 29 (19.2)

EconomíaEconomía 18 30.0 41.9 42 70.0 38.9 60 (39.7)

TotalTotal 43 28.5 100.0 108 71.5 100 151 (100)

Composición del banco deComposición del banco de datos de curricula de profesoresdatos de curricula de profesores

InvestigaciónInvestigación DocenciaDocencia ConjuntaConjunta

Grandes áreas N % N % N %

Ciencias Ciencias NaturalesNaturales

76 50% 28 58% 22 31%

Ciencias Sociales Ciencias Sociales y Humanidadesy Humanidades

35 23% 12 25% 18 25%

EconomíaEconomía 63 42% 8 17% 32 44%

Total 174 100% 48 100% 72 100%

Paso del dato del curriculum aPaso del dato del curriculum aíndices simples y a indicador de calidadíndices simples y a indicador de calidad

mijkN = Nota obtenida por el individuo m en la actividad k-ésima, de la componente j-ésima del bloque i-ésimo

maxijkN = Nota máxima de todos los individuos observados

100.max

ijk

mijkm

ijk NN

I

*ijkW = Ponderación otorgada a la actividad ijk obtenida como

ponderación en cadena Wi*Wij* WijkmE = Índice de calidad/esfuerzo del profesor m

mijk

kjiijk

m IWE .,,

*

Escasa relación entre esfuerzo docente e

investigador ¿Un buen investigador no necesariamente es un buen

docente y viceversa?

¿Los profesores que se centran más en investigación

dedican menos tiempo a la docencia?

Posible relación entre algunas actividades docentes y

algunas actividades investigadoras Los profesores mejor valorados por sus clases parecen

tener alguna relación con premios recibidos, realización

de proyectos o formación de postgrado

Resultados docencia/investigaciónResultados docencia/investigación

De los 10 profesores más valorados en su conjunto (13 actividades) según ponderaciones de expertos, sólo la mitad están entre los 10 primeros en valoración de alumnos

De los 10 profesores con menor nota global sólo uno se encuentra en ese grupo por la encuesta a alumnos. Incluso la mitad pertenecen al 50% de los más valorados en encuestas

La valoración de profesores por parte de los alumnos muestra relación con el esfuerzo en material educativo y la cantidad de clases impartidas

Resultados docenciaResultados docencia

Existen grandes diferencias en la ordenación de profesores según que se consideren, 1) el conjunto de actividades, 2) sólo publicaciones, 3) sólo transferencia de resultados (contratos y patentes), 4) proyectos y congresos

De los 50 investigadores mejor valorados en conjunto, 42 (el 84%) estarían en la lista de los mejor valorados por publicaciones

Los 50 investigadores peor clasificados en conjunto, también se encontrarían en ese grupo en cuanto a publicaciones

La participación de Economía en los investigadores de cabecera es proporcionalmente similar a las otras áreas (Ciencias y Tecnología o Sociales y Humanidades)

Los más afectados en la ordenación son la mayoría de profesores con nota intermedia y además según edades y años de experiencia (años desde título de doctor)

Resultados investigaciónResultados investigación

La evaluación de calidad es imprescindible, debe garantizar un proceso transparente y debe proporcionar a los afectados la información y estímulos para su progresivo perfeccionamiento

Las Agencias de Evaluación deberían considerar diversos aspectos de la actividad de un profesor a fin de evitar injusticias comparativas

Es necesario realizar una evaluación pormenorizada de la relación entre actividades que conducen a la calidad conjunta en docencia e investigación

La ponderación de actividades de un profesor universitario no tiene una solución única, dependiendo del entorno, objetivos institucionales y los propios fines de la evaluación

Principales conclusionesPrincipales conclusiones

Propuesta metodológica para la evaluación Propuesta metodológica para la evaluación de la calidad docente e investigadora:de la calidad docente e investigadora:

Planteamiento y experimentación

Antonio Pulido

Julián Pérez

Almería, 19/20 de junio de 2003