Embed Size (px)
Citation preview
Evaluación de la
actividad investigadora española:
luces y sombras
Emilio Delgado López-Cózar
Profesor Técnicas Documentales aplicadas a la Investigación y
Metodología del Trabajo Intelectual
Departamento de Biblioteconomía y Documentación
Universidad de Granada
Centro Mediterráneo Universidad de Granada
La evaluación en la ciencia Motril 21-25/09/1998
Axiomas previos
• Necesidad evaluación rendimiento y calidad
actividad investigadora
– Impacto social de la ciencia
– Recursos escasos
– En ciencia no todos somos iguales
• Tema polémico
• Tema trascendente
– Condiciona la orientación de la investigación de un país
– Condiciona la promoción profesional
– Condiciona la posibilidad de investigar
– Otorga reconocimiento personal y social
Axiomas previos
El sistema de evaluación
• El mejor sistema es el menos malo
• No existen fórmulas mágicas
• Dificultad evaluar producción científica
¿Qué es y cómo se mide la calidad científica?
Objeto multidimensional
El conocimiento científico no es objetivable
• Un buen sistema de evaluación es como un buen traje:
debe estar hecho a medida
Los métodos de evaluación más objetivos (los bibliométricos) son
los menos relevantes mientras que los menos objetivos
(evaluación por pares) son los más relevantes
Evaluación actividad investigadora
en España
• ¿Desde cuándo? Antecedentes
• ¿Para qué se evalúa?
• ¿Qué se evalúa?
• ¿Con qué criterios?
• ¿Cómo y quién evalúa?
• Controles
• Los resultados
• Los defectos
• Las consecuencias
• Las propuestas
¿Desde cuándo? Antecedentes
• Ley de Reforma Universitaria 1983
• Ley 13/1986 de Fomento y Coordinación General de la Investigación Científica y Técnica Necesidad medidas para el fomento de la productividad del personal investigador
• Estudio UAB para el MEC sobre modelo retributivo profesores universitarios españoles: – Modelo retributivo estrecho
– Buenos salarios profesores que inician su carrera docente y malos para los que la finalizan
• Real Decreto 1086/1989 sobre Retribuciones del Profesorado de Universidad – Introducción complemento productividad
– Introducción complemento por méritos docentes
• Creación panel científicos a iniciativa del MEC para fijar procedimiento evaluación: – Evaluación por pares
– Evalación individualizada por comités campos científicos con sus propios criterios evaluativos
¿Desde cuándo?
Antecedentes
• Creación de la Comisión Nacional de Evaluación de la Actividad Investigadora – Orden de 28 de diciembre de 1989
• Aprobación procedimiento evaluación
– Orden 5 de febrero de 1990
• Primera evaluación 1990
• Cambios y matizaciones y desarrollos parciales
procedimiento evaluación
– Orden de 3 de noviembre de 1989
– Orden 3 de diciembre de 1992
– Nuevo procedimiento de evaluación. Órdenes de 2 y 5 de
diciembre de 1994
– Aprobación criterios específicos en los campos de evaluación de la
actividad investigadora (Resolución 6 de noviembre de 1996)
¿Para qué se evalúa?
• Incentivar la actividad docente e investigadora
individualizada de los profesores universitarios e
investigadores del CSIC
– Estimular la calidad en el desempeño de la actividad docente e
investigadora
– Premiar individualmente a quiénes realizan un esfuerzo por
conseguirlo
– No se trata de aprobar o suspender la labor investigadora de un
profesor, sino incentivar, premiar un trabajo
• Mejorar la difusión nacional e internacional de la
producción científica española
¿Qué se evalúa?
• Las cinco aportaciones más relevantes de un investigador en un período de 6 años
• Aportaciones ordinarias:
– Libros, capítulos de libros, prólogos, introducciones y anotaciones de textos
– Artículos en revistas científicas
– Patentes y modelos de utilidad
• Aportaciones extraordinarias:
– Informes, estudios y dictámenes
– Trabajos técnicos y artísticos
– Participación en exposiciones, excavaciones arqueológicas y catalogaciones de reconocido prestigio
– Dirección de tesis doctorales de méritos excepcionales
– Comunicaciones a congresos, como excepción
Se evaluarán fundamentalmente las aportaciones ordinarias. Las extraordinarias tienen carácter complementario, salvo circunstancias especiales
¿Cómo se evalúa? Procedimiento
• Solicitud voluntaria
• Adscripción solicitud a campo científico. Solicitante sugiere, CNEAI decide
• Juicio técnico no vinculante emitido por el Comité Asesor o especialista ad hoc
– El juicio se expresará en términos numéricos de 0 a 10 puntos.
– Evaluación positiva: mínimo 6 puntos
– Deberán ser valoradas positivamente las 5 aportaciones, excepto si algunas de ellas son de gran calidad y poseen alta difusión
• CNEAI decide a la vista del informe
• Notificación personal y directamente al solicitante
¿Quién evalúa?
• Órgano evaluador: Comisión Nacional Evaluadora de la Actividad Investigadora. – Composición
• Director General de Investigación Científica y Técnica
• Un representante por cada CCAA con competencias
• Siete representantes MEC designados por SEUI
• Órganos asesores:
– Comités Asesores:
• 11 campos científicos: Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitectura, Ciencias Sociales / Económicas /Políticas / Comportamiento y Educación, Ciencias Económicas y Empresariales, Derecho y Jurisprudencia, Historia y Arte, Filosofía/Filología /Lingüística
• Composición: Investigadores de reconocido prestigio con al menos tres tramos de investigación concedidos.
– Especialistas ad hoc, cuando sean necesarios en función de la especificidad de las aportaciones.
¿Con qué criterios?
Criterios de evaluación
- Principios generales
- Principios específicos según campos de
conocimiento
Principios generales
• La contribución al progreso del conocimiento, la
innovación y creatividad
• Se primarán los trabajos formalmente científicos o
innovadores, frente a los meramente descriptivos, a
los que sean simple aplicación de los conocimientos
establecidos o a los de carácter divulgativo
• No se valorarán los trabajos meramente descriptivos
o las reiteraciones de trabajos previos, salvo en los
casos en que contribuyan claramente a la
consolidación del conocimiento
Principios específicos
• Matemáticas, Física, Química, Biología Celular/Molecular, Biomedicina
– Sólo aportaciones ordinarias
• Ciencias de la Naturaleza
– Trabajos de investigación
– Trabajos descriptivos del medio natural que sean de interés social incuestionable
• Ingeniería y Arquitectura
– Trabajos de investigación
– Trabajos de desarrollo técnico. En función:
• Interés para el sector productivo o institucional
• No servicios o aplicaciones de conocimientos establecidos
– Trabajos de creación artística. Deberán:
• Repercusión medible en su entorno
• Tener amplio reconocimiento
Principios específicos
• Ciencias Sociales, Políticas, del Comportamiento y Educación
– Sólo aportaciones ordinarias
– Excepcionalmente estudios, informes, dictámenes en función de que:
• El tema tratado sea importante desde una perspectiva nacional/regional o ayude a la solución de problemas en las administraciones públicas o empresas
• Posean rigor científico
• No sean una mera aplicación
• Ciencias Económicas y Empresariales
– Fundamentalmente ordinarias y excepcionalmente extraordinarias
– También estudios, informes, dictámenes con los mismos requisitos del área anterior
Derecho y Jurisprudencia
– Fundamentalmente ordinarias y excepcionalmente extraordinarias
– También se considerarán: • Monografías que se reconozcan como obras de referencias de difusión generalizada
• Manuales si suponen un progreso en la organización de un campo de conocimiento
• Los textos legislativos y jurisprudenciales que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español
• Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que esclarezcan criterios de actuación de los tribunales y comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho
– No se considerarán: • Libros de texto, programas, apuntes, supuestos... • Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares • Recopilaciones legislativas • Glosas de sentencias • Dictámenes y proyectos que no sean de público conocimiento
– Se valorarán preferentemente los trabajos que: • Constituyan una aportación original de carácter doctrinal, teórico o conceptual que hayan
tenido repercusión nacional o internacional
• Desarrollen nuevas perspectivas de la ciencia jurídica, basadas en estudios doctrinales, legislativos y jurisprudcenciales de derecho comparado
Historia y Arte
– Fundamentalmente ordinarias y excepcionalmente extraordinarias
– Se valorarán preferentemente los estudios analíticos y comparados frente a los descriptivos
– No se considerarán
• Libros de texto, apuntes, obras de divulgación o artículos de opinión
• Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares
• Meras catalogaciones sin estudios históricos o artísticos
• Meras transcripciones sin juicio crítico y análisis histórico
• Prólogos o introducciones que sean meros resúmenes o descripciones de la obra
• Trabajos localistas
Filosofía, Filología y Lingüística
– Fundamentalmente ordinarias y excepcionalmente
extraordinarias
– No se considerarán:
• Libros de texto o apuntes
• Artículos de opinión
• Obras de divulgación
• Antologías o diccionarios comunes
• Ediciones de textos o traducciones salvo que estén
precedidas de estudios preliminares
• Manuales salvo que supongan un progreso en la
organización de un campo de conocimiento
Indicios de calidad
• Relevancia científica del medio de difusión en el que se haya publicado cada aportación
• Citas recibidas de otros autores
• Apreciación del propio investigador sobre la contribución de su obra
• Datos sobre la explotación de patentes
• Reseñas en revistas especializadas
Indicios calidad revistas científicas
• Las que ocupan posiciones relevantes en los listados del JCR del SCI y SSCI (Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias
Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitecturas, Ciencias Sociales, Económicas)
• Aquellas que cuenten con
– Comité editorial formado por especialistas de reconocido prestigio en su materia
– Un riguroso proceso de evaluación de manuscritos
(Ciencias Sociales, Económicas, Historia, Arte, Filosofía, Filología y Lingüística)
• Revistas incluidas en bases de datos o repertorios bibliográficos de prestigio (Philosopher’s Index) (Filosofía, Filología y Lingüística)
• CNEAI elabora listados de revistas de calidad
Indicios de calidad complementarios
• Importancia del tema del trabajo, que deberá
ser equivalente a los que se publican
normalmente en las revistas descritas en el
punto anterior
• Rigor en el planteamiento y desarrollo del
trabajo
• Importancia de los resultados, analizados por
el impacto científico medible
Controles
• Publicación en BOE nombres de los
integrantes Comités Asesores
• Recusación miembros comités evaluación
• Informe motivado: inclusión de los
informes emitidos por los Comités asesores
o especialistas
• Recursos en tribunales ordinarios
Gráfico 1
Resultados globales evaluación investigadores españoles
(1990-1996)
78,6
70,0
0
10
20
30
40
50
60
70
80
90
100
Tramos concedidos Tramos solicitados
Gráfico 2
Resultados evaluación investigadores españoles
(1990-1996)
0
20
40
60
80
100
1990 1991 1992 1993 1994 1995 1996
%
Tramos concedidos Tramos solicitados
Gráfico 3
Tramos presentados investigadores españoles (1990-1996)
Distribución campos científicos
76,6
83,987,9
74,378,4
73,076,0
73,1
79,6 80,4 81,6
0
20
40
60
80
100
Mat
emát
icas
/Física
Quí
mica
Biologí
a Celul
ar/M
olec
ular
Biom
edicin
a
Cienc
ias de
la N
atur
alez
a
Inge
nier
ías/Arq
uite
ctur
a
Cienc
ias Soc
iales
Cienc
ias Eco
nóm
icas
Der
echo
Histo
ria/A
rte
Filoso
fía/F
ilologí
a
Gráfico 4
Tramos concecidos investigadores españoles (1990-1996)
Distribución campos científicos
81 80,385,1
70,3 70,4
59,1 57,6 58,6
73,668,4
65,3
0
20
40
60
80
100
Mat
emát
icas
/Física
Quí
mica
Biologí
a Celul
ar/M
olec
ular
Biom
edicin
a
Cienc
ias de
la N
atur
alez
a
Inge
nier
ías/Arq
uite
ctur
a
Cienc
ias Soc
iales
Cienc
ias Eco
nóm
icas
Der
echo
Histo
ria/A
rte
Filoso
fía/F
ilologí
a
Gráfico 5
Comparación tramos concedidos y presentados por campos científicos
(1990-1996)
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8 9 10 11
%
Tramos concedidos Tramos presentados
Gráfico 6
Comparación tramos concedidos y presentados por áreas científicas
(1990-1996)
74,4
63,266,8
79,176,2
81
0
10
20
30
40
50
60
70
80
90
100
Ciencia y Tecnología Ciencias sociales Humanidades
%
Tramos concedidos Tramos presentados
Gráfico 10
Número de áreas por campo científico
20
11
9
25
20
40
28
9
15
19
22
0
5
10
15
20
25
30
35
40
45
1 2 3 4 5 6 7 8 9 10 11
Campos científicos
Nº
áre
as
Gráfico 11
Comparación heterogeneidad de los campos científicos ccon tasas de presentación y éxito de tramos de
investigación
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8 9 10 11
Campos
Número de áreas por campo científico Tramos solicitados Tramos concedidos
Los defectos
• Sólo mide outputs
• Los evaluadores: ¿son realmente pares?
• No es realmente externo
• Produce sesgos
Conflictos de intereses
Efecto Mateo
• La difusión no es un indicador de calidad
• Uso acrítico del factor impacto: la
impactolatría
El factor impacto
ese oscuro objeto del deseo
• Cita = Calidad Más citas = Más calidad ?
• El FI se calcula a partir del SCI: esta BD no representa la
producción científica española en su conjunto
• El FI de una revista no es estadísticamente representativo de
los artículos individuales
• No existe correlación entre impacto de la revista y tasa de
citación de los artículos de científicos individuales o grupos
de investigación
• El FI es calculado por procedimientos que causan sesgos
Las consecuencias
• Se acabó el café para todos: un estímulo ante la atonía
universitaria
• Mejora en la calidad y rigor de los trabajos
• La publicación como problema: el síndrome de publicar.
La grafomanía
– Publica o Perece Perecer por Publicar
– Investigar para Publicar Publicar para Investigar
• Investigar lo publicable: Modificación en los temas de
investigación
• Cambios en los hábitos de publicación: la emigración
• Deficiente conexión de la ciencia española
– De los científicos españoles entre sí
– De los científicos y los profesionales
Artículos científicos producidos por España
1415
18
2523
21 20
13
11
10
9
0
5000
10000
15000
20000
25000
1974 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97
Años
Tra
ba
jos
SCI-E SCI-CD
% Participación en SCI
0
0,5
1
1,5
2
2,5
77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97
Años
%
%
DATOS DE PRODUCCIÓN E I+D DE EUROPA OCC.
0
10000
20000
30000
40000
50000
60000
70000
AL RU FR IT HO ES SU BE DI GR IR PO
TR
AB
AJ
OS
Producción
Inversiones en I+D
AUTORES CIENTÍFICOS Y PRODUCTIVIDAD
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
AL RU FR IT HO ES SU BE DI GR IR PO
TR
AB
AJ
OS
POBLACIÓN AUTORES
TRAB/ AUT
Las consecuencias
• Aumento comportamientos antiéticos: – Autoría: el autor fantasma – Publicación duplicada – Publicación esterilizante: el eterno bucle – Publicación múltiple o salami – Plagio – Inmadurez resultados – Publicación fraudulenta: falseamiento de datos
• Destrucción del español como lengua científica y de las
revistas españolas como medios de comunicación
• Abandono o descuido de la docencia
Las propuestas
• Obtener el respaldo de la comunidad científica objeto de evaluación – Tener en cuenta opinión investigadores (encuestas)
– Tener en cuenta opinión expertos en política y evaluación científica
• Compensar la evaluación por pares con técnicas bibliométricas
• Creación índice de citas de la producción científica española – Utilización Factor de Impacto observado
• Mantenimiento de las bases de datos nacionales
• Evaluación imputs (recursos de investigación). Relación recursos/resultados
Las propuestas
• Monitorización proceso de evaluación – Evaluación de los evaluadores y del proceso de evaluación
– Participación de Administración, Evaluadores e Investigadores
• Mejora herramientas evaluación – Más evaluadores: nacionales e internacionales
– Elaboración protocolos de evaluación: más ítemes, escalas de valor, conjunción juicios cuantitativos y cualitativos
• Mayor transparencia y difusión del proceso de evaluación: – Criterios de evaluación, procedimiento, aplicación
– Evaluadores: criterios de selección
– Publicidad de los resultados
• No postergar la publicación en revistas españolas que cumplan estándares editoriales
Tabla 1Número de documentos producidos en Biomedicina en el mundo y España
según el Science Citation Index y el Índice Médico Español (1980-1989)
Total mundialSCI
EspañaSCI
EspañaIME
1980 174.324 966 4.548
1981 181.460 1.065 4.784
1982 196.257 1.278 5.526
1983 200.583 1.352 6.696
1984 206.948 1.471 8.352
1985 213.693 1.807 8.944
1986 216.492 2.122 8.992
1987 221.004 2.394 11.091
1988 227.725 2.624 11.944
1989 216.279 2.618 13.698
Total 2.054.765 17.697 84.575
Gráfico 7
Comparación de la producción biomédica española indizada en el Índice
Médico Español con la indizada en el Science Citation Index
(1980-1989)
21,222,2
23,1
20,2
17,6
20,2
23,6
21,6 22
19,1
0
5
10
15
20
25
1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
% D
oc
um
en
tos
Comparativa según FI
UNIVERSIDAD SANIDAD CSIC
1986-89 2,16 1,84 1,53
1990-93 1,87 1,93 1,48
La citación
1980-84 1985-89
España Producción 20 13
Citas esperadas 29 77% 24 78%
Citas observadas 26 57% 26 56%
Biomedicina Producción 22 16
Citas esperadas 20 77% 20 75%
Citas observadas 24 54% 27 49%
Autores vs citas
N Eng J Med
2 3 2
22
54
0
20
40
60
80
100
120
140
160
>60 59--25 25--11 10--2 1 0
Au
tore
s / c
ita
s
Autores
Citas
Gráfico 8
Número de documentos indizados en el Índice Médico Español
(1980-1998)
0
2.000
4.000
6.000
8.000
10.000
12.000
14.000
16.000
1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998
Cobertura artículos españoles
en bases de datos
0
2000
4000
6000
8000
10000
12000
14000
1990 1991 1992 1993 1994 1995 1996 1997 1998
Años
Tra
ba
jos
IME
SCI-cd
MEDLINE
