399
Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud. 1999-2005. Tesis doctoral presentada por Daniel Torres Salinas TESIS DOCTORAL Granada, 2007

Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

0

Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud. 1999-2005.

Tesis doctoral presentada por Daniel Torres Salinas

TESIS DOCTORAL

Granada, 2007

Page 2: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

Editor: Editorial de la Universidad de GranadaAutor: Daniel Torres SalinasD.L.: Gr. 553 - 2007ISBN: 978-84-338-4270-1

Page 3: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

1

Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud. 1999-2005.

Presentada por Daniel Torres Salinas

Tesis doctoral dirigida por el Prof. Dr. D. Emilio Delgado López Cózar y el Prof. Dr. D. Evaristo Jiménez Contreras para La obtención del título de Doctor en Documentación.

TESIS DOCTORAL

Granada, 2007

Page 4: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

2

A mi padre…

Page 5: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

1

Catalogación recomendada

TORRES SALINAS, Daniel Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud. 1999-2005. / Daniel Torres Salinas. - Granada: Universidad de Granada, 2007. 398 p. : il. ; 29 cm. Tesis doctoral Univ. Granada 1. Investigación científica. 2. Bibliometría. 3. Política científica. I. Título. II. Universidad de Granada. III. Tesis doctoral. 001.8

» RESUMEN

Pretende primordialmente esta tesis diseñar una aplicación automatizada destinada a la evaluación de la actividad científica de una institución orientada a la investigación con el fin de facilitar la toma de decisiones por parte de los gestores de la política científica. Asimismo se realiza un análisis ciencimétrico y estructural de la actividad científica en el ámbito de las ciencias de la salud de la Universidad de Navarra para el período 1999-2005.

Para el desarrollo de la aplicación se ha empleado como soporte Microsoft Access 2003©

y se ha seguido el denominado Ciclo vital de desarrollos de sistemas. Como fuentes de datos se han consulltado tanto fuentes internas, suministradas por la propia universidad (memorias de investigación, base de datos de proyectos de investigación y tablas de personal), como externas. Éstas últimas se han concentrado principalmente en la Web of Knowledge de la que se ha extraído la producción científica en revistas, los artículos citantes de dicha producción y las categorías temáticas Journal Citation Reports con los Factores de Impactos de las revistas. También se ha consultado la base de datos Scopus para la recuperación del número de citas recibidas por los trabajos de la Universidad de Navarra. Los niveles de agregación utilizados han sido la propia universidad, 50 departamentos, grupos de investigadores y categorías temáticas. Para el procesamiento y normalización de la información se ha diseñado un módulo dentro del propio sistema destinado a tales propósitos. Entre las herramientas informáticas que se han empleado podemos destacar Procite para el procesamiento general de las referencias, Pajek para el análisis de redes sociales o Modde para la aplicación de un análisis de superficies de respuesta. Tanto para el sistema como para la evaluación bibliométrica se han considerado una amplia gama de indicadores que podemos agrupar en indicadores de producción, de visibilidad e impacto, de colaboración e inputs científicos, principalemente financiación y recursos humanos.

Finalmente se diseñó e implementó satisfactoriamente un sistema de información científica. Dicho sistema trabaja sobre diferentes niveles de agregación preconfigurados (organismo, departamentos, investigadores, categorías temáticas) permitiendo también la creación de grupos ad-hoc. Para cada uno de estos niveles se ofrecen un amplio conjunto de indicadores que logran abarcar gran parte de la actividad científica. Especialmente relevantes dentros de los mismos son los dedicados a contabilizar y caracterizar la citación y el impacto de la publicaciones presentes en la Web of Science. La información se consuta a través de fichas agrupadas según la tipología del indicador (producción, impacto, colaboración, financiación,

Page 6: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

2

etc.) pudiéndose ser presentada también en forma gráfica o a través de rankings. Se ofrece asimismo la posibilidad de exportar la información a través de informes. Mediante el análisis ciencimétrico se han identificado 5253 trabajos publicados en la Web of Science por la Comunidad Foral de Navarra de los cuales el 46% estaban firmados por la Universidad de Navarra, en el área de medicina este porcentaje aumentaba al 75%. Concretamente se identificaron 3573 trabajos publicados en revistas científicas de los cuales el 65% pertenecían a la Web of Science y 2299 eran artículos citables o de primer orden. La Universidad de Navarra ha presentado 5755 aportaciones a congresos de las que el 43% fueron internacionales, producido 195 libros, 900 capítulos de libros y leído 423 tesis. Respecto al impacto y la visibilidad internacional se observó como el 41% de los trabajos presentes en el Science Citation Index estaban publicados en revistas del primer cuartil y un12,2% en aquellas situadas entre las tres primeras posiciones de las categorías del Journal Citation Reports. En total la universidad ha recibido en Scopus 22618 citas y 19715 en el Science Citation Index. Entre los agentes citantes destaca como país Estados Unidos (26,5% de las citas) y como instituciones Harvard University y la Universty of Texas. El porcentaje de documentos citados fue del 77%. En cuanto a la colaboración el índice de coautoria se situó en 5,4 autores por trabajo, se puso de manifiesto también como el 53% de los trabajos se publican sin colaboración, el 26% en colaboración internacional y el 20% en colaboración nacional. Los países con los que más se colabora son España y Estados Unidos, identificándose dos redes institucionales, una nacional y otra internacional. El 61% de los trabajos colaborados estuvieron firmados en posición inicial teniendo en cuenta la cadena de coatoría, sin embargo este conjunto tuvo un menor impacto que los trabajos firmados en posición intermedia. Con el análisis de redes se ha identificado un total de 26 grupos de investigación. El diseño de superficies de respuesta nos ha permitido establecer como en los departamentos los recursos humanos y la financiacion determinan la producción y como a su vez, ésta, conjuntamente con la colaboración y el prestigio de las revistas determinan la citación. Para ambos modelos se ha extraído su ecuación polinomial, que quedan sintetizadas de la siguiente forma: Producción = 233 - 2,6*I - 191*Log(€) + 44,2*(Log(€))2 + 1,2*I *(Log(€))2

Citación = 2,9E-12+ 0,01*F + 1,58E-05*S + 4,31E-07*P + 0,5*P2 + 0,006*F*S + 0,4*S*P

A partir de estas ecuaciones se proponen dos nuevos indicadores, el Índice de Rendimiento de la Producción y el Indice de Rendimiento de la Citación que permiten establecer si la respuesta en la producción y la citación se adecuan a los factores de entrada. Con las mismas ecuaciones se generan superficies y contornos de respuesta que facilitan la descripción y el análisis de la actividad científica.

Se concluye que la aplicación diseñada es un instrumento útil para la toma de decisiones, aplicable a diversos niveles de agregación, a distintas comunidades académicas y omnicomprensivo de todas las actividades científicas. En cuanto a los indicadores bibliométricos existe una internacionalización de la producción manifestada en la publicación creciente en revistas de la Web of Science y en la citación recibida. El promedio de citas sitúa a la Universidad de Navarra entre las seis primeras universidades especializadas en biomedicina y ciencias de la salud de España mientras que en medicina clínica presenta valores similares a la media mundial La citación de la universidad depende de dos factores, por un lado los trabajos altamente citados y por otro de la colaboración con instituciones de prestigio. A nivel departamental se se pueden considerar como excelentes desde un punto de vista bibliométrico: Medicina Interna, Área de Neurociencias, Área de Terapia Génica, Neurología y Neurocirugía, Cardiología y Cirugía Cardiovascular, Área Oncología e Histología y Anatomía Patológica; en cuanto a las categorías del Journal Citation Reports la excelencia se localiza en Neurología Clínica y Gastroenterología y Hepatología. El análisis de superficies de respuesta es una metodología tomada de las ingenierías aplicable a la evaluación científica, permite su descripción y el establecimiento de modelos polinómicos que caractericen el rendimiento científico final.

Page 7: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

3

» ÍNDICE » LISTA DE TABLAS ...............................................................................................................................6 » LISTA DE GRÁFICAS...........................................................................................................................8 » LISTA DE FIGURAS .............................................................................................................................9 » LISTA DE ABREVIATURAS..............................................................................................................13 11.. IINNTTRROODDUUCCCCIIÓÓNN.. ..........................................................................................................................15

» 1.1. JUSTIFICACIÓN ......................................................................................................................16 » 1.2. OBJETIVOS..............................................................................................................................20 » 1.3. ESTRUCTURA DE LA TESIS ................................................................................................24 » 1.4. AGRADECIMIENTOS .............................................................................................................27

22.. EESSTTAADDOO DDEE LLAA CCUUEESSTTIIÓÓNN.. ......................................................................................................28 » 2.1. LOS ESTUDIOS DE CIENCIA, TECNOLOGÍA Y SOCIEDAD..........................................29 » 2.2. ORIGEN Y DESARROLLO DE LA CIENCIMETRIA ..........................................................35 » 2.3. LOS INDICADORES BIBLIOMÉTRICOS ............................................................................48

» 2.3.1. Los indicadores bibliométricos de actividad .........................................................52 » 2.3.1.1. Indicadores de producción........................................................................................54 » 2.3.1.2. Indicadores de visibilidad e impacto ........................................................................57

» 2.3.1.2.1. Indicadores basados en el Impact Factor ............................................................... 60 » 2.3.1.2.2. Indicadores basados en la citas................................................................................ 64

» 2.3.1.3. Indicadores de Colaboración.....................................................................................72 » 2.3.2. Indicadores relacionales..............................................................................................76

» 2.3.2.1. Indicadores relacionales de primera generación.....................................................79 » 2.3.2.2. Indicadores relacionales de segunda generación ...................................................83

» 2.3.3. Aproximación factorial a los indicadores bibliométricos: el Diseño de Superficies de Respuesta ..........................................................................................................84

» 2.4. LOS INDICADORES BIBLIOMÉTRICOS COMO HERRAMIENTA PARA LA TOMA DE DECISIONES.......................................................................................................................................87

» 2.4.1. La ciencimetria aplicada a la toma de decisiones ................................................87 » 2.4.2. La evaluación bibliométrica de instituciones .......................................................94

» 2.5. LA EVALUACIÓN BIBLIOMÉTRICA EN CIENCIAS DE LA SALUD ..............................98 » 2.5.1. La producción científica sobre bibliometría en Medline .....................................98 » 2.5.2. La evaluación bibliométrica en ciencias de la salud en España....................101

33.. MMAATTEERRIIAALL YY MMÉÉTTOODDOOSS............................................................................................................106 3.1. UNIDAD DE ANÁLISIS: EL ÁREA DE CIENCIAS DE LA SALUD DE LA UNIVERSIDAD DE NAVARRA...................................................................................................................................107 3.2. FUENTES DE DATOS .............................................................................................................111

» 3.2.1. Bases de datos de Thomsom Scientific ................................................................112 » 3.2.1.1. La Web of Science (WoS).........................................................................................112

» 3.2.1.1.1. Criterios empleados para la selección de la WoS ........................................... 113 » 3.2.1.1.2. Sesgos y limitaciones de la WoS ........................................................................... 118

» 3.2.1.2. El Journal Citation Report.......................................................................................121 » 3.2.2. Scopus............................................................................................................................122 » 3.2.3. Las Memorias de Investigación de la Universidad de Navarra........................124 » 3.2.5. GESPRO .........................................................................................................................126 » 3.2.6. Personal .........................................................................................................................127

» 3.3. DISEÑO DE UN SISTEMA DE INFORMACIÓN PARA LA EVALUACIÓN DE LA CIENCIA.............................................................................................................................................128

» 3.3.1. Desarrollo de la aplicación UNAV_CIENTIFICA...................................................128 » 3.3.1.1. Fase 1 y 2: Definición y Requerimientos ................................................................129 » 3.3.1.2. Fase 3: Evaluación ...................................................................................................129 » 3.3.1.3. Fase 4: Diseño ..........................................................................................................133 » 3.3.1.4. Fase 5: Implementación ...........................................................................................135 » 3.3.1.5. Fase 6: Pruebas ........................................................................................................138

Page 8: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

4

» 3.4. BÚSQUEDA, PROCESAMIENTO Y CARGA DE LOS DATOS.....................................139 » 3.4.1. Fases principales en el tratamiento de los datos ...............................................139 » 3.4.2. Creación de ficheros intermedios en formato Excel ..........................................140

» 3.4.2.1. Descarga de datos de bases Internacionales ........................................................140 » 3.4.2.2. Fuentes de información de la UNAV .......................................................................142

» 3.4.3. Asignación y normalización con el módulo administración ............................142 » 3.5. INDICADORES BIBLIOMÉTRICOS EMPLEADOS .........................................................148

» 3.5.1. Niveles de agregación ................................................................................................148 » 3.5.2. Indicadores de producción y actividades científicas.........................................149

» 3.5.2.1. NdocISI y NdocNOISI................................................................................................150 » 3.5.2.2. ISItems y ISItemsCit ................................................................................................151 » 3.5.2.3. Aportaciones a Congresos ......................................................................................151 » 3.5.2.4. Número de Libros o Monografías y Número Capítulos o Aportaciones a Obras Colectivas..................................................................................................................................152 » 3.5.2.5. Número de direcciones de tesis..............................................................................153 » 3.5.2.6. Número de patentes .................................................................................................153 » 3.5.2.7. Otros indicadores que reflejan la actividad científica y el reconocimiento.........154

» 3.5.3. Indicadores Visibilidad e Impacto ...........................................................................155 » 3.5.3.1. Normalización del Impact Factor por cuartiles ......................................................156 » 3.5.3.2. Top3 ...........................................................................................................................157 » 3.5.3.3. Factor de Impacto Esperado de la Categoría y Factor de Impacto Comparado .157 » 3.5.3.4. Número de Citas .......................................................................................................158 » 3.5.3.5. Promedio de Citas ....................................................................................................158 » 3.5.3.6. Número y Porcentaje de Documentos Citados y No Citados ...............................159

»3.5.4. Indicadores de Colaboración.....................................................................................160 » 3.5.4.1. Indicadores ICO para los autores y las instituciones firmantes...........................160 » 3.5.4.2. Patrones de colaboración........................................................................................161

» 3.5.5. Indicadores basados en la posición firmante ......................................................162 » 3.5.6. Indicadores de Inputs .................................................................................................164

» 3.5.6.1. Financiación..............................................................................................................164 » 3.5.6.2. Recursos Humanos ..................................................................................................166

» 3.6. ANÁLISIS DE REDES SOCIALES: HERRAMIENTAS Y MÉTODO..............................167 » 3.6.1. Herramientas.................................................................................................................167 » 3.6.2. Generación de ficheros .net......................................................................................167 » 3.6.3. Indicadores de redes sociales y representaciones gráficas ............................168

» 3.7. DESCRIPCIÓN DEL MÉTODO DE ANÁLISIS DE SUPERFICIES DE RESPUESTA.170 » 3.7.1. Descripción general ....................................................................................................170 » 3.7.2. Adecuación del modelo .............................................................................................174 » 3.7.3. Diseño experimental frente a diseño cuasi-experimental................................175

44.. RREESSUULLTTAADDOOSS..............................................................................................................................179 » 4.1. EL SISTEMA DE INFORMACIÓN .......................................................................................180

» 4.1.1. Descripción general ....................................................................................................180 » 4.1.2. Estructura ......................................................................................................................180 » 4.1.3. Navegación por el sistema y descripción de sus objetos ................................182

» 4.1.3.1. Fichas ........................................................................................................................182 » 4.1.3.2. Resumen General. ....................................................................................................196 » 4.1.3.3. Rankings....................................................................................................................198 » 4.1.3.4. Informes.....................................................................................................................200

» 4.1.4. Aplicaciones específicas: creación de grupos ....................................................203 » 4.1.4.1. Descripción general del Módulo Grupos................................................................203 » 4.1.4.2. Comparaciones entre distintos grupos ..................................................................206

» 4.2. CONTEXTO DE LA PRODUCCIÓN DE LA UNIVERSIDAD DE NAVARRA................207 » 4.3. INDICADORES DE PRODUCCIÓN CIENTÍFICA .............................................................212

» 4.3.1. Producción en revistas científicas..........................................................................212 » 4.3.2. Producción en revistas científicas de la WoS......................................................216 » 4.3.3. Aportaciones a congresos. .......................................................................................223 » 4.3.4. Libros, monografías, capítulos de libros y aportaciones a obras colectivas.........................................................................................................................................................226 » 4.3.5. Direcciones de tesis. ..................................................................................................229

» 4.4. INDICADORES DE VISIBILIDAD E IMPACTO DE LA PRODUCCIÓN WEB OF SCIENCE (WOS) ...............................................................................................................................230

» 4.4.1. Impact Factor normalizado por Cuartiles..............................................................230

Page 9: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

5

» 4.4.2. Factor de Impacto Comparado. Categorías JCR.................................................233 » 4.4.3. Indicador Top3 .............................................................................................................236 » 4.4.4. Indicadores de citación para la UNAV....................................................................238 » 4.4.5. Indicadores de citación para los departamentos ................................................244 » 4.4.6. Indicadores de citación para las categorías JCR................................................249 » 4.4.7. Análisis de los trabajos altamente citados ...........................................................255

» 4.5. INDICADORES DE COLABORACIÓN CIENTÍFICA. ......................................................259 » 4.5.1. Autores firmantes: distribución e Índices de Coautoría. ..................................259 » 4.5.2. Caracterización de los Patrones de Colaboración. ............................................265 » 4.5.3. Colaboración por regiones del mundo, países y CCAA....................................272 » 4.5.4. Colaboración institucional. .......................................................................................276

» 4.6. INDICADORES RESPECTO A LA POSICIÓN FIRMANTE ............................................281 » 4.7.1. Caracterización general de la red de investigadores .........................................286 » 4.7.2. Mapa de los grupos de investigación e indicadores bibliométricos..............289

» 4.8. INPUTS CIENTÍFICOS Y SU RELACIÓN CON LOS INDICADORES BIBLIOMÉTRICOS...........................................................................................................................298

» 4.8.1. Tipo de financiación y descripción de los proyecto de investigación ..........298 » 4.8.2. Tipo de financiación, proyectos e indicadores bibliométricos por departamentos............................................................................................................................302 » 4.8.3. Recursos Humanos .....................................................................................................308

» 4.9. EVALUACIÓN MEDIANTE ANÁLISIS DE SUPERFICIES DE RESPUESTA ..............312 » 4.9.1. Marco evaluativo y variables seleccionadas........................................................312 » 4.9.2. Efecto de los recursos humanos y la financiación de proyectos de investigación en la producción científica citable de los departamentos de la UNAV.........................................................................................................................................................314

» 4.9.2.1. Análisis estadístico del diseño (I)+(€)→(P). ...........................................................314 » 4.9.2.2. Análisis de las superficies y los contornos de respuesta para el diseño (I)+(€)→(P)...............................................................................................................................................318 » 4.9.2.3. Rendimiento de los departamentos en función de los valores esperados del diseño (I)+(€)→(P).....................................................................................................................320

» 4.9.3. Efecto del prestigio de la revistas, de la producción citable y del número de socios de investigación en el número de citas de los departamentos de la UNAV. 322

» 4.9.3.1. Análisis estadístico del diseño P+F+S→(C) ...........................................................322 » 4.9.3.2. Análisis de las superficies y los contornos de respuesta para el diseño P+F+S→(C)...............................................................................................................................................326 » 4.9.3.3. Rendimiento de los departamentos en función de los valores esperados del diseño P+F+S→(C). ..................................................................................................................329

55.. DDIISSCCUUSSIIÓÓNN YY CCOONNCCLLUUSSIIOONNEESS.. ............................................................................................331 » 5.1. SOBRE EL SISTEMA DE INFORMACIÓN CIENTÏFICA .................................................332 » 5.2. DISCUSIÓN DE LOS INDICADORES BIBLIOMÉTRICOS .............................................338

» 5.2.1. Indicadores de producción. .....................................................................................338 » 5.2.2. Indicadores de visibilidad e impacto......................................................................341 » 5.2.3. Indicadores de colaboración. ...................................................................................351 » 5.2.4. Determinando la excelencia científica ...................................................................357 » 5.2.5. Redes sociales de investigadores ..........................................................................362

» 5.3. LA APLICACIÓN DEL ANÁLISIS DE SUPERFICIES DE RESPUESTA. .....................366 » 5.4. CONCLUSIONES. .................................................................................................................370

66.. BBIIBBLLIIOOGGRRAAFFÍÍAA.................................................................................................................................375

Page 10: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

6

» LISTA DE TABLAS Tabla 1. Cronograma de las principales publicaciones y acontecimientos de la

ciencimetría durante el siglo XX. .............................................................................................47 Tabla 2. Indicadores bibliométricos más empleados clasificados a partir del esquema

propuesto por Callon & Courtial (1995). ...............................................................................49 Tabla 3. Ejemplo ilustrativo de indicadores para la medición de los sistemas nacionales

de I+D propuestos por distintos organismos internaciones............................................50 Tabla 4. Ventanas de citación fijas y variables..............................................................................65 Tabla 5. Características de los Trabajos altamente citados.......................................................71 Tabla 6. Rasgos principales para las citas y el Impact Factor ..................................................71 Tabla 7. Efectos de la colaboración en la producción y el impacto........................................74 Tabla 8. Número de trabajos en Medline indizados bajo el MeSH bibliometrics por

subencabezamiento de país. 1971-2006. .............................................................................101 Tabla 9. Perfil de la investigación bibliométrica española en ciencias de la salud a través

de los estudios presentes en Medline bajo el término MeSH Bibliometrics y el subencabezamiento Spain. 1971-2006.. ...............................................................................103

Tabla 10. Listado de departamentos de la Universidad de Navarra evaluados bibliométricamente....................................................................................................................110

Tabla 11. Fuentes de información consultadas...........................................................................112 Tabla 12. Tipologías documentales presentes en las memorias y campos consignados126 Tabla 13. Campos exportados desde GESPRO ...........................................................................126 Tabla 14. Campos exportados para los investigadores del CIMA ..........................................127 Tabla 15.Clasificación en _CIENTÍFICA de la producción y la actividad Científica en tres

tablas.............................................................................................................................................143 Tabla 16. Unidades y nivel de agregación empleados. .............................................................149 Tabla 17. Indicadores de producción y actividad utilizados ....................................................149 Tabla 18. Indicadores de Visibilidad e Impacto utilizados........................................................155 Tabla 19. Indicadores de colaboración y autoría científica utilizados. .................................160 Tabla 20. Indicadores basados en la posición firmante utilizados. .......................................162 Tabla 21. Contribución de los autores en función de la posición firmante. ........................163 Tabla 22. Indicadores de Inputs utilizados. ..................................................................................164 Tabla 23. Puntos empleados en un diseño central compuesto ..............................................173 Tabla 24. Guía general para evaluar los valores de los coeficientes R2 y Q2 ......................175 Tabla 25. Implementación de las diferentes Fichas en los 5 módulos del sistema de

información..................................................................................................................................196 Tabla 26.Módulos donde han sido implementados el objeto Resumen General. ..............197 Tabla 27. Módulos donde ha sido implementados el objeto Ranking..................................198 Tabla 28. Módulos donde han sido implementados los informes y la exportación a txt y

html................................................................................................................................................201 Tabla 29. Número y porcentaje de documentos (Ndoc), nacionalidad y datos de impacto

del Journal Citation Reports para las revistas con más de 10 documentos ordenadas por producción. 1999-2005.................................................................................215

Tabla 30. Número y porcentaje de ítems citables (ISITemCit) publicados en las dos primeras categorías temáticas del Journal Citation Reports con mayor producción para cada uno de los departamentos. 1999-2005. .............................................................222

Tabla 31. Factor de impacto comparado (FIC), factor de impacto esperado de la categoría (FIEC) para las categorías temáticas del Journal Citation Reports. Evolución anual 1999-2005. ....................................................................................................................................235

Tabla 32. Número de citas distribuidas por instituciones citantes que han emitido al menos 100 citas a la universidad. .........................................................................................242

Tabla 33. Puesto ocupado por los departamentos en los rankings de citación para ISI y Scopus ..........................................................................................................................................245

Tabla 34. Puesto ocupado por las categorías temáticas del Journal Citation Reports en los rankings de citación para ISI y Scopus .........................................................................250

Tabla 35.Número de instituciones colaboradoras distribuidas por grandes regiones del mundo y países para la universidad. 1999-2005................................................................276

Page 11: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

7

Tabla 36. Número de nodos, número de ítems citables (ISItemCit), número de citas, promedio de citas y porcentaje de trabajos publicados en el primer cuartil de los grupos estables de investigación identificados en la red de colaboración de investigadores de la universidad. 1999-2005. ....................................................................289

Tabla 37. Correspondencia del número identificativo de los nodos con el nombre de los investigadores del mapa de colaboración de investigadores de la universidad. 1999-2005. ..............................................................................................................................................297

Tabla 38. Distribución del número de proyectos y el porcentaje de euros obtenidos por los proyectos de investigación según ámbito, organismos y programas financiadores para la universidad. 1999-2005. ...................................................................301

Tabla 39. Departamentos que conforman el diseño de cara centrada para la respuesta producción...................................................................................................................................314

Tabla 40. Test de significación de los coeficientes del diseño (I) + (€) → (P). ..................315 Tabla 41. Test de significación de los coeficientes del modelo simplificado del diseño (I)

+ (€) → (P)...................................................................................................................................316 Tabla 42. Valores observados de la producción citable frente a valores esperados

calculados con la función polinómica del diseño (I) + (€) → (P) e Índice de Rendimiento de la Producción (IRP).....................................................................................321

Tabla 43. Departamentos que conforman el diseño de cara centrada para la respuesta citación .........................................................................................................................................323

Tabla 44. Test de significación de los coeficientes del diseño P + F + S → (C) ..................324 Tabla 45. Test de significación de los coeficientes del modelo simplificado para el diseño

P + F + S → (C) ............................................................................................................................325 Tabla 46. Valores observados de la citación frente a valores esperados calculados con la

función polinómica del diseño P + F + S → (C) e índice de rendimiento de la citación (IRC)...............................................................................................................................330

Tabla 47. Comparación entre UNAV y España para el Promedio de citas y porcentaje de documentos no citados............................................................................................................342

Tabla 48. Promedio de citas y porcentaje de documentos no citados en ciencias de la salud para las principales universidades españolas .......................................................343

Tabla 49. Promedios de citas de la UNAV en diferentes categorías temáticas del Journal Citation comparadas con los resultados del MB04. .........................................................344

Tabla 50. Categorías temáticas del Journal Citation Reports que han obtenido más del 14% de diferencia entre las citas rescatadas en Scopus y en los Citation Indexes.350

Tabla 51. Porcentajes destacados de la distribución de los trabajos según el número de autores para la UNAV y España. 2003. .................................................................................351

Tabla 52. Porcentaje de trabajos colaborados internacionalmente por principales universidades españolas .........................................................................................................353

Tabla 53. Instituciones colaboradoras en los Trabajos Altamente Citados con más de 96 citas ...............................................................................................................................................355

Tabla 54. Colaboración por países para España y la UNAV.....................................................356 Tabla 55. Excelencia científica de los departamentos.1999-2005...........................................359 Tabla 56. Excelencia científica para las categorías temáticas del Journal Citation Reports.

1999-2005. ....................................................................................................................................361

Page 12: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

8

» LISTA DE GRÁFICAS Gráfica 1.Evolución anual de la frecuencia del término MeSH Bibliometrics en Medline.

1971-2006. ......................................................................................................................................98 Gráfica 2. Revistas JCR agrupadas por grandes campos del conocimiento ......................121 Gráfica 3. Distribución de las revistas Scopus en grandes campos del conocimiento ...123 Gráfica 4. Ejemplo de una superficie de respuesta ....................................................................174 Gráfica 5. Análisis ANOVA para comprobar la bondad de un modelo con Modde ............177 Gráfica 6. Especialización de las Comunidades Autónomas en Ciencia y Tecnología. ...207 Gráfica 7. Porcentajes de ISItems de la CF de Navarra respecto a España y el Mundo

para los años centrales 2001-2003. .......................................................................................208 Gráfica 8. Número de ítems citables (ISItemCit) para la Universidad de Navarra, la

Universidad Pública de Navarra, el Hospital Virgen del Camino y el Hospital de Navarra. Evolución anual 1999-2005.....................................................................................211

Gráfica 9. Número de ítems citables (ISItemCit) VS Número de citas para los departamentos. 1999-2005.......................................................................................................244

Gráfica 10. Número de ítems citables (ISItemCit) VS Número de citas para las categorías temáticas del Journal Citation Reports. 1999-2005. .........................................................249

Gráfica 11. Porcentaje de trabajos ISI (ISItem) publicados en el primer cuartil y en revistas TOP3 obtenidos por cada patrón de colaboración para la universidad. 1999-2005. ..............................................................................................................................................267

Gráfica 12. Número de citas y promedio de citas de los trabajos ISI (ISItem) obtenidos por cada patrón de colaboración para la universidad. 1999-2005. ...............................267

Gráfica 13. Promedio de citas y número de citas obtenidas por los trabajos con colaboración según la posición de la firma, inicial o final y media, para la universidad. 1999-2005.............................................................................................................282

Gráfica 14. Promedio de citas y número de citas obtenidas por los trabajos con colaboración internacional según la posición de la firma, inicial o final y media, para la universidad. 1999-2005. .......................................................................................................282

Gráfica 15. Promedio de citas y número de citas obtenidas por los trabajos con colaboración nacional según la posición de la firma, inicial o final y media, para la universidad. 1999-2005.............................................................................................................282

Gráfica 16. Número de ítems citables (ISItemCit) por investigador VS número de citas por investigador para los departamentos.1999-2005. ......................................................311

Gráfica 17. Test ANOVA para el modelo simplificado del diseño (I) + (€) → (P)..............317 Gráfica 18. Valores de P observados (reales) frente a los esperados (teóricos) para el

diseño (I) + (€) → (P). ............................................................................................................317 Gráfica 19. Superficie de respuesta para el efecto de los recursos humanos y el montante

total de euros de los proyectos de investigación sobre la producción citable de los departamentos ( (I) + (€) → (P) )............................................................................................319

Gráfica 20. Contorno de respuesta para el efecto de los recursos humanos y el montante total de euros de los proyectos de investigación sobre la producción citable de los departamentos ( (I) + (€) → (P) )............................................................................................319

Gráfica 21. Test ANOVA para el modelo simplificado del diseño P + F + S → (C).............326 Gráfica 22. Valores de P observados (reales) frente a los esperados (teóricos) para el

diseño P + F + S → (C) ..........................................................................................................326 Gráfica 23. Contornos y superficie de respuesta para el efecto de la producción, el

prestigio de las revistas y el número de socios colaboradores sobre el número de citas de los departamentos .....................................................................................................327

Gráfica 24. Nº de ítems citables anuales en producidos en ciencias de la salud para la UNAV y España. 1999-2004. ...................................................................................................339

Gráfica 25. Comparación del promedio de citas de la UNAV frente al Mundo en Medicina Clínica (Essential Science Indicators). 1999-2005.............................................................346

Gráfica 26. Influencia de los Trabajos Altamente Citados en el promedio de citas de la UNAV. 1999-2005........................................................................................................................349

Page 13: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

9

» LISTA DE FIGURAS Figura 1. El proceso de reinterpretación de la citación y sus consecuencias.....................69 Figura 2. La toma de decisiones como diagnóstico médico en un entorno institucional. 94 Figura 3. Ejemplo de un carta publicada por un investigador de la Universidad de Navarra

en JAMA sin el campo afiliación............................................................................................120 Figura 4. Ciclo vital de Desarrollos de Sistemas ........................................................................128 Figura 5. EL modelo relacional de Access. ..................................................................................130 Figura 6. Creación de consultas en Access .................................................................................131 Figura 7. Formularios para la creación de interfaces ................................................................131 Figura 8. Generación de informes para imprimir. .......................................................................132 Figura 9. Editor de Visual Basic ......................................................................................................133 Figura 10. Diagrama de relaciones entre tablas de la base de datos. ...................................134 Figura 11. Función de la aplicación de base de datos...............................................................135 Figura 12. Diseño de un formulario con Microsoft Access ......................................................137 Figura 13. Proceso de carga y tratamiento de los datos desde las fuentes originales ....139 Figura 14. Áreas y pasos para acceder a los registros .............................................................144 Figura 15. Pantalla para la búsqueda de registros y formulario con un registro cargado

para su edición. ..........................................................................................................................145 Figura 16. Formulario de asignación de los autores y sus posibilidades de búsqueda. .146 Figura 17. Formulario de asignación de las instituciones del campo Adress. ...................147 Figura 18. Formulario para la búsqueda de la producción no convencional y asignación

de plantillas. ................................................................................................................................147 Figura 19. Diseño central compuesto central (DCC) para dos factores de tratamiento ...171 Figura 20. Diferentes estructuras de diseños centrales compuestos: cara centrada (CCF),

inscrito (CCI) y circunscrito (CCC)........................................................................................172 Figura 21. Valores de de la variable y para un Diseño Central Compuesto........................172 Figura 22. Ejemplo de un diseño con restricciones. ..................................................................173 Figura 23. Hoja de trabajo en Modde con el diseño CCF de los factores y su respuesta

........................................................................................................................................................176 Figura 24. Estructura lógica del Área de Consulta del sistema de información.................181 Figura 25. Formulario de inicio para la identificación del usuario y Menú Principal del

sistema de información............................................................................................................182 Figura 26. Interior de un módulo y acceso a los agentes evaluados y sus fichas en el

sistema de información............................................................................................................182 Figura 27. Descripción de una Ficha Principal y una Ficha Secundaria del sistema de

información. ................................................................................................................................185 Figura 28. Ficha Secundaria para la producción por categorías JCR y acceso a su Ficha

Detalle en .....................................................................................................................................186 Figura 29. Ficha Secundaria para los datos de impacto y visibilidad por categorías JCR

y acceso a ....................................................................................................................................187 Figura 30. Ficha Secundaria para los datos de financiación por entidades por y acceso a

su Ficha ........................................................................................................................................188 Figura 31. Acceso al objeto Gráficos Dinámicos desde la Ficha Principal en el sistema de

información..................................................................................................................................189 Figura 32. Acceso al objeto Referencias desde la Ficha Principal en el sistema de

información..................................................................................................................................190 Figura 33. Ficha Principal y dos gráficos para la opción de análisis de la posición

firmante de los investigadores en el sistema de información .......................................193 Figura 34. Ficha Principal, Ficha Secundaria y Ficha Detalle para la colaboración en el

sistema de Información............................................................................................................194 Figura 35. Ficha Principal, Ficha Secundaria y gráficas para la opción palabras clave en

el sistema .....................................................................................................................................195 Figura 36. Objeto Resumen General para un departamento en el sistema de información

........................................................................................................................................................197 Figura 37. El objeto Rankings para el Módulo Investigadores en el sistema de

información..................................................................................................................................199

Page 14: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

10

Figura 38. El objeto Informes para el Módulo Investigadore en el sistema de información........................................................................................................................................................200

Figura 39. Páginas extraídas de los tres tipos de informes disponibles.............................202 Figura 40. La opción para Exportar los datos de las tablas de las Fichas Secundarias y

Detalle. ..........................................................................................................................................203 Figura 41. Navegación y creación de grupos de investigadores a través del Módulo

Grupos en el sistema de información...................................................................................204 Figura 42. Gráficos del Módulo Grupos obtenidos desde la Fichas Principal ...................205 Figura 43. Creación de comparaciones entre tres Grupos. .....................................................206 Figura 44. Número de Ítems (ISItem), Número de ítems citables (ISItemCit), tipologías

documentales e idioma de publicación para la Comunidad Foral de Navarra y número y porcentaje de items citables firmados por la Universidad de Navarra.1999-2005. ..............................................................................................................................................209

Figura 45. Número y porcentaje de ítems citables (ISItemCit) distribuidos por grandes campos del conocimiento para la Comunidad Foral de Navarra y aportación de la UNAV en cada uno de ellos.1999-2005.................................................................................210

Figura 46.Número de ítems citables (ISItemCit) e ítems (ISItem) distribuidos por categorías JCR con más de 99 ítems citables para la Comunidad Foral de Navarra. 1999-2005. ....................................................................................................................................211

Figura 47. Número y porcentaje de documentos no ISI (NdocNoISI), documentos ISI (NdocISI) y total de documentos (Ndoc) para la Universidad de Navarra. 1999-2005.........................................................................................................................................................212

Figura 48. Número y porcentaje de documentos no ISI (NdocNOISI), documentos ISI (NdocISI) y total de documentos (Ndoc), para los departamentos ordenados según el total de documentos ISI. 1999-2005..................................................................................213

Figura 49. Número de ítems (ISItem), Número y porcentaje de items citables (ISItemCit) y tipologías documentales utilizadas para la universidad. Evolución anual.................216

Figura 50.Número y porcentaje de trabajos ISI (ISItems) distribuidos por idioma de publicación para la universidad. Evolución anual. ...........................................................217

Figura 51. Número y porcentaje de ítems citables (ISItemCit), número de trabajos ISI (ISItem) y tendencia de la producción citable para los departamentos ordenados según el número de ítems citables. 1999-2005. .................................................................219

Figura 52. Número y porcentaje de ítems citables (ISItemCit), número de trabajos ISI (ISItem) y tendencia de la producción citable para las categorías temáticas del Journal Citation Report ordenadas según el número de ítems citables. 1999-2005.........................................................................................................................................................221

Figura 53. Número y porcentaje de aportaciones a congresos nacionales e internacionales, número total de aportaciones a congresos y número y porcentaje de aportaciones a congresos distribuidos por país de celebración para la universidad. 1999-2005.............................................................................................................224

Figura 54. Número y porcentaje de aportaciones a congresos nacionales e internacionales y número total de aportaciones a congresos para los departamentos ordenados según el número total de aportaciones a congresos. 1999-2005. ....................................................................................................................................225

Figura 55. Número y porcentaje de libros y monografías nacionales e internacionales, número total de libros y monografías, número y porcentaje de capítulos y aportaciones a obras colectivas nacionales e internacionales y número total de capítulos y aportaciones a obras colectiva para la universidad. Evolución anual. .227

Figura 56. Número y porcentaje de libros y monografías nacionales e internacionales, número total de libros y monografías, número y porcentaje de capítulos y aportaciones a obras colectivas nacionales e internacionales y número total de capítulos y aportaciones a obras colectiva para los departamentos.1999-2005. .....228

Figura 57. Número de tesis doctorales leídas por curso para la universidad y número de tesis doctorales leídas por departamento 1999-2005.......................................................229

Figura 58. Número y porcentaje de ítems citables (ISItemCit) distribuidos por cuartiles para la universidad. Evolución anual 1999-2005. ..............................................................231

Figura 59. Evolución anual del número de ítems citables publicados en el primer cuartil y número y porcentaje de ítems citables distribuidos por cuartil para los departamentos ordenados según el número total de ítems publicados en el primer cuartil. 1999-2005. ......................................................................................................................232

Page 15: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

11

Figura 60. Factor de Impacto Comparado (FIC), Factor de Impacto Esperado de la Categoría (FIEC) y Promedio de la Categoría (PC) para las categorías temáticas del Journal Citation Reports. 1999-2005.....................................................................................234

Figura 61. Número y porcentaje de ítems citables (ISItemCit) publicados en revistas TOP3. Evolución anual..........................................................................................................................236

Figura 62. Distribución y evolución anual del indicador TOP3 para los departamentos, evolución anual del indicador TOP3 para las categorías temáticas del Journal Citation Reports y revistas con los valores más elevados del indicador TOP3. 1999-2005. ..............................................................................................................................................237

Figura 63. Número de citas ISI y número de citas Scopus para la universidad. Evolución anual 1999-2005..........................................................................................................................238

Figura 64. Número y porcentaje de citas recibidas desde la UNAV (citación doméstica), desde la tipología documental review, desde revistas TO3 y desde revistas del primer cuartil para la universidad. 1999-2005. ...................................................................239

Figura 65. Número y porcentaje de citas y citas domésticas distribuidas por país de emisión y número de citas emitidas por regiones del mundo para la universidad. 1999-2005. ....................................................................................................................................241

Figura 66. Número y porcentaje de ítems citables (ISItemCit) citados y no citados en ISI y en Scopus para la universidad. Evolución anual. .............................................................243

Figura 67. Número de citas ISI y Scopus, número y porcentaje de citas domésticas, promedio de citas ISI y Scopus y porcentaje de items citables (ISItemCit) citados y no citados para los departamentos. 1999-2005. ................................................................246

Figura 68. Porcentaje de ítems citables (ISItemCit) publicados en el primer cuartil VS promedio de citas por ítem citable para los departamentos. 1999-2005.....................248

Figura 69. Número de citas ISI y Scopus, número y porcentaje de citas domésticas, promedio de citas ISI y Scopus y porcentaje de items citables (ISItemCit) citados y no citados para los departamentos. 1999-2005. ................................................................251

Figura 70. Porcentaje de ítems citables (ISItemCit) publicados en el primer cuartil VS promedio de citas por ítem citable para las categorías temáticas del Journal Citation Reports. 1999-2005. ...................................................................................................................253

Figura 71. Mapa de cocitación, impacto y producción de las categorías temáticas del Journal Citation Reports. 1999-2005.....................................................................................254

Figura 72. Número y porcentaje de trabajos altamente citados (TAC) y su distribución en tres niveles de citación (moderada, elevada e intensa) para la universidad. 1999-2005. ..............................................................................................................................................255

Figura 73. Número de trabajos altamente citados (TAC), porcentaje de trabajos altamente citados en el total de la producción de ítems citables, porcentaje y número de citas que acumulan los trabajos altamente citados y número y porcentaje de trabajos altamente citados distribuidos en tres niveles de citación (intensa, elevada y moderada) para los departamentos. 1999-2005.................................................................257

Figura 74. Número de trabajos altamente citados (TAC), porcentaje de trabajos altamente citados en el total de la producción de ítems citables, porcentaje y número de citas que acumulan los trabajos altamente citados y número y porcentaje de trabajos altamente citados distribuidos en tres niveles de citación (intensa, elevada y moderada) para las categorías temáticas del Journal Citation Reports.1999-2005. 258

Figura 75. Distribución del número de trabajos según el número autores firmantes para la universidad. Evolución anual 1999-2005.........................................................................260

Figura 76. Porcentaje de ítems citables publicados en el primer cuartil y promedio de citas de la producción citable en función del número de autores firmantes para la universidad. 1999-2005.............................................................................................................261

Figura 77. Índice de Coautoría General, Índice de Coautoría UNAV y número y porcentaje de autores de la UNAV que firman los trabajos para la universidad. 1999-2005. .....262

Figura 78.Índice de Coautoría General (ICO) para los departamentos. Evolución anual 1999-2005. ....................................................................................................................................263

Figura 79. Índice de Coautoría General (ICO) para las categorías temáticas del Journal Citation Reports. Evolución anual 1999-2005.....................................................................264

Figura 80. Patrones de colaboración para la universidad. 1999-2005...................................266 Figura 81. Porcentaje de trabajos ISI (ISItem), número de citas y promedio de citas por

patrón de colaboración para los departamentos. 1999-2005. ........................................270

Page 16: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

12

Figura 82. Porcentaje de trabajos ISI (ISItem), número de citas y promedio de citas por patrón de colaboración para las categorías temáticas del Journal Citation Reports. 1999-2005. ....................................................................................................................................271

Figura 83. Número de trabajos ISI (ISItem) con colaboración distribuidos por grandes regiones del mundo para la universidad. 1999-2005. .......................................................272

Figura 84. Número de trabajos ISI (ISItem) colaborados distribuidos por país con el número de citas y promedio de citas alcanzado con cada uno de ellos y representación reticular de la estructura de colaboración por países para la universidad. 1999-2005.............................................................................................................273

Figura 85. Número de trabajos ISI (ISItem) colaborados distribuidos por Comunidad Autónoma con el número de citas, el promedio de citas y el porcentaje de items citables en el primer cuartil alcanzado con cada una de ellas y la estructurar reticular de colaboración para la universidad. 1999-2005. .............................................275

Figura 86. Número de trabajos ISI (ISItem) colaborados distribuidos por instituciones nacionales e internacionales con el número de citas y el promedio de citas alcanzado con cada una de ellas y estructura reticular general de colaboración institucional para la universidad. 1999-2005. .....................................................................278

Figura 87. Estructura reticular de colaboración institucional internacional para la universidad. 1999-2005.............................................................................................................280

Figura 88. Estructura reticular de colaboración institucional nacional para la universidad. 1999-2005 .....................................................................................................................................280

Figura 89. Número y porcentaje de trabajos firmados en posición inicial o final en los trabajos con colaboración para la universidad. 1999-2005. ...........................................281

Figura 90. Número de trabajos ISI (ISItem) con colaboración, número y porcentaje de trabajos ISI colaborados firmados en posición inicial y final para los departamentos. 1999-2005. ....................................................................................................................................284

Figura 91. Número de trabajos ISI (ISItem) con colaboración, número y porcentaje de trabajos ISI colaborados firmados en posición inicial y final para las categorías temáticas del Journal Citation Reports. 1999-2005. .........................................................285

Figura 92. Estructura reticular general de colaboración entre investigadores de la UNAV y evolución anual de los indicadores de redes para la universidad. 1999-2005 .......287

Figura 93. Estructura reticular de los grupos estables de investigación y cluster identificados con el número y el porcentaje de nodos que acumulan para la universidad. 1999-2005.............................................................................................................288

Figura 94. Grupos estables de investigación de la zona 1 del mapa de colaboración de investigadores de la universidad. 1999-2005. ....................................................................294

Figura 95. Grupos estables de investigación de la zona 2 del mapa de colaboración de investigadores de la universidad. 1999-2005. ....................................................................294

Figura 96. Grupos estables de investigación de la zona 3 del mapa de colaboración de investigadores de la universidad. 1999-2005. ....................................................................295

Figura 97. Grupos estables de investigación de la zona 4 del mapa de colaboración de investigadores de la universidad. 1999-2005......................................................................295

Figura 98. Grupos estables de investigación de la zona 5 del mapa de colaboración de investigadores de la universidad. 1999-2005......................................................................296

Figura 99. Grupos estables de investigación de la zona 6 del mapa de colaboración de investigadores de la universidad. 1999-2005......................................................................296

Figura 100. Número y porcentaje de contratos y ensayos clínicos, proyectos financiados por fundaciones y proyectos de investigación para la universidad. Evolución anual. 1999-2005. ....................................................................................................................................298

Figura 101. Número y porcentaje de proyectos de investigación y porcentaje de euros obtenidos sobre el montante total por las diferentes tipologías de proyectos (europeo, internacional, interno, nacional y regional) y los organismos y programas financiadores para la universidad. 1999-2005. ...................................................................300

Figura 102. Número y porcentaje que representan los contratos y ensayos clínicos, proyectos financiados por fundaciones y los proyectos de investigación para los departamentos. 1999-2005.......................................................................................................303

Figura 103. Número de proyectos investigación, porcentaje de euros que representan sobre el montante global de la universidad y confrontación de éstos con el número de ítems citables y el número de citas para los departamentos. 1999-2005. .............304

Page 17: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

13

Figura 104. Distribución de los proyectos de investigación en los departamentos por programas financiadores.........................................................................................................306

Figura 105. Número y porcentaje de proyectos de investigación y porcentaje de euros obtenidos sobre el montante total por las diferentes tipologías de proyectos (europeo, internacional, interno, nacional y regional) para los departamentos. 1999-2005. ..............................................................................................................................................307

Figura 106. Número y porcentaje de licenciados y doctores para la universidad. 1999-2005. ..............................................................................................................................................309

Figura 107. Media de investigadores para el período, porcentaje de doctores, número de ítems citables (ISItemCit) por investigador y número de citas por investigador para los departamentos. 1999-2005................................................................................................310

Figura 108. Factores y respuestas escogidos para el análisis de superficies de respuesta a partir del esquema tradicional de la ciencia Input-output-impact planteado por Callor & Courtial.........................................................................................................................313

Figura 109. Instituciones que han emitido más de 199 citas presentes en los diez primeros puestos del ranking de citación de instituciones del Essential Science Indicador para Medicina Clínica. ..........................................................................................347

Figura 110. Distribución de los enlaces de los nodos...............................................................363 Figura 111. Distribución de la intermediación en la red de colaboración de investigadores

de la Universidad de Navarra. 1999-2005.............................................................................365

Page 18: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

14

» LISTA DE ABREVIATURAS

ANECA ► Agencia Nacional de Evaluación de la Calidad y Acreditación BE ► Bibliometría Evaluativa CFN ► Comunidad Foral de Navarra CIMA ► Centro de Investigación Médica Aplicada CNEAI ► Comisión Nacional de Evaluación de la Actividad Investigadora CTS ► Ciencia, Tecnología y Sociedad DSR ► Diseño de Superficies de Respuesta ESI ► Essential Science Indicators FECYT ► Fundación Española para la Ciencia y la Tecnología HCP ► Highly Cited Papers ICT ► Instituto Científico y Tecnológico de Navarra IF ► Impact Factor IME ► Índice Médico Español ISI ► Institute for Scientific Information

JCR ► Journal Citation Reports MB04 ► Mapa Bibliométrico de la Investigación de Biomedicina y Ciencias de la Salud NIH ► National Institute of Health NSF ► National Science Foundation OECD ► Organization of Economic Cooperation and Developement RICYT ► Red Iberoamericana de Indicadores de Ciencia y Tecnología SCI ► Science Citation Index SSCI ► Social Science Citation Index UNAV ► Universidad de Navarra

WoS ► Web of Science

Page 19: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

15

11.. IINNTTRROODDUUCCCCIIÓÓNN..

»»»

Page 20: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Justificación

16

» 1.1. JUSTIFICACIÓN

La actividad científica y los resultados que se derivan de la misma sitúan a la

ciencia en un lugar privilegiado dentro de nuestra sociedad ya que se ha convertido en

uno de los motores económicos de los países desarrollados. Dichos países,

conscientes de su importancia, han incrementado en los últimos años unas partidas

presupuestarias destinadas a ciencia y tecnología que no dejan de ser limitadas. Para

una distribución racional de estos recursos no solo es necesario identificar los agentes

del sistema científico sino que resulta vital valorar su rendimiento a fin de detectar

aquellos que poseen una mayor cualificación. Tradicionalmente para reconocerlos se

ha venido utilizando la revisión por expertos, donde los pares examinan las propuestas

o los resultados de sus compañeros y determinan su validez científica, sin embargo

este método es demasiado costoso si se quiere aplicar a un gran conjunto de

científicos y su objetividad puede ser puesta en duda. La ciencimetría como disciplina

científica aplicada ha permitido desarrollar un conjunto de métodos e indicadores

cuantitativos y cualitativos, gran parte de ellos basados en la familia de los citation

indexes de Thomsom-ISI, que permiten caracterizar la producción de un agente

científico y su impacto internacional. La ciencimetria se complementa con los

diferentes protocolos desarrollados por organismos nacionales y supranacionales para

evaluar otros aspectos de la ciencia como los recursos humanos, la inversión o la

infraestructura. Todo este conjunto de indicadores ha permitido diagnosticar

sistemáticamente desde los años setenta el estado científico de los países

desarrollados a través de informes. Éstos han facilitado la toma de decisiones a los

administradores de la política científica contribuyendo a una orientación más adecuada

de los recursos económicos destinados a la investigación. Esta preocupación por

cuantificar, por medir la actividad científica, se ha extendido a otros ámbitos como la

industria, las universidades o centros de investigación independientes, todos ellos

Page 21: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Justificación

17

interesados en conocer el rendimiento de sus científicos. Sin embargo los gestores de

la política científica en estos niveles del sistema no disponen de las herramientas

adecuadas para la evaluación de sus centros. La obtención de indicadores sobre sus

propios investigadores suele ser para ellos una labor difícil ya que la producción de los

mismos aparece dispersa en diferentes bases de datos poco normalizadas. Para este

tipo de gestores institucionales es necesario contar con información detallada y

exhaustiva de sus investigadores no solo que cuantifique su producción sino que la

caracterice en cuestiones como su visibilidad e impacto internacional. Aunque

diferentes grupos especializados han prestado eventualmente este tipo de servicios

normalmente lo han hecho a través de informes descriptivos alejados de las

exigencias de la Bibliometría evaluativa y mediante indicadores que no

necesariamente se adaptan a sus necesidades. Algunas instituciones públicas

conscientes de la importancia de la evaluación y de contar regularmente con la

información bibliométrica de su sistema han desarrollado sus propias mecánicas de

recopilación y presentación de los indicadores. Un ejemplo lo representa El Mapa

bibliométrico de la investigación biomédica en España financiado por el Instituto de

Salud Carlos III para la gestión del Fondo de Investigación Sanitarias. Sin embargo, a

un nivel micro, entendiendo por tal el nivel institucional básico (universidades,

empresas, centros e institutos de investigación), todavía no existe ninguna herramienta

u aplicación informática, que permita evaluar bibliométricamente con un carácter

sistemático, regular, estandarizado e interactivo a sus investigadores y departamentos.

Con el fin de subsanar este déficit el grupo Evaluación de la Ciencia y la

Comunicación Científica (EC3)1, integrado en el Plan Andaluz Investigación y en el

Departamento de Biblioteconomía y Documentación de la Universidad de Granada, ha

venido desarrollando desde finales de la década de los noventa diversas herramientas

1 http://ec3.ugr.es [Consultado el 23 de Enero de 2007]

Page 22: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Justificación

18

y un corpus teórico que intenta cubrir este tipo de lagunas en el ámbito de la

evaluación científica. Entre los objetivos declarados de este grupo de investigación se

encuentran los siguientes:

» Generar herramientas de corte bibliométrico que analizando la repercusión

científica de las publicaciones de los investigadores españoles permitan a los

responsables de las políticas científicas a diverso nivel (nacional, regional,

institucional) evaluar el rendimiento investigador de programas, sistemas,

personas o instituciones.

» Evaluar la productividad, rendimiento e impacto científico de investigadores,

instituciones y comunidades científicas españolas.

» Realizar estudios que permitan un mejor conocimiento de la generación,

difusión, visibilidad e impacto nacional e internacional de la producción

científica de diversos actores de la ciencia en España.

» Realizar estudios teóricos y propuestas metodológicas de corte cuantitativo

para mejorar los análisis bibliométricos (leyes bibliométricas, método de

palabras asociadas, análisis de redes sociales).

» Realizar estudios bibliométricos sobre diversos aspectos de la comunicación

del conocimiento científico, como el que versa sobre las coautorías en los

trabajos en régimen de colaboración: los niveles de cooperación, el problema

de las atribuciones de autoría en los artículos científicos (responsabilidades,

conceptualización y denominaciones), el orden de firma y la prelación.

Como miembro activo de este grupo, y por tanto circunscrito a su programa y

valores académicos, esta tesis doctoral no deja de ser un eslabón más de las diversas

líneas de investigación emprendidas por EC3 y deudora, en gran medida, de los

avances anteriores y los intereses de mis compañeros.

Page 23: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Justificación

19

En este contexto científico y académico se enmarca nuestro trabajo sobre la

Universidad de Navarra (UNAV). La UNAV situada en diferentes puntos de la

geografía española como Pamplona, San Sebastián, Barcelona o Madrid ha realizado

en los últimos años un intenso esfuerzo científico y económico que la ha situado a

gran nivel científico en la esfera nacional. Su último gran proyecto fue la puesta en

marcha en 1999 del Centro de Investigación Médica Aplicada. Este esfuerzo inversor

se ha venido acompañado de una preocupación de los gestores científicos de fijar un

procedimiento que permita la evaluación permanente del rendimiento de sus

investigadores. Se ha convertido, por tanto, en una prioridad disponer de una

aplicación que basada en una amplia batería de indicadores bibliométricos les ayudara

en la toma de decisiones diaria. El sistema suministraría información detallada que

sería la base para la posterior actuación de los expertos o pares. De esta forma una

herramienta cuantitativa se complementaría con la revisión por pares. Es igualmente

de interés para los gestores de la universidad conocer el nivel científico alcanzado

desde la creación de dicho centro y la evolución científica en esto primeros años de

funcionamiento para la puesta en marcha de su propio sistema de evaluación científica.

Para llevar a cabo estas acciones la UNAV, a través de la Fundación para la

Investigación Médica Aplicada y por iniciativa de los gestores del Centro de

Investigación Médica Aplicada, han financiado este trabajo y su correspondiente

proyecto de investigación.

Page 24: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Objetivos

20

» 1.2. OBJETIVOS

En función de lo expuesto los objetivos planteados en este trabajo son los siguientes:

1. Creación de un sistema informático que permita controlar y evaluar mediante

indicadores bibliométricos la actividad científica de la UNAV para la toma de

decisiones en el ámbito de la política científica. El sistema debe contar para ello con

las siguientes características:

1.1. Ofrecer un conjunto amplio de indicadores que reflejen gran parte de los

aspectos y resultados de la actividad científica. Ha de implementarse por tanto

indicadores de producción basados en las diferentes formas de comunicar los

resultados, indicadores de impacto que reflejen la visibilidad e impacto

internacional, e indicadores de colaboración que describan las alianzas

científicas, todo ello unido a otros aspectos como la financiación.

1.2. Permitir diferentes niveles de consulta o agregación. La aplicación debe

permitir la consulta de los indicadores globales de la UNAV, de los

departamentos, de los investigadores y de distintas categorías temáticas. Los

resultados de dos de los niveles de consulta, investigadores y departamentos,

deben de ser confrontables mediante diferentes utilidades como rankings o

gráficos comparados. Además se debe facilitar la creación y consulta de grupos

de investigación personalizados.

1.3. La información ha de ser rápidamente inteligible, exportable y amigable

para todo tipo de usuarios, sobre todo para aquellos menos familiarizados con

la bibliometría. El sistema debe presentar los indicadores en pantalla

estructurados en diferentes niveles informativos mediante la utilización de

tablas y gráficos dinámicos que permitan una interpretación rápida y eficaz de

Page 25: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Objetivos

21

los resultados científicos. Asimismo la información ha de tener salida a través

de informes imprimibles adaptados a los distintos indicadores y niveles de

agregación implementados.

1.4. El sistema ha de estar preparado para su actualización, por tanto es

necesario un módulo de administración que facilite el ingreso, procesamiento y

normalización de la información.

2. Evaluación de la actividad científica del área de ciencias de la salud para cuatro

niveles de agregación diferentes: universidad, departamentos, categorías temáticas

del Journal Citation Reports (JCR) y grupos de investigadores estables. Dentro de

este apartado podemos establecer hasta siete objetivos:

2.1. Cuantificar la producción teniendo en cuenta las diferentes formas que

tienen los investigadores de comunicar sus resultados: revistas nacionales e

internacionales, aportaciones a congresos, tesis, libros y obras colectivas, etc...

Es especialmente importante en este apartado conocer la orientación

internacional de sus publicaciones a través del porcentaje de trabajos

presentes en la Web of Science (WoS).

2.2. Determinar la visibilidad y el impacto internacional de la producción

científica presente en Thomsom-ISI a través de indicadores basados en los

Impact Factors de las revistas del JCR y las citas extraídas del Science Citation

Index (SCI) y Scopus. Como objetivo secundario de este apartado nos

planteamos el análisis comparativo del rendimiento de los indicadores de

citación dependiendo de las bases de datos SCI y Scopus

2.3. Describir el nivel y la estructura de colaboración de la UNAV a partir del

número de autores y los patrones de colaboración. Asimismo trataremos de

identificar las principales instituciones colaboradoras y las posibles redes,

Page 26: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Objetivos

22

nacionales e internacionales de investigación a las que pertenece. Otro de los

objetivos dentro de este mismo apartado es conocer el porcentaje de trabajos

colaborados que se firman en posición inicial, media y final y determinar su

posible incidencia en los indicadores de impacto.

2.4. Identificar los grupos estables de investigación de la universidad a través

de los cuales se articula la red de investigación en ciencias de la salud y

caracterizarlos mediante indicadores de producción e impacto.

2.5. Establecer un conjunto de indicadores de inputs a través de la descripción

de la financiación obtenida y los recursos humanos. Asimismo se pretende

poner en relación los indicadores de producción e impacto con los inputs a fin

de ofrecer un retrato más exacto de la actividad científica.

2.6 Determinar la posición nacional de la UNAV según los distintos indicadores

bibliométricos contemplados.

2.7 Identificación de las áreas temáticas y los departamentos más destacados

o excelentes en función de los diversos indicadores considerados.

3. Introducir nuevas técnicas de análisis de la información bibliométrica mediante la

utilización un diseño de superficies de respuesta (DSR). Podemos marcar tres

objetivos dentro de este apartado:

3.1. Determinar cuales son las variables que pueden explicar y determinar los

cambios en la producción e impacto y sus dinámicas dentro de los

departamentos.

3.2. Establecer las ecuaciones polinomiales que explican la producción y el

número de citas de los departamentos.

Page 27: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Objetivos

23

3.3. En función de las ecuaciones obtenidas diseñar nuevos indicadores de

rendimiento que permitan comparar los resultados de los departamentos dentro

de su propio sistema de investigación.

.

Page 28: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Estructura de la tesis

24

» 1.3. ESTRUCTURA DE LA TESIS

Para la organización del contenido hemos adoptado la estructura IMRYD

(Introducción/Material y Métodos/Resultados y Discusión), la más idónea, a nuestro

entender, para presentar una investigación original. Da igual, por tanto, que se trate de

un artículo en una revista, de un informe científico-técnico o de una tesis, para todos

ellos es válida dicho formato. Si existe algún rasgo que distinga a una tesis, éste no

radica en la vertebración del contenido, sino más bien en otros aspectos como la

profundidad, la extensión y prolijidad con que debe comportarse el doctorando. Al

tratarse de un trabajo académico, que será juzgado por una comisión para otorgar un

título que capacita para la investigación, el doctorando viene especialmente obligado a

demostrar su pericia como investigador. Por esta razón debe reflejar más fiel y

pormenorizadamente los antecedentes del trabajo, abundando en cuestiones

metodológicas que en otros casos estarían demás. La única alteración efectuada en

esta tesis respecto al formato IMRYD es la constitución en apartado autónomo del

estado de la cuestión.

El Estado de la Cuestión comienza con un primer acercamiento a la ciencimetria

como disciplina científica. En los primeros apartados se presenta la relación de la

ciencimetria con otras disciplinas, en especial aquellas enmarcadas dentro de los

denominados estudios CTS (Ciencia, Tecnología y Sociedad). A continuación

desarrollamos cronológicamente los principales hitos que han ido configurando la

ciencimetría lo largo del siglo XX para pasar, posteriormente, a la descripción y

presentación de los indicadores bibliométricos más empleados en la actualidad. Para

el desarrollo lógico de este epígrafe se sigue el esquema de clasificación de los

indicadores planteado por Callon & Courtial (1995). Establecidos cuales son los

indicadores y sus principales características analizamos como se han empleado éstos

Page 29: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Estructura de la tesis

25

para la toma de decisiones en el ámbito de la política científica. Se profundiza

especialmente en el uso de los mismos para la evaluación de instituciones por lo que

se realiza una revisión de los trabajos que han evaluado bibliométricamente

instituciones de investigación. El estado de la cuestión se cierra con una perspectiva

general de la bibliometría aplicada a las ciencias de la salud a partir del estudio de los

trabajos sobre el tema presentes en Medline.

Comienza la sección de Material y Métodos describiendo la unidad de análisis

objeto de esta tesis doctoral, el área de ciencias de la salud de la Universidad de

Navarra, atendiendo especialmente a los centros evaluados y sus 50 departamentos.

Una vez establecida la unidad de análisis se ofrecen las fuentes de datos de las cuales

se ha extraído la información relativa a la actividad científica y su visibilidad e impacto.

Se han dividido estas fuentes en internas y externas y para cada grupo ofrecemos su

caracterización general. Concretadas las fuentes se presenta el método seguido para

la creación y diseño del sistema destinado a la evaluación científica para lo cual

desarrollamos, aplicado a nuestro caso, el Ciclo vital de desarrollo de sistemas. A

continuación presentamos el proceso de carga y tratamiento de los datos extraídos de

las diferentes fuentes. Detallamos para ello los diferentes programas empleados en el

proceso y las aplicaciones diseñadas para este propósito. Por último cerramos este

apartado con la exposición de los indicadores bibliométricos que se han implementado

en el sistema y los que se han utilizado en este trabajo de investigación.

La sección dedicada a los Resultados se abre con una presentación ilustrada del

sistema de información diseñado para la Universidad de Navarra, en ella se muestra

su navegación, módulos, objetos y aplicaciones específicas. Continúa este apartado

con los resultados obtenidos para los diferentes indicadores bibliométricos de la UNAV.

En primer lugar se analizan los indicadores más usuales de producción, impacto y

Page 30: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. | Estructura de la tesis

26

colaboración, todos ellos aplicados a la universidad, departamentos y categorías

temáticas del Journal Citation Reports. Se realizan asimismo análisis más específicos

de los hábitos de firma, de los grupos estables y de los inputs de la universidad,

concretamente la financiación y los recursos humanos. La sección de Resultados

termina con la presentación y aplicación práctica del análisis de superficies de

respuesta. Este método se aplica para conocer en los departamentos la influencia de

diversos factores sobre la producción y la citación e introducir nuevos indicadores

destinados a la evaluación de la actividad científica.

En la sección de Discusión se extraen las conclusiones oportunas y se discuten e

interpretan los resultados a la luz de otros estudios.

Page 31: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 1. INTRODUCCIÓN. …. | Agradecimientos

27

» 1.4. AGRADECIMIENTOS

Quisiera, en primer lugar, manifestar mi agradecimiento a la Universidad de

Navarra que ha financiado y hecho posible este trabajo de investigación.

Especialmente doy las gracias a Fernando de la Puente, gerente del Centro de

Investigación Médica Aplicada, y a todo su equipo por la confianza depositada desde

el primer momento.

A los directores de esta tesis, Emilio Delgado y Evaristo Jiménez. Ambos se han

implicado especialmente, no solo en la consecución de este proyecto, sino también en

mi formación como investigador sin escatimar un segundo de su tiempo. Me consta el

generoso esfuerzo realizado en la promoción de mi figura.

A Rafael Bailón y Charo Ruíz por contribuir con su habitual entusiasmo y

sabiduría en el tramo final de esta tesis.

A Elena Álvarez que superó la difícil prueba de trabajar a mi lado

A Rafael Olivares, bibliotecario de la Facultad de Biblioteconomía y

Documentación, por su impagable amistad.

Por último a mis chicas, mi madre y a María, las grandes damnificadas de este

trabajo. Ellas han sabido darme la estabilidad y el amor que mi desordenada vida

necesita

Page 32: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

28

22.. EESSTTAADDOO DDEE LLAA CCUUEESSTTIIÓÓNN..

»»»

Page 33: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los estudios de ciencia, tecnología y sociedad

29

» 2.1. LOS ESTUDIOS DE CIENCIA, TECNOLOGÍA Y SOCIEDAD

La ciencia moderna como forma verificable de conocimiento se puso en marcha en

el siglo XVII, es en este momento cuando adquiere su metodología empírica

abanderada por Francis Bacon y ejemplificada en su obra New Atlantis. Fue el siglo de

las denominadas revoluciones científicas que supusieron una ruptura absoluta con la

tradición intelectual anterior (Masson, 2001). Estas revoluciones afectaron a los

campos del conocimiento más importantes y supusieron una nueva forma de mirar y

comprender el mundo con sus teorías y de transformarlo con sus avances

tecnológicos. Desde entonces se comienza a configurar el sistema científico tal y como

lo conocemos con agentes plenamente identificables en la actualidad. Surgen así las

primeras sociedades científicas como la Royal Society en 1660 y las revistas

científicas como los Philosophical Transactions of the Royal Society of London en

1665 o el Journal des Scavants. Esta nueva forma de difundir las ideas, más rápida y

sistemática, nació como una consecuencia directa del crecimiento de los miembros de

la comunidad científica que creo una necesidad creciente de transmisión de los

conocimientos a gran escala, primero a través de canales más informales y luego a

través de las revistas (López-Yepes, 1989, p. 104). Fue precisamente mediante el

estudio de estas revistas por lo que Price pudo caracterizar el paso de la ciencia

moderna a la actual, de la Little Science a la Big Science (Garfield, 1984, p. 214). Esta

transformación se fraguó en diferentes etapas bien establecidas de las que podemos

destacar la profesionalización de los científicos en la Alemania del XIX, el

asentamiento de la ciencia en torno a las universidades (Barnes, 1985, p. 8-10) o el

período de entreguerras del siglo XX. Fue entonces cuando se mostró al mundo los

avances tecnocientíficos en las exposiciones universales, popularizando y sacando la

ciencia de las universidades.

Page 34: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los estudios de ciencia, tecnología y sociedad

30

El punto de inflexión definitivo de esta transición vino con la II Guerra Mundial y

con los éxitos de determinados programas científico-militares, principalmente el

Proyecto Manhattan, gracias al cual el gobierno estadounidense toma conciencia de la

importancia de la investigación científica y de sus generosas recompensas, sobre todo

desde un punto de vista militar. Según Galcerán y Domínguez (1997, p.152) el efecto

demostrativo del Proyecto Manhattan sirvió para que se justificaran otra serie de

proyectos de alta tecnología y creó una ola de esfuerzos de imitación que no solo se

limitarían al campo militar sino que afectaron a la tecnología civil y a determinadas

prioridades nacionales. Es en este contexto de la inmediata posguerra donde se

explican las ideas que expuso Vannevar Bush en un informe realizado a petición del

propio presidente de los Estados Unidos: Science, Endless Frontier. En el mismo se

advierte sobre la necesidad de organizar conveniente los recursos disponibles para la

ciencia, siendo éste uno de los orígenes de la política científica. Este informe tendría

su continuación en el conocido como Steelman Report (Science and Public Policy) de

1947 que planteaba el papel del gobierno federal estadounidense a la hora de apoyar

la investigación en las universidades (Leydesdorff, 2005a, p. 1510). Para Ziman la

política de la ciencia y la tecnología es el factor más importante en la transición hacía

este nuevo régimen de la ciencia en el que nos encontramos en la actualidad (Ziman,

2003, p. 81). Otro de los hechos determinantes fue el lanzamiento en plena Guerra

Fría por parte de la Unión Soviética del satélite Sputnik. Fue entonces cuando los

Estados Unidos y la URSS se embarcarán en la carrera espacial que se tradujo en un

incremento masivo del gasto público en I+D culminando en la llegada a la luna. Su

efecto se extendió además a otros países desarrollos con la implantación de nuevas

políticas científicas (Galcerán y Domínguez, 1997, p.152). Este nuevo giro

desembocaría en la denominada Sociedad basada en el conocimiento donde se

concibe la actividad científica y tecnológica como una forma de obtener ventaja

competitiva frente a otros estados.

Page 35: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los estudios de ciencia, tecnología y sociedad

31

Desde entonces los gobiernos han destinado cada vez más inversiones a la

ciencia en forma de programas de I+D, hoy ya I+D+I (Investigación + Desarrollo +

Innovación), que van desde los planes autonómicos, para el caso español, hasta las

políticas supranacionales como los conocidos Programas Marco de la Unión Europea

que en su último convocatoria, 2002-2006, la estructuraron en 12 áreas temáticas

prioritarias (Delgado López-Cózar, Moneda Corrochano, et al., 2005, p. 85). De hecho

la ciencia cada vez ocupa un mayor volumen en el PIB de los países, así en el año

2003 este gasto alcanzaba para los 15 países de la Unión Europea el 2,3% con una

tasa promedio de incremento de los recursos brutos del 3% anual para el período

1995-2003. En España ese mismo año se superó un 1% del PIB y el incremento de los

recursos brutos rondaba el 10% (FECYT, 2005, p. 17). El ejemplo más claro de

aumento de la de inversión nos lo encontramos en el National Institute of Health (NIH)

que en 1989 tenía un presupuesto de 7.900 millones de dólares y en 2005 lo

cuadriplicó hasta 28.000. Como se pone de manifiesto el compromiso y el interés de

los gobiernos por el desarrollo de su sistema de ciencia y tecnología es evidente y

éste cada vez ocupa un espacio más amplio en sus agendas políticas llegando incluso

a niveles legislativos (Camí, 2001, p. 510)

Este interés de los gobiernos por las actividades científicas también se trasladó a

las aulas académicas convirtiéndose la ciencia en objeto de investigación de nuevas

disciplinas que superaban y complementaban los tradicionales enfoques históricos o

filosóficos llegando incluso a ocupar el puesto central de estos últimos (Zimman, 2003,

p. 14). Dentro de los nuevos prismas bajo los que se empezó a analizar la ciencia

primero destacó la denominada sociología de la ciencia encabezada por el

norteamericano Robert K. Merton que la estudió desde una perspectiva internalista y

neopositivista. La aportación más relevante de Merton fue la búsqueda de un ethos

científico, de la normas por las cuales se regía la ciencia como institución social

Esta

do d

e la

cue

stió

n

Page 36: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los estudios de ciencia, tecnología y sociedad

32

(Valero, 2004, p. 39-55). Sus ideas quedaron sistematizadas en su histórico artículo de

1942 La estructura Normativa de la Ciencia donde formuló el CUDEO (Comunismo,

Universalismo, Desinterés y Escepticismo Organizado). Aunque Merton en sus

enfoques dejaba de un lado el contenido de la ciencia fue capaz de establecer las

normas que regían la actividad científica y le permitieron explicar determinados hechos

históricos como el fracaso de la ciencia nazi, las disputas por la prioridad de los

descubrimientos como la que mantuvieron Leibniz y Newton y el Sistema de

recompensas de la ciencia. Otra de sus aportaciones, que siguen siendo objeto de

estudio hoy en día, fue el denominado Efecto Mateo por el cual se explica por qué los

científicos más reconocidos suelen tener más capacidad para atraer citas, fondos,

premios, etc.... El efecto de sus ideas se extendió durante toda la década de los

cincuenta y se materializó en una escuela científica surgida en torno a su figura a partir

de una serie de seminarios que impartió en la Universidad de Columbia a mediados

de los años sesenta, de éstos salieron investigadores como Jonathan Cole, Stephen

Cole o Harriet Zuckerman (Cole, 2000, p. 284).

La respuesta más importante a la visión mertoniana llegó a través de Thomas S.

Khun en 1962 que ofreció una imagen radicalmente distinta en su forma de entender la

ciencia en su obra La Estructura de las Revoluciones Científicas. En su ensayo se

formula la actualmente extendida noción de paradigma que rompió con la concepción

clásica de progreso gracias a la acumulación del conocimiento. Los nuevos postulados

post-positivistas favorecieron la réplica a las teorías mertonianas y abrieron la puerta a

las nuevas sociologías del conocimiento científico, una denominación que ya marcaba

las diferencias con el enfoque mertoniano ya que los contenidos de la ciencia

empiezan a cobrar importancia. Los principales abanderados de esta nueva

perspectiva fueron Barnes y Bloor de la Science Studies Unit de la Universidad de

Edimburgo cuyos principios quedaron plasmados en el Strong Programme. Se inicia

Page 37: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los estudios de ciencia, tecnología y sociedad

33

con estos autores una desmitificación de la actividad científica y es verdaderamente a

partir de este momento cuando se produce una apertura de la ciencia como objeto de

estudio a nuevos y programas universitarios, entre ellos podemos reseñar los

siguientes (Cutcliffe, 2003, p. 18-20): el programa relativista de Pickering en la Escuela

de Bath, los estudios de corte antropológico a pie de laboratorio de Bruno Latour, la

perspectiva humanista de la Universidad de Leigh o el Programa de Ciencia

Tecnología y Sociedad del Massachussets Institute of Technology

En torno a 1980 todas las subdisiciplinas quedan englobadas bajo una sola

denominación y podemos hablar de la formalización de la Ciencia, Tecnología y

Sociedad (CTS) como un campo de estudio interdisciplinario bien asentado

académicamente en diferentes universidades (Cutcliffe, 2003, p. 21). Esta proliferación

de visiones y formas de afrontar el conocimiento de la ciencia no ha estado exenta de

disputas ya que se han producido numerosos conflictos por posturas enfrentadas entre

las diferentes disciplinas implicadas como queda de manifiesto en el volumen

recopilatorio publicado por Solís (1998). Una de las principales aportaciones de la CTS

durante este tiempo, la idea del conocimiento científico como una construcción social,

ha desembocado en la denominada Guerras de las ciencias (Science Wars) que ha

tenido algunos de sus capítulos más agrios en la radical postura del filósofo Mario

Bunge contra los estudiosos de la CTS (Cutcliffe, 2003, p. XIV) o en el denominado

Caso Sokal (Jurdant, 2003) que volvió a poner en evidencia el matrimonio mal avenido

entre CTS y su objeto de estudio principal, las ciencias exactas. Para Zimman (2003, p.

14) las diferentes escuelas del relativismo se han mostrado demasiado hostiles hacía

la ciencia, menospreciándola y exagerando la incertidumbre y confusiones originales

de la investigación científica. Sin embargo dentro de los estudios de CTS apareció una

disciplina que se alejó de las perspectivas antropológicas o sociales y de los posibles

Page 38: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los estudios de ciencia, tecnología y sociedad

34

debates en torno al carácter y la naturaleza de la ciencia para centrarse en su

medición mediante técnicas estadísticas y cuantitativas: la ciencimetría

Page 39: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

35

» 2.2. ORIGEN Y DESARROLLO DE LA CIENCIMETRIA

En la actualidad la ciencimetria se considera un campo científico de pleno derecho

ya que tiene sus propias leyes y métodos. Se define formalmente como:

“El análisis estadístico y sociométrico de la bibliografía científica mediante el uso de modelos matemáticos, y cuyos objetivos se basan en el estudio del tamaño, crecimiento y distribución de la bibliografía científica y en el estudio de la estructura y dinámica social que la producen y la utilizan” (López-Piñero, 1972, p. 11).

Una definición más global que no se limita la bibliografía científica es la ofrecida por

Garfield quien la define como:

“El estudio de la medición de progreso científico y tecnológico” (Garfield, 1979, p. 313).

La ciencimetría para Jiménez-Contreras (1997) presenta un gran espacio de

superposición con la bibliometría debido a la identidad práctica entre sus técnicas y

métodos, aunque ambas tengan diferentes objetos de estudio, al menos teóricamente.

Esta situación se explica ya que la mayor parte de los considerados primeros estudios

de la ciencimetría fueron de carácter bibliométrico (Garfield, 1979, p. 313). Ésta es una

de las principales razones por la que suele usarse indistintamente el término

bibliometría y ciencimetría y por la que los indicadores son llamados bibliométricos y

no ciencimétricos. Ambas disciplinas quedan englobadas en un campo aún más

amplio conocido como informetria que algunos autores utilizan exclusivamente para

referirse a todas ellas (Egghe & Rousseau, 1990). Gorbea Portal al respecto nos

ofrece un análisis completo de la génesis, evolución, definiciones y relaciones

interdisciplinarias de la ciencimetría (Gorbea Portal, 2005, p. 95-104)

Independientemente de su relación con otras áreas la ciencimetria tiene su origen

a principios del siglo XX gracias a los pioneros trabajos de Cattell en el campo de la

Page 40: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

36

psicología (Godin, 2006, p. 111-115) aunque algunos autores llegan a remontarla al

XIX por la publicación de los trabajos de Balbi (1835) y A. de Candolle (1885) (Gorbea

Portal, 2005, p .98). Sin embargo no será hasta los años veinte del pasado siglo

cuando se produzcan dos acontecimientos importantes: las primeras recopilaciones

estadísticas oficiales sobre la actividad científica y la formulación de una de las leyes

fundamentales de la bibliometría. En el primer caso nos referimos a los directorios

elaborados por el National Research Council (NCR) estadounidense. Entre éstos

figuran una descripción de 300 laboratorios de investigación detallando sus áreas de

trabajo y los investigadores empleados, el directorio sobre la población de doctores y

un tercero sobre las fuentes de financiación de la investigación disponibles en Estados

Unidos (Godin 2005, p. 22-23). En el segundo caso hacíamos mención a la Ley de

Lotka del año de 1927 (Potter, 1981) sobre la productividad de los autores, la cual

sigue estudiándose como pone de manifiesto la publicación hasta el año 1996 de 150

artículos y monografías que trataban de replicarla o reformularla (Urbizagastegui, 1999,

p. 126). Es conveniente apuntar, en relación con los acontecimientos expuestos, como

los desarrollos científicos-académicos surgen conjuntamente, aunque de forma

independiente, con las inquietudes de diferentes organismos por recopilar información

sobre ciencia. Cuando ambas formas de cuantificar la ciencia convergen es cuando

podemos hablar plenamente de ciencimetría.

En la década de los treinta será Zipf quién establezca otra de las leyes

bibliométricas fundamentales basada en la frecuencia de las palabras. Su obra se dio

a conocer entre 1935-1949 y culminó con la publicación de su obra póstuma Human

Behaviour and The Principle of Least Effort (Wyllys, 1981) que coincide prácticamente

en el tiempo con la aparición en 1948 del volumen Documentation de Bradford. En

esta obra el químico británico desarrolla la conocida como Ley de Bradford, expuesta

parcialmente en 1934, acerca de la dispersión de la literatura científica (Pope, 1975, p.

207). Con estos primeros avances teóricos la bibliometría comienza a asentarse y de

Page 41: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

37

nuevo otro químico, Eugene Garfield, en 1955 le da un nuevo empuje con la difusión

de sus ideas en el trabajo Citation Indexes for Science publicado en la revista Science

(Hertzel, 1987, p.162). Éste artículo fue el germen intelectual de la creación del

Science Citation Index una idea sencilla, pero a la postre revolucionaria, que

proporcionaría la herramienta adecuada para llevar a cabo las evaluaciones, aunque

en un principio el objetivo prioritario de Garfield fuera presentar un nuevo modelo de

recuperación de información. En un segundo plano quedaban los posibles usos del

mismo índice para diferentes disciplinas como la historia o la sociología de la ciencia.

De hecho ya se adelantaba en este trabajo seminal como el número de citas recibidas

por una publicación científica podía ser utilizada para evaluar la influencia de un

científico en su comunidad y como podía ser el complemento del recuento de

publicaciones científicas para caracterizar la actividad científica.

Mientras se van produciendo lentamente estos avances teóricos y metodológicos

la idea de monitorizar la actividad investigadora sigue presente en las esferas políticas

como lo demuestra la creación en 1950 de la National Science Foundation (NSF) en

los Estados Unidos. Desde el año 1953 esta institución pionera comenzará sistemática

y estandarizadamente a recopilar estadísticas sobre ciencia con la publicación del

Survey of Industrial Research and Development (Godin, 2005, p. 27). Entre los

numerosos censos y estadísticas realizados por la NSF en la década de los cincuenta

destaca sobre todo el que es considerado el primer documento orientado a la política

científica: Basic Research: a National Resource (1957) (Godin, 2005, pag 28).

Será precisamente la NSF, conjuntamente con el National Institute of Health, quién

en 1961 financie finalmente a Garfield y al premio nobel Joshua Ledeberg para

desarrollar su ideas sobre índices de citas. El proyecto se denominó Genetics Citation

Index Project y concluyó en 1963 abarcando un total de 613 revistas y 1,4 millones de

de citas. Este fue el campo de pruebas que generaría a lo largo de las décadas de los

Page 42: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

38

sesenta y lo setenta las bases de datos que conformarían la familia de los Citations

Indexes distribuidas por el Institute for Scientific Information de Philadelphia. Para Van

Raan será esta herramienta la que convierta a la bibliometría en un campo potente

(Powerful) dentro de los estudios de CTS, siendo su importancia reconocida por

eminentes científicos del momento como Price o Merton (Van Raan, 2004, p. 20).

Precisamente el grupo de Columbia liderado por Merton iniciará los primeros estudios

exploratorios utilizando las citas como supuesta medida de impacto, calidad e

influencia intelectual. El primer trabajo que trataba de corroborar esta hipótesis se

presentó en el congreso anual de la American Sociological Association de 1966. En

dicho trabajo se comparaba la citación de 120 físicos frente a otros factores que

determinaban el reconocimiento y la visibilidad (Cole, 2000, p. 287-288). La difusión y

proliferación posterior de este tipo de estudios fue tal que el Science Citation Index

acabaría creando una nueva imagen, una representación diferente de la ciencia

basada en la literatura científica presente en esta base de datos y en las conexiones

de sus trabajos a través de las referencias (Wouters, 1998, p. 225). También en el año

que se crearon los primero índices de citas, 1961, se publicó otro de los grandes

libros de la ciencimetria: Little Science, Big Science. Su autor es Derek de Solla Price y

aparece por primera vez una denominación para este nuevo campo, la denominada

Ciencia de la Ciencia. Price estableció en su obra la Ley del crecimiento exponencial

de la literatura científica demostrando como el desarrollo del conocimiento científico

podía ser caracterizado y explicado a través de la contabilización de publicaciones.

Para López Piñero este libro se ha convertido en el auténtico manifiesto de la

bibliometría (López Piñero & Terrada, 1992b, p. 142) y en términos parecidos se ha

expresado Fernández-Cano (Fernández-Cano, Torralbo, et al. 2004, p. 302) para

quién Price fue un precursor que puso lógica y orden matemático en un campo

inexplorado. Además Price fue autor de otros importante trabajos como Networks of

Scientifics Papers (Price, 1965) donde introducía el concepto de colegios invisibles

(Invisible Colleges). Esta teoría sería desarrollada en la próxima década por Diane

Page 43: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

39

Crane y postulaba la existencia de pequeñas comunidades de científicos que

conducen la investigación y que se comunican mediante canales informales (Borgman,

2000, p. 145)

Mientras la Ciencia de la Ciencia se consolidaba académicamente con la obra de

Price los estados occidentales crearon la Organization of Economic Cooperation and

Developement (OECD) (1961) en París que inició las primeras reflexiones en política

científica desde un punto de vista más económico (Godin, 2005, p. 34-36). El primer

gran logro de esta organización de carácter supranacional fue una reunión en la

localidad italiana de Fracasti donde se discutió la estandardización a nivel

internacional de las definiciones, conceptos y metodología de las encuestas sobre I+D

para la recopilaciones de datos sobre inversión y recursos humanos. El resultado fue

la publicación del conocido como Manual Fracasti que será el germen de una serie de

manuales que tratarán de normalizar diferentes aspectos relativos a la medición de la

ciencia. La primera aplicación práctica del Frascati se materializó con un informe

publicado en dos volúmenes en los años 1967 y 1968 bajo el título A Study of

Resources Devoted to R&D in OECD Member Countries in 1963/64. Este estudio

describía los recursos y esfuerzos en investigación de los 16 países miembros de la

OECD. Según Leydesdorff (2005, p. 1511) este tipo de estadísticas fueron eficaces,

por ejemplo, a la hora de mostrar la buena organización y resultados de la

investigación en física después de la II Guerra Mundial dentro de diferentes estados y

su alto nivel de colaboración internacional.

Esta expansión y consolidación de la ciencimetría no solo se produjo en Occidente;

en consonancia con los vientos políticos de la época en la URSS también se desarrolló

esta nueva especialidad académica bajo la denominación de Naukometriya (medición

de la ciencia). Las principales aportaciones de los países del este fueron al menos tres.

La primera fue la publicación en el año 1964 por parte de Dobrov de la Ukranian

Page 44: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

40

Academy of Sciences de su obra Science of Science (Nauka) donde se planteaba

como planificar y gestionar la ciencia adecuadamente. La segunda la celebración, dos

años más tarde, del Soviet-Polish Symposium in L’vov donde la principal cuestión era

como aumentar los resultados (output) de la actividad científica. La tercera, y última, la

aparición en 1969 de un nuevo manual a cargo de NN Nalimov, quizás el mayor

exponente de la Naukametriya, titulado Scientometrics. The study of Science as an

Information Process. En esta obra se abordó temas como los índices de citas, la

estructura interna de los frentes de investigación y se propuso cuestiones como la

creación de un centro de información para el estudio estadístico de la ciencia

(Granovsky, 2001, p. 133-138)

Los esfuerzos desarrollados durante los sesenta no fueron ignorados y en la

década de los setenta nadie discute el status de la ciencimetría como campo científico.

El ejemplo más claro de esta consolidación fue la petición a la NSF, por parte del

congreso estadounidense, de un informe sobre indicadores científicos que se

materializó en la publicación en 1973 de los Science Indicators. Este pionero informe

pretendía ofrecer una serie de indicadores sociales parecidos a los que se venían

haciendo uso en el campo de la economía y en su primera edición sumaba 145

páginas y un total de 9 tablas de carácter bibliométrico. La fuente de información

principal fue el Science Citation Index que fue seleccionado por su carácter

multidisciplinar, por la indización de la afiliación institucional de los autores y por la

cobertura completa de sus revistas (Narin, Hamilton et al. 2000, p. 338-339). Su

publicación no estuvo exenta de críticas ya que los científicos vieron con recelo la

asignación de las partidas económicas destinadas a la ciencia en función de una serie

de indicadores cuantitativos frente a sus sistemas tradicionales de evaluación como el

peer review. Otras de las carencias que se apuntaron fue su orientación hacía la

medición de los inputs en detrimento de los outputs que estaban poco representados

(Grupp & Mogee, 2004, p. 77-78). Pese a todo una de las primeras decisiones

Page 45: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

41

tomadas por parte del gobierno de EEUU fue el incremento en 50 millones de dólares

la dotación destinada a la investigación básica (Garfield, 1979, p. 316).

En este mismo año de 1973 cuando la NSF sacó a la luz su primer informe, a nivel

metodológico, se presentó el análisis de cocitaciones (Small, 1973) que permitirá el

mapeo de la ciencia, la caracterización de frentes de investigación y la identificación

de escuelas invisibles, complementado así la perspectiva cuantitativa de los

indicadores con el análisis estructural. También a mediados de la década se intentó

sistematizar los conocimientos existentes en dos nuevas obras. La primera publicada

en 1974 recopiló las aportaciones realizadas en la conferencia celebrada en el Center

for Advanced Studies in the Behavioral Sciences en Stanford bajo el título Towards a

Metrics of Science: The Advent of Science Indicators. Esta obra conjunta vino avalada

por el grupo de Columbia con Merton y Ledeberg a la cabeza (Garfield, 1979, p. 316).

La segunda obra fue Evaluative Bibliometrics: the Use of Publication and Citation

Analysis in the Evaluation of Scientific Activity. Publicada en 1976 por Narin bajo los

auspicios de la NSF planteaba el concepto de Bibliometría evaluativa (Evaluative

Bibliometrics), centrada en la evaluación de la actividad científica y sobre todo en los

aspectos de la calidad de los resultados. Esta nueva concepción intentaba superar a la

Bibliometría descriptiva por lo que no solo describiría y caracterizaría básicamente la

producción de un país o una universidad (Top down approach) sino que los datos

obtenidos por la evaluación se caracterizarían por su validez y fiabilidad, con una

participación activa de los evaluados y con un uso efectivo de los resultados en la

monitorización de la actividad científica (Bottom up approach) (Van Leeuwen, 2004, p.

374-375).

En 1978 se unió a la OECD otra organización, UNESCO, a la hora de recomendar

prácticas estandarizadas de recopilación de datos, en este caso fueron las

Recomendations Concerning the International Standardisation of Statistics on Science

Page 46: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

42

and Technology. Estas nuevas normas se distinguieron de las anteriores por

incorporar nuevos elementos de los sistemas de I+D como las estadísticas relativas a

la educación y los servicios en ciencia y tecnología (Luwel, 2004, p. 328). La década

se cerró con la puesta en marcha en 1979 de la primera revista científica especializada:

Scientometrics. Esta publicación fue fundada por Tibor Braun y publicada

conjuntamente con la Akademiai Piado en Hungría y el grupo Elservier.

Los años ochenta suponen uno de los momentos más creativos de la bibliometría

ya que se comienzan a aplicar nuevas técnicas estadísticas para el análisis de los

datos, además se produce su asentamiento académico en las universidades como

pone de manifiesto la creación de instituciones y grupos de investigación

especializados. Quizás el más destacado de todos ellos sea el grupo del Centre for

Science and Technology Studies (CWTS) de Leiden University o la Information

Science and Scientometrics Research Unit de la Hungarian Academian of Sciences. El

CWTS sentó las bases de los denominados indicadores bibliométricos avanzados y

una de sus más importantes aportaciones de la década fue la propuesta de una

metodología para la evaluación de instituciones como instrumento para orientar su

política científica que se convirtió en un verdadero estándar (Jiménez-Contreras, 1996,

p. 17-18). Al mismo tiempo Martin e Irvine (1983) propusieron otra metodología para

evaluar comparativamente la producción científica de los institutos de radioastronomía

existentes en el mundo (Leydesdorff, 2005a, p. 1511). Son cruciales estas

contribuciones ya que ponen de manifiesto como la bibliometría va extendiendo su

campo de acción a menor escala obligando a un mayor refinamiento en el tratamiento

de la información y al diseño de indicadores más exactos y variados. También durante

esta década se presentaron nuevas técnicas de análisis de los textos científicos, en

especial la metodología desarrollada por la Ecole Nationale Superieure des Mines que

propuso en 1983 el Análisis de palabras asociadas (Co-words Analysis) basada en la

aparición conjunta de palabras en los textos y en su representación a través de

Page 47: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

43

diagramas y redes y en su ponderación a través de diferentes indicadores (Callon,

Courtial, et al. 1995, p. 71-87). Estos análisis temáticos, unidos a los avances en el

campo de la cocitación generarían toda una vertiente de la ciencimetria dedicada al

mapeo de la ciencia.

Mientras tanto siguen presentes los esfuerzos de los diferentes organismos por

mejorar sus mecanismos de evaluación, sobre todo por parte de la OECD que intenta

alcanzar los logros obtenidos NSF. Así en el año 1984 la OECD inició una serie de

informes recopilados bajo el título Science and Technology: Indicators Reports. Sin

embargo esta nueva iniciativa no durará demasiado ya que solo tuvo tres ediciones:

1984, 1986 y 1989. Estas publicaciones fueron sustituidas por los Main Science and

Technology Indicators (MSTI) de 1988 y por la puesta en marcha en ese mismo año

de una base de datos para la consulta de las series temporales de los diferentes

indicadores que se irán incrementando a lo largo de la siguiente década (Godin, 2005,

p.115-118). La actividad de la OECD no se verá frenada durante la década siguiente y

sus esfuerzos estuvieron principalmente dirigidos a la actualización y ampliación del

Fracasti (1990, 1994) y a la edición de dos nuevos manuales. El primero Proposed

Guidelines for Colleting and Interpreting Technological Innovation Data es conocido

como Manual de Oslo y está orientado hacía una recopilación estadística más acorde

con las nuevas prioridades políticas como la industria, la tecnología y la innovación. El

segundo de los manuales estuvo centrado en los recursos humanos: Manual on the

Measurement of Human Resources in Science and Technology (1995)

En los noventa la Comisión Europea a través de la Oficina de Estadísticas de I+D

e Innovación de la Dirección General XIII (EUROSTAT) se incorpora a la elaboración

de estadísticas con la presentación en 1994 del First European Report on S&T

Indicators. La UNESCO también se muestra más activa en este aspecto como

demuestran los World Science Report (1993, 1996, 1998) y los informes The State of

Page 48: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

44

Science and Tecnnology in the World (1996, 1997) (Luwel, 2004, p. 328). Esta

tendencia hacía la recopilación de información es un fenómeno que se extendió a casi

todos los países del área europea (Grupp & Mogee 2004, p. 82-83). Muchos de ellos

van a realizar sus propios informes a través de organismos nacionales creados ad hoc

como es el caso de Francia (OST, Observatoire de Science et de Technologie),

Holanda (NOWT – Dutch Observatory of Science and Technology) o España (FECYT -

Fundación Española para la Ciencia y la Tecnología). Esta tendencia no solo se limitó

a EEUU y EU sino que se ha extendido en la actualidad por todos los países con cierto

grado de desarrollo, sobre a partir del año 1991 (Narin, Hamilton, et al., 2000. p. 353).

En el entorno iberoamericano supone un paso decisivo la creación en 1995 de la Red

Iberoamericana de Indicadores de Ciencia y Tecnología (RYCT) en el marco del

Programa Iberoamericano de Ciencia y Tecnología para el desarrollo (CYTED). Esta

nueva organización, al igual que las anteriores, promueve el desarrollo de indicadores

científicos como instrumento para la toma de decisiones y entre sus logros está la

publicación de manuales como el de Bogotá del año 2001 (Moneda, 2003, p. 25).

Durante la década de los noventa la ciencimetría cambia radicalmente sus

métodos por el nacimiento de Internet que permitió la consulta de bases de datos

remotas, como es el caso de Medline o el Science Citation Index, facilitando la

accesibilidad, descarga, tratamiento y manipulación de los datos. El procesamiento

masivo de la información permitió diseñar indicadores nacionales más complejos con

amplios marcos comparativos (Moed, De Bruin, et al., 1995) y tanto el tiempo como el

coste se redujeron considerablemente. La llegada de este nuevo medio de

comunicación también trajo consigo el nacimiento de la cibermetria que tomó

bastantes de los conceptos y aplicaciones desarrollados por la ciencimetría (Ingwersen

& Bjöneborn, 2004, p. 342). Gran parte de esta nueva disciplina es una reformulación

directa de la ciencimetria como lo demuestran las técnicas de análisis de citas

aplicadas a los enlaces o los rankings de visibilidad de las instituciones académicas

Page 49: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

45

en la web 2 . Todos estos temas tendrían cabida en la Internacional Society for

Scientometrics and Informetrics creada en 1993 que celebrará cada dos años un

congreso especializado.

A nivel legislativo en los Estados Unidos se aprobó la Goverment Perfomance and

Results Act por la que las instituciones y agencias federales de financiación y

promoción de la investigación se ven obligadas a evaluar el rendimiento de sus

infraestructuras, procesos y resultados científicos. Esta nueva ley generó en

Norteamérica un debate sobre la metodología adecuada para la evaluación de los

resultados de investigación con el fin de establecer estándares de excelencia en la

gestión de los programas de investigación, los resultados de estas discusiones

quedaron plasmado en un informe del Comitte on Science, Engineering and Public

Policy (COSEPUP) (Camí, 2001, p. 510).

El nuevo milenio ha traído consigo el nacimiento de un nuevo índice de citas

multidisciplinar, Scopus, que puede romper el monopolio de Thomsom Scientific sobre

los índices de citas (Codina, 2005) y nuevos motores de búsqueda de información

científica como Google Scholar (Jacso, 2005). También se han producido cambios

importantes en los hábitos de comunicación científica como la consolidación de las

revistas on-line, que ponen a disposición de los investigadores cientos de revistas a

texto completo, el surgimiento de nuevas tipologías documentales en la web como los

blogs científicos o los repositorios wiki, nuevos métodos de revisión por expertos como

los experimentados por Nature3 o el movimiento de acceso abierto (Open Access) a

la información científica ejemplarizado en el caso de las revistas PLoS4. Todos estos

cambios están creando nuevos modos de comunicar la ciencia que modificarán sin

duda la cuantificación actual del conocimiento generando nuevos indicadores 2 http://www.webometrics.info [consultado el 4 de Febrero de 2007] 3 http://www.nature.com/nature/peerreview/debate/index.html [consultado el 27 de Enero de 2007]

4 http://www.plos.org [consultado el 27 de Enero de 2007]

Page 50: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

46

bibliométricos y unidades de análisis. En la tabla 1 resumimos en forma de

cronograma los acontecimientos expuestos anteriormente,

Page 51: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Origen y desarrollo de la ciencimetria

47

Tabla 1. Cronograma de las principales publicaciones y acontecimientos de la ciencimetría durante el siglo XX

Organismos nacionales e internacionales Mundo Científico-Académico Año

Estadísticas del National Council Research (EEUU) ◄ 1920

1926 ► The Frequency Distribution of Scientific Papers (Lotka)

1935 ► Sources of Information on Specific Subjects (Bradford)

1935 ► Psycho-Biology of Language (Zipt)

Creación de la National Science Foundation (NSF) (EEUU) ◄ 1948 ► Documentation (Bradford)

Survey of Industrial Research and Development (NSF) ◄ 1953

1955 ► Citation Indexes for Science (Garfield) Basic Research: a National Resource (NSF) ◄ 1957

Creación de la OECD ◄ 1961 ► Genetics Citation Index Project e inicio del SCI ► Little Science, Big Science (Price)

Reunión de la OECD en Frascati (Italia) ◄ 1963

1964 ► Nauka (Dobrov) 1965 ► Networks of Scientifics Papers (Price)

A study of Resources Devoted to R&D in OECD Member Countries in 1963/64 (OECD) ◄ 1967

1969 ► Naukametriya (Nalimov)

Science Indicators (NSF) ◄ 1973 ► Co-citation in the scientific literature a new measure of the relationship between two documents (Small)

1974 ► Towards a Metrics of Science (VVAA)

1976 ► Evaluative Bibliometrics (Narin)

Recomendations Concerning the international Standardisation of Statistics on Science and Technology (UNESCO)◄ 1978

1979 ► Nace la revista Scientometrics con Braun de editor

1983 ► Publicación de los trabajos del CWTS y de Martin e Irvine para evaluación institucional ► From translations to problematic networks: An introduction to co-word analysis (Callon, Courtial, et. Al.)

Science and Technology: Indicators Reports (OECD) ◄ 1984 ► Creación del Derek de Solla Price Award por parte de la revista Scientometrics

Main Science and Technology Indicators (OECD) ◄ 1988 ► Handbook of Quantittive Studies (Van Raan)

Proposed Guidelines for Colleting and Interpreting Technological Innovation Data (OECD) ◄ 1992

World Science Report (UNESCO) ◄ Goverment Perfomance and Results Act (EEUU)◄ 1993

► Creación de la Society for Scientometrics and Informetrics

First European Report on S&T Indicators (UE-EC) ◄ 1994

Manual on the Measurement of Human Resources in Science and Technology (OECD) ◄

Nacimiento de la Red Iberoamericana de Indicadores de Ciencia y Tecnología ◄

1995 ► Primeros estudios Cibermétricos ► New bibliometric tools for the assessment of national research performance (CWTS)

Research and the Goverment Perfomance and Results Act (COSEPUP) ◄ 1999

2000 ► A Festschrift in Honor of Eugene Garfield (VVAA)

Page 52: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

48

» 2.3. LOS INDICADORES BIBLIOMÉTRICOS

Los indicadores bibliométricos son un esfuerzo por objetivizar numéricamente las

actividades que se desarrollan en el ámbito de la ciencia y la tecnología valiéndose del

conocimiento científico publicado con un propósito marcadamente evaluativo. Desde

sus inicios el objetivo principal de estas medidas ha sido la descripción de los outputs

o resultados científicos desde dos puntos de vista. El primero es cuantitativo y está

basado en la producción por lo que se centra en el recuento de las publicaciones; el

segundo trata de analizar el aspecto cualitativo de dichas producciones a través su

impacto y difusión dentro de la comunidad científica. Junto a estos conjuntos de

medidas se desarrolla otra vertiente bibliométrica orientada a la representación

cognoscitiva de la ciencia, bien desde el punto de vista de los contenidos, o bien

desde las distintas relaciones establecidas entre los documentos, es el denominado

mapeo de la ciencia que se traduce en los indicadores relacionales. Los indicadores

bibliométricos derivados de estas dos perspectivas pueden ser integrados en dos

bloques diferenciados tal y como han propuesto Callon y Courtial (1995, p. 41-42).

Aunque existen multitud de indicadores que pueden ser empleados para la descripción

y evaluación de la ciencia solo un conjunto bien consesuado y contrastado de los

mismos es utilizado con frecuencia. En la tabla 2 se listan un conjunto de indicadores

significativos en la actualidad partiendo del esquema planteado por Callon & Courtial,

que será desarrollado en los próximos epígrafes.

En lo que respecta a este tipo de categorizaciones no podemos dejar de reseñar

otras propuestas de diversos autores, algunas ya clásicas como la de King (1987) o la

de Peter Vinkler (1998), que incluye hasta 46 indicadores distintos. Sobre éstas se han

ido derivando y superponiendo otras posteriores, como la clasificación aportada por

Ernesto Spinak (1998) o Rosa Sancho (1990, 2001).

Es

Page 53: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

49

Tabla 2. Indicadores bibliométricos más empleados clasificados a partir del esquema propuesto por Callon & Courtial

INDICADORES DE ACTIVIDAD ■ Indicadores de producción ▪ Nº de publicaciones ▪ Índice de Especialización Temática ▪ Porcentaje de trabajos indizados en ISI ▪ Distribución por idioma y tipos documentales ▪ Índice de Transietoridad ▪ Idiomas de publicación ▪ Nivel básico/aplicado

■ Indicadores de visibilidad e impacto ■ Indicadores basados en el Impact Factor ▪ Factor de Impacto Esperado ▪ Factor de Impacto Ponderado ▪ Factor de Impacto Relativo ▪ Potencial Investigador ▪ Distribución por cuartiles ▪ Posición Decílica ▪ Posición Normalizada ▪ Impacto Potencial ▪ Número y porcentaje de publicaciones en revistas Top3

■ Indicadores basados en el número de citas ▪ Número de Citas ▪ Promedio de Citas ▪ Porcentaje de documentos citados y no citados ▪ Tasa de Citación Relativa ▪ Índice de Atracción

▪ Tasa de Autocitación ▪ Trabajos Altamente Citados

■ Indicadores de colaboración ▪ Índice de Coatoría ▪ Índice de Coatoría Institucional ▪ Patrones de Colaboración (local, regional, nacional, internacional) ▪ Medidas de similaridad ▪ Tasa de Citación Relativa de las Co-publicaciones Internacionales

INDICADORES RELACIONALES

■ Indicadores de primera generación ▪ Redes de coatoría (científicos, países, departamentos universitarios,..) ▪ Redes de cocitación (científicos, revistas, categorías, JCR, …)

■ Indicadores de segunda generación ▪ Método de la palabras asociadas ▪ Mapas cognitivos de temas e impacto ▪ Mapas combinados temas-autores

Page 54: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

50

Como vimos en el apartado 2.2 diversas organizaciones han jugado un papel

importante en el desarrollo de indicadores orientados hacía los inputs o las inversiones

en los sistemas de I+D nacionales. Básicamente las proposiciones en este sentido se

han limitado a la contabilización de los recursos humanos y los financieros,

midiéndose con los mismos patrones que otras actividades, tal es el caso de los

propuestos en el manual Frascati. También es frecuente que los indicadores, sobre

todo a un nivel nacional, se pongan en común con otros indicadores de carácter

socioeconómico. En este sentido hemos de hacer referencia al Manual de Oslo o a la

adaptación del mismo realizada por la RICYT, el Manual de Bogotá. En la tabla 3

presentamos una muestra de algunos de los indicadores propuestos por los diferentes

organismos para la evaluación de los sistemas de I+D:

Tabla 3. Ejemplo ilustrativo de indicadores para la medición de los sistemas nacionales de I+D propuestos por distintos organismos internaciones

INDICADORES DE INVERSIONES EN I+D ▪ Porcentaje del presupuesto nacional destinado a I+D ▪ Gasto de I+D en la Industria ▪ Gasto de I+D en la Enseñanza Superior y en la Administración ▪ Publicaciones en relación al PBI ▪ Publicaciones en relación al gasto I+D ▪ …

RECURSOS HUMANOS DEDICADO A I+D ▪ Personal dedicado a I+D por: organismo, ocupación, cualificación y nivel educativo ▪ Reserva de personal dedicada a I+D: personas con cualificación 5 ISCED ▪ Proporción de mujeres en el total de investigadores ▪ Proporción de investigadores de otros países ▪ Movilidad de los investigadores: Nº de becas, Nº sabáticos, Nº de invitaciones ▪ Nº de jóvenes trabajando en Universidades u OPIS ▪ …

Fuente: Sancho (2001) y Moneda (2003)

Page 55: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

51

Debemos apuntar que a la hora de leer e interpretar los indicadores hemos de

tener presentes al menos dos aspectos importantes. El primero de ellos es que no

debemos considerar ningún indicador por sí solo como determinante ya que cada uno

de ellos nos revela una faceta de una realidad multidimensional que no puede

evaluarse mediante un indicador simple (Sancho, 1990, p. 843). De esta forma los

indicadores bibliométricos sólo cobran utilidad y significación cuando se muestran en

conjunto e interrelacionados entre sí (Camí, 2001, p. 510). Otra de los aspectos a

tener en cuenta a la hora de valorar los indicadores bibliométricos es el nivel de

agregación utilizado. Éste puede tener tres escalas diferentes: macro (países), meso

(instituciones) y micro (investigadores, departamentos,..). Los indicadores situados en

el nivel macro de la escala, por el gran número de documentos utilizados, presenta

una mayor robustez y son menos sensibles a posibles errores en la recuperación de

información y a la pérdida de documentos que el nivel micro (Aksnes, 2005, p. 22).

En relación con los niveles de agregación Maltrás Barba se expresa en términos

parecidos (Maltrás Barba, 2003, p. 211). Según este autor para que los indicadores

bibliométricos sean válidos deben tener una base estadística significativa ya que

cuando la escala es muy pequeña la calidad de un documento puede conectarse con

muchas causas por lo que los análisis bibliométricos pueden conducir a errores

interpretativos. Por tanto cuanto más pequeña sea la unidad más dificultades conlleva

el proceso de evaluación, tal y como ocurre en la valoración individual de los

científicos (Sancho, 1990, p.843)

Page 56: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

52

» 2.3.1. Los indicadores bibliométricos de actividad

La actividad científica, considerada como aquella que favorece el avance del

conocimiento, está orientada hacía la obtención de resultados (Maltrás Barba, 2003, p.

69). Aunque en el ámbito científico pueden darse otro tipo de actividades que no

necesariamente quedan plasmados en un resultado concreto. Los indicadores de

actividad considerarían solo aquella parte de la ciencia que queda reflejada en un

resultado, normalmente en forma de publicación. En este contexto, tal como señala

Maltrás Barba, los indicadores bibliométricos de actividad tendrían entre sus

principales objetivos:

“Servir como criterio para determinar quiénes forman de la colección de agentes efectivos, es decir, de aquellos que han producido resultados científicos” (2003, p. 68)

Para establecer la efectividad de estos agentes y localizarlos dentro de su sistema

los indicadores de actividad se basan en los cómputos de publicaciones científicas

(revistas, patentes, monografías, actas de congresos, etc.), bien sea para determinar

el volumen de una producción, el grado de colaboración o bien para calcular su

impacto (tabla 2).

Para la interpretación de la información que ofrecen hay que tener en cuenta

diferentes consideraciones. La primera de ellas es de corte teórico y se refiere a la

distribución de corte asimétrico que se producen en los resultados de la actividad

científica (Seglen, 1992). El efecto de la distribución se observa al contabilizar el

número de publicaciones ya que siempre existe un grupo reducido de autores que

producen gran parte del total y un gran grupo que produce el resto (Urbizagastegui,

1999). Este fenómeno se extiende si analizamos instituciones o campos científicos y

ha sido estudiado entre otros por Price (Price, 1980) en su Teoría de la ventaja

acumulativa o por Merton en su conocido Efecto Mateo. Las distribuciones asimétricas

Page 57: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

53

no solo afectan a la producción, también aparecen a la hora de otorgar crédito

científico a través de las citas. De esta forma el impacto y la producción suele

concentrarse en un número mínimo de agentes, estas distribuciones suelen ser

mayoritariamente logarítmicas, más que lineales, con factores que se sitúan de 10 a

100 entre el agente más productivo y los menos productivos (Narin & Hamilton, 1996,

p. 295). Un ejemplo se produce en las citas a revistas donde un 15% de los trabajos

concentran el 50% del total (Seglen, 1992, p. 631).

Otro aspecto a tener en cuenta, desde un punto de vista metodológico, es el tipo

de recuento realizado a la hora de diseñar los indicadores, éste afecta tanto a las citas

como a los trabajos. Los recuentos se pueden realizar de tres formas diferentes:

(Cronin & Overfelt, 1994, p. 61; Lange, 2001, p. 460).

» Recuento por primer autor: se asigna la cita o el trabajo únicamente al primer

firmante (autor o institución).

» Recuento total: se asigna la cita o el trabajo por igual a todos los firmantes de

un trabajo sin distinción.

» Recuento fraccionado: la cita o el trabajo se divide entre todos los firmantes

de un trabajo de manera que sume la unidad. Los recuentos fraccionados

pueden ser ponderados o asimétricos, cuando una posición en la firma tiene

más peso.

Tanto para Cronin (1994, p. 61) como para Maltrás (2003, p. 137) la elección de

un método u otro depende principalmente del tipo de colaboración que se de en el

contexto evaluado. Por ejemplo la utilización de un recuento fraccionado donde existe

una gran cantidad de autores por trabajo puede distorsionar el resultado final. Al

respecto puede verse el análisis realizado sobre el estado de las neurociencias en

Suecia durante los años 1986-2001 en el cual se comparan los resultados obtenidos a

Page 58: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

54

través de conteos totales y fraccionados. Los resultados obtenidos demuestran para

este caso como los conteos fraccionados son más certeros ya que gracias a ellos se

detecta el declive productivo de las neurociencias suecas, situación esta que no

percibe del todo mediante los conteos totales. En el caso de las citas las diferencias

entre los métodos de contabilización no son tan acusadas y arrojan tendencias

similares (Persson & Danell, 2004, p. 517-520). En todo caso la elección de un método

u otro determinarán los resultados finales y habrá que tenerlos a la hora de

interpretarlos.

A continuación y siguiendo el esquema clasificatorio planteado en la tabla 2

desglosamos los indicadores más comunes de producción, impacto y colaboración y

desarrollamos algunas de las cuestiones relativas a su lectura, limitación y alcance.

» 2.3.1.1. Indicadores de producción

Los indicadores de producción tienen como objetivo el cómputo o recuento de las

publicaciones de un agente, considerándose como publicaciones los documentos

propagados a través de canales formales y públicos (Sancho, 2001, p. 848). Estos

recuentos sirven para medir la cantidad de los resultados, ignorándose diversos

aspectos como la calidad y el contenido. Debido a esta circunstancia en la ciencia

actual los indicadores de producción no reflejan fidedignamente el total de

aportaciones o resultados científicos originales, ya que los contenidos de las

publicaciones actuales suelen duplicarse. La práctica conocida con el nombre de

publicar o perecer (Publish or Perish) ha llevado a los investigadores a fragmentar sin

necesidad los resultados de sus investigaciones en diversos trabajos (Salami

Publication) debido, principalmente, a las presiones a las que se ven sometidos para

que incrementen su producción científica (Buchholz, 1995, p.197; Abelson, 1990,

Esta

do d

e la

cue

stió

n

Page 59: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

55

p.217). Por tanto la lectura de los indicadores de producción ha de realizarse con

precauciones ya que la productividad no necesariamente tiene que ir relacionada con

contribuciones originales y relevantes para desarrollo del conocimiento científico.

Entre los indicadores de producción el más básico y probablemente el primero en

utilizarse es el Número de publicaciones (Maltrás, 2003, p. 121). Representa la

actividad y la productividad que se produce en un agregado como puede ser un país,

un centro de investigación o una disciplina. Este indicador contabiliza el número de

publicaciones y no se limita necesariamente a aquella producción presente en las

revistas científicas, aunque éstas sean el medio de comunicación por excelencia, sino

que puede aplicarse a cualquier resultado de investigación publicado como actas de

congresos, patentes, tesis doctorales o libros. Sin embargo, aunque son variadas las

tipologías documentales que pueden emplearse en la construcción de estos

indicadores, lo más habitual es limitarse al número de artículos publicados en revistas

científicas. Este medio ofrece dos ventajas, por un lado existe un exhaustivo control

bibliográfico de las mismas gracias a multitud de bases de datos, y por otro, gracias a

la labor de revisión que realizan las revistas, los trabajos publicados superan un

mínimo de novedad y relevancia científica (Maltrás, 2003, p. 129).

El Número de publicaciones en revistas científicas puede ser un indicador valioso

para determinar el nivel de internacionalización de la producción en revistas científicas

si especificamos en que bases de datos están indizadas. Al respecto Van Raan (Van

Raan, 2004, p. 27-28) recomienda conocer cual el Porcentaje de publicaciones

indizadas en los Citations Indexes del ISI para determinar la orientación nacional o

internacional del agente evaluado. Para algunos autores en cualquier análisis

bibliométrico, sobre todo si se realiza a nivel micro, es una de las primeras preguntas

que hay responder (Van Leewen, 2004, p. 386).

Page 60: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

56

Otros indicadores empleados en el análisis de la producción son los resultados

obtenidos a partir de la aplicación de la Ley de Lotka que permite distribuir los trabajos

en tres niveles productivos identficando los autores más productivos. Del anterior se

deriva el Índice de Transietoridad que mide el número de autores transitorios u

ocasionales a través de la cuantificación del porcentaje de investigadores con un solo

trabajo, cuando más consolidado es el dominio analizado menor será este porcentaje

(López & Terrada, 1992c, p. 143 ; Moreno, 2004, p. 76).

Un indicador de producción más elaborado y ampliamente utilizado es el Índice de

Especialización Temática que se define como el esfuerzo relativo que una comunidad

o una institución dedica a una disciplina o área temática (Moya-Anegón & Solís

Cabrera, 2004, p. 30). Se calcula relativizando la producción del agente evaluado en

una disciplina dentro de un conjunto mayor de producción, como puede ser el caso de

un país si analizamos una comunidad autónoma.

Un método extendido para la caracterización la producción publicada en revistas

científicas según la orientación de la investigación es el uso de la base que datos de

revistas que comercializa Computers Horizons Inc, la compañía fundada por Francis

Narin. Esta base de datos clasifica las revistas a partir de sus prácticas de citación en

cuatro categorías diferentes: Nivel 1. Clinical Observation: revistas de observación

clínica biomédica o tecnología aplicada (BMJ, J. Royal Coll. Gen. Pract). Nivel2.

Clinical Mix: grupo clínico mixto ciencia tecnológica/ingeniería (Gut, Lancet, Brit. J. Clin.

Pharmacol.). Nivel3. Clinical Investigation: Investigación clínica o aplicada (Clin.

Science, Diabetes, Eur. J. Cancer). Nivel 4. Basic Research: Investigación científica

básica (J. Physiol., Phil. Trans. Roy. Soc. London B) (Bordons, Morillo, et al. 2005, p.

25; Narin, Hamilton, et al. 2000, p. 341; Webster, 2005, p. 24; Lewison, 1998b, p. 7).

Esta clasificación nos ofrece una nueva dimensión ya que nos informan sobre el nivel

de investigación de las revistas (Researh Level) y a partir de las mismas para los

Page 61: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

57

procesos evaluativos podemos establecer perfiles de instituciones o programas de

investigación en función de su orientación básica o aplicada.

» 2.3.1.2. Indicadores de visibilidad e impacto

La mayor parte de los indicadores de visibilidad e impacto están basados en la

contabilización de las citas recibidas por los documentos o en las recibidas por las

revistas donde están publicados. Desde sus orígenes existe un debate abierto en la

comunidad científica acerca de su significado y uso como medio de evaluación de la

calidad científica por lo que las críticas han sido constantes y variadas (McRoberts &

McRoberts, 1989, 1996; Baird & Oppenhein, 1994; Warner, 2000, p. 455-456; Glänzel

& Moed, 2002, p. 178-191; Smith, 2002). La base de estos indicadores, las citas, son

un fenómeno complejo producto de una actividad humana inserta en un contexto

social muy determinado por lo que es difícil establecer su función exacta y sistematizar

una posible teoría de la citación. Para Merton las citas tienen principalmente dos

funciones, una instrumental y otra simbólica. La función instrumental de las citas indica

a los lectores las fuentes que han sido relevantes para el desarrollo y consecución de

una investigación. La función simbólica se basa en el reconocimiento explícito por

parte de un experto de la labor anterior realizada por un colega y de su influencia, esta

función se enmarcaría directamente en el Sistema de recompensas de la ciencia

(Merton, 2000, p. 437-440). Esta doble visión de la citación como reconocimiento e

influencia intelectual fue propuesta por Merton en 1979 ya que observó como los

científicos citaban aquellos trabajos sobre los que apoyaban sus investigaciones y

sistematizó está idea rescatando la célebre frase que Newton dirigió a Hookes el 5 de

febrero de 1675: Si he llegado a ver más lejos ha sido encaramándome a hombros de

gigantes (Merton, 1990). A partir de esta afirmación se puede deducir que las citas

representan los cimientos intelectuales anteriores sobres los que sustenta un trabajo

Page 62: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

58

de investigación (Kostoff, 1998, p. 28) y por tanto el trabajo citado supone un escalón

más en el desarrollo del conocimiento científico. En este mismo contexto podemos

considerar las afirmaciones de White (1990, p. 89-90) para quién las citas, siguiendo

un símil cercano a la ciencia política, son un voto sobre un candidato. Válganos como

ejemplo sobre la función de las citas el siguiente párrafo de uno de nuestros científicos

más eminentes, Ramón y Cajal, del que se pueden extraer al menos dos conclusiones:

1: Para los científicos es importante ser citado, no sólo eso sino serlo más allá de las

propias fronteras, y además motivo de orgullo. 2: Las citas van unidas a conceptos

como autoridad, originalidad, buen hacer científico y es la forma existente en la ciencia

para reconocerlo:

La noble carrera (investigadora) fue seguida hasta el fin, el ideal ansiado lograse por entero. Convertido en autoridad internacional, el maestro es citado con encomio en las revistas extranjeras, la originalidad e importancia de sus creaciones asengúnranle página honorífica en el libro de oro de la ciencia (Ramón y Cajal, 2006, p. 181)

Sin embargo las citas no siempre son una mención a los referentes que sustentan

una investigación o un reconocimiento de la autoridad científica. En ocasiones son

utilizadas por otros motivos como la crítica o la refutación de los trabajos, por lo que no

siempre reafirman los aspectos positivos. En este sentido la concepción de la cita

como medida de calidad no se sostiene. Independientemente de si el trabajo ha sido

criticado negativamente o afirmado positivamente el nexo común entre las dos

posturas es que éste ha sido consultado y utilizado. Por ello para algunos autores las

citas representan sobre todo la utilidad y los indicadores de citación medirían el uso de

los trabajos por otros científicos (Seglen, 1992, p. 636). La citas, por tanto, como

mantiene Moed no serían un reflejo directo de la calidad científica (Moed, 2002, p. 731)

ya que es un concepto demasiado complejo para ser caracterizado numéricamente ya

que como dice Maltrás-Barba la calidad no es reductible sin más a la cantidad (Maltrás,

2003. p. 207). Es más correcto, o al menos más cercano a la realidad hablar de

influencia, utilidad o impacto.

Page 63: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

59

Este debate sobre el significado de las citas se ha traducido en una variada

terminología para referirse a estos indicadores, quizás el término más usado sea el de

visibilidad (Bordons, Fernández, et. Al, 2002, p. 195) que convive con otros muchos:

impacto (Davidse & Van Raan, 1997, p. 173; Lewison, 1998a, p. 289), difusión (Camí,

Zulueta, et. al., 1997, p. 481) o repercusión (López Piñero & Terrada, 1992b, p. 104),

entre otros. En cualquiera de los casos la terminología utilizada en estos trabajos

reafirman las ideas expuestas anteriormente respecto a la significación de las citas y

todos ellos tienen en común la elaboración de sus indicadores a partir del Impact

Factor del Journal Citation Report, o bien, a partir de las citas rescatadas de los

citation indexes o los National Citation Reports de ISI.

Ambos bloques de indicadores, Impact Factor y citas directas, pese a sustentarse

sobre la misma materia prima tienen un significado bien distinto que no hay que

confundir. Para Lee Pao (1991, p. 270-278) aquellos basados en los Impact Factors

del JCR representarían la calidad de las revistas donde se está publicando y los

basados en el recuento directo de citas denotarían la influencia e impacto de un

investigador sobre el resto de su comunidad científica. Tradicionalmente para generar

cualquiera de ellos hay que recurrir a la bases de datos distribuidas por Thomson-ISI

y aunque su uso todavía esta generalizado en los últimos dos años han surgido una

serie de alternativas que también permiten la recopilación de las citas recibidas por

revistas no recogidas por el ISI. Nos referimos a iniciativas internacionales como

Scopus (Jacso, 2005), en el mundo de las bases de datos científicas de carácter

multidisciplinar, y a iniciativas circunscritas a marcos geográficos y áreas temáticas

concretas como el IN~RECS (Índice de Impacto de las Revistas Españolas de

Ciencias Sociales) (Delgado López-Cózar, Jiménez Contreras, et al. 2005), el Serbian

Social Science Citation Index (Spika, 2005) y el Chinese Citation Index (Leydesdorff &

Bihui, 2005), todos ellos manteniendo la filosofía del original.

Page 64: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

60

» 2.3.1.2.1. Indicadores basados en el Impact Factor

El gran protagonista de los indicadores de visibilidad e impacto es el Impact

Factor, que se empleó inicialmente como medida de prestigio de las revistas y que

posteriormente se derivó hacía la evaluación de resultados científicos. Éste se calcula

con la media de citas recibidas por los trabajos de una revista en el primer y segundo

año tras su publicación. Los trabajos empleados en el denominador son las tipologías

documentales consideradas como Items citables (articles, reviews, notes, letters) el

resto de las categorías se excluyen. Sin embargo el valor del numerador si contempla

las citas recibidas por todas las categorías independientemente de que sean citables o

no. Glänzel & Moed (2002, p. 181) señalan esta deficiencia apuntando que en el caso

de la revista Lancet si se realiza el cálculo correcto el impacto de la misma sería 8, sin

embargo, al añadir las citas recibidas por las otras tipologías documentales, siguiendo

la perspectiva ISI, el IF de la revista es de 14.7 Recientemente Campanario también

criticaba este planteamiento demostrando como algunas revistas aumentaban su

Impact Factor a través de una tipología documental no citable, los editoriales, donde

es frecuente encontrar un gran número de autocitas que denominó SCIF (Number or

Journal Self-Citation that contributed to the Impact Factor) (Campanario & González,

2006, p. 385).

Otro aspecto criticado en el cálculo del Impact Factor es la utilización de una

ventana de citación, los años transcurridos desde la publicación del trabajo hasta la

recopilación de las citas, de dos años. Para muchas de las revistas recogidas en el ISI

dos años son suficientes para recopilar un número significativo de sus citas ya que el

impacto máximo es alcanzado al término de este período, descendiendo la citación

progresivamente a partir de entonces. Sin embargo no todas las disciplinas ni revistas

describen la misma curva de citación, existen algunas con ciclos más ralentizados

para las cuales las ventanas de citación de dos años nos son suficientes ya que el

Page 65: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

61

punto de máxima citación se situaría a partir del tercer año. Se pierden, de esta forma,

una parte importante de las citas, tal es el caso de las matemáticas, las humanidades

o las ciencias sociales que suelen tener valores muy bajos de Impact Factor (Leeuwen,

Moed, et al. 1999, p. 490; Bordons, Fernández, et al. 2002, p. 196). En el extremo

opuesto se sitúan la bioquímica o la genética con un envejecimiento mucho más

rápido por el consumo de literatura muy reciente, generándose valores más altos de

Impact Factor (Bordons & Zulueta, 1999, p. 798). Por tanto, aunque el Impact Factor

puede considerarse un verdadero estándar dentro de la ciencimetria, hay que tener en

cuenta sus limitaciones ya que pueden conducir a errores interpretativos, sobre todo

en e ámbito de las ciencias de la salud donde es empleado frecuentemente en

procesos evaluativos (Camí, 1997b ; Katelborn & Kuhn, 2004)

La utilización de este indicador de visibilidad en procesos evaluativos y de toma

de decisiones en política científica se ha basado en la asignación directa del Impact

Factor de las revistas a los trabajos que aparecen publicados en ella, es lo que se ha

denominado como el Factor de impacto esperado (FIE). De esta forma un trabajo

publicado en el JAMA el año Y tomará el valor de Impact Factor alcanzado por la

revista ese mismo año. Sin embargo este método de determinar la visibilidad de los

trabajos no es del todo consistente ya que como señala Seglen existe una falta de

correlación entre el Factor de impacto esperado y el observado (Seglen, 1997), ya que

no todos los trabajos publicados en la misma revista alcanzarán igual número de citas.

De hecho solo una pequeña fracción de los artículos publicados en una revista con

impacto se acercan a la media de la revista (Seglen, 1992, p. 631). Como

contrapartida el FIE si nos permite caracterizar el prestigio de las revistas donde están

publicando los agentes evaluados ya que los valores más elevados de IF si identifican

las revistas con mayor difusión y visibilidad. También representaría determinados

aspectos de la calidad de los trabajos ya que el estricto proceso revisión de las

revistas con mayor IF garantizaría en cierta medida la validez inicial de los

Page 66: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

62

documentos (Bordons, Fernández, et. al. 2002, p. 197). Sin embargo hemos de tener

en cuenta que el IF varía considerablemente entre disciplinas científicas, así en la

categoría Medicina Interna el años 2005 se alcanzó un máximo de IF de 40 (New

England Journal of Medicine) mientras que en Alergia el IF máximo solo llegó a 7

(Journal of Clinical Inmunology). Para superar estas diferencias que se generan en los

valores de IF hemos de recurrir a algún tipo de normalización que homogenice las

diferentes escalas de las categorías. A partir de estos valores de FIE se pueden

generar otros indicadores como el Factor de impacto relativo (FIR) que divide el Factor

de impacto de esperado en una disciplina entre el alcanzado por un agregado mayor al

evaluado, (Navarrete, 2003) o en combinación con la producción el Potencial

investigador (PI) (Moya-Anegón & Solís, 2004, p. 33).

Otra solución al problema de la falta de homogenización entre disciplinas o

revistas es recurrir a los indicadores de posición que superan las barreras de

incompatibilidad de escala. Están basados en la ordenación descendente por IF de

mayor a menor de las revistas dentro de una categoría JCR y su clasificación en

diferentes zonas según la intensidad del valor de IF. Para determinar esta partición es

frecuente dividir las categorías en cuartiles en función del IF y calcular el porcentaje de

documentos indexados en cada uno de ellos, aunque algunos autores solo hacen uso

del porcentaje perteneciente al primer cuartil (%Q1) (Bordons, Morillo, et al. 2005, p.

25). Una variante de este indicador nos las ofrece los deciles (Lewison & Dawson 1998,

p. 19) dando lugar a indicadores como la Puntuación decilica y Peso del decil superior.

En España este indicador ha sido empleado por el grupo EOP de la Universidad de

Salamanca (Maltrás Barba, 2003, p. 235-239). Una variante mucho más exigente es

utilizar el número y el porcentaje de trabajos publicados en revistas TOP3 (Navarrete,

2003, p. 93), es decir, aquellas que ocupan algunas de las tres primeras posiciones en

el ranking de IF de las diferentes categorías JCR.

Page 67: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

63

Otro indicador dentro de este grupo es el propuesto por los investigadores del

CINDOC en 1992, la denominada Posición normalizada (PN) que indica el lugar que

ocupa una revista en relación al número total de revistas de una disciplina oscilando su

valor entre 0 y 1 (Bordons, Morillo, et., 2005, p. 24). Otras alternativas a este tipo de

normalizaciones es el Impacto potencial (Potencial Impact Category – PIC) que

clasifica las revistas en cuatro categorías (C0-4) en función del número de citas que

reciben, así el 10% con mejor citación serían las revistas excelentes, el 20% siguientes

las muy buenas, el 30% las buenas y el 40% restante las revistas ordinarias. Esta

técnica ha sido utilizada sobre todo para la evaluación de la biomedicina en el Reino

Unido a partir de su desarrollo por la Unit for Policy Research in Science and Medicine

del The Welcome Trust (Lewison, 1998b, p. 7-8; Webster, 2005, p.25)

A pesar de que todos los indicadores presentados son empleados ampliamente

debido a su fácil elaboración, hemos de tener en cuenta que aquellos basados en el

Impact Factor reflejan exclusivamente el prestigio y la difusión de las revistas donde se

está publicando, pero no todos los trabajos publicados en una misma revista tienen el

mismo valor, ni son citados con la misma intensidad. Un reciente trabajo, que estudia

el rendimiento de los indicadores derivados del Impact Factor y los elaborados a partir

de las citas reales para la promoción del staff de un centro de investigación

especializado en química, revela que su utilización única no es recomendable. Según

este estudio los indicadores basados en el IF producen una pérdida importante de

información y dan lugar a rankings diferentes a los que se ofrecen a través de los

indicadores de citación (Ventura & Mombrú, 2006, p. 311). Debido a este tipo de

resultados no han faltado los especialistas que se han manifestado críticamente

contra el uso unilateral de los Impact Factors para evaluar la actividad científica, es el

caso de Camí (2001, p. 511)

Page 68: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

64

“Resultan irritantes algunos análisis superficiales que se observan en nuestro medio [Investigación médica] muy en particular aquellos que, ignorado las citas recibidas por las publicaciones, se basan exclusivamente en inferencias del factor de impacto de las revistas de publicación”

o Seglen (1997):

“In actual practice, however, even samples as large as a nation's scientific output are far from being random and representative of the journals they have been published in: for example, during the period 1989-93, articles on general medicine in Turkey would have had an expected citation rate of 1.3 (relative to the world average) on the basis of journal impact, but the actual citation was only 0.3. The use of journal impact factors can therefore be as misleading for countries as for individuals”

Por tanto la política científica nunca se debe orientar exclusivamente a partir de

estos indicadores ya que reflejan un aspecto muy limitado de la visibilidad científica.

Pese a todo ello en el caso español se ha utilizado recientemente para conocer el

estado de la ciencia (FECYT, 2003, 2005) sin tener en cuenta que estos resultados

puedan dar lugar a una distribución errónea de los recursos disponibles y a una

representación sesgada de la realidad. Necesariamente si deseamos conocer la

visibilidad exacta de nuestros investigadores y disciplinas debemos complementarlos

con indicadores basados en las citas, con el impacto observado y no con el esperado.

» 2.3.1.2.2. Indicadores basados en la citas

Antes de presentar cualquier indicador basado en las citas tenemos que hacer

alusión a una cuestión de carácter metodológico relativa a la técnica de contabilización

a partir de la cual se calculan, ya que ésta puede dar lugar a diferentes resultados. El

número de años y su distribución es importante en la contabilización de las citas y

ambos aspectos se definen a través de la ventana de citación que depende del tiempo

transcurrido tras la publicación del trabajo para recuperar las citas. En función de los

años empleados para obtener las tasa de citación podemos hablar de una ventana y

unos indicadores de corto recorrido (Short Term), si empleamos un mínimo de dos

Esta

do d

e la

cue

stió

n

Page 69: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

65

años, normalmente entre 3 y 5, o bien de ventanas de largo recorrido (Long Term) si

decidimos cubrir un período de tiempo mayor como 7 años o más. Como ocurre con el

Impact Factor cuanto más tiempo transcurra desde la publicación de los trabajos

mayor será el número de citas recopiladas y más robustos serán nuestros indicadores.

Aunque los cómputos finales de ambos pueden variar considerablemente los

indicadores con ventanas de recorrido corto son estadísticamente una buena guía del

resultado final; en un conjunto de documentos los más citados al inicio seguirán

manteniendo la capacidad de atracción de las citas en los siguientes años (Adams,

2005, p. 579-581). En especial las contabilizaciones de corto recorrido ofrecen un

buen rendimiento para las ciencias de la vida por lo que pueden ser utilizadas para

cuestiones de política científica. Asimismo las ventanas de citación pueden ser fijas o

variables dependiendo si el número de años de citación es igual para todos los

trabajos citados o sí cada año tiene un recorrido superior al anterior tal y como se

muestra en la tabla 4 (Moed, 1996, p. 183).

Tabla 4. Ventanas de citación fijas y variables

Ventana de citación fija

Año de citación

1999 2001 2002 2003 20041999 x x x x x 2000 x x x X 2000 x x X 2002 x x x 2003 x x A

ño P

ublic

ació

n

2004 x

Ventana de citación variable

Año de citación

1999 2001 2002 2003 20041999 x x x 2000 x x x 2000 x x x 2002 2003 A

ño P

ublic

ació

n

2004

Page 70: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

66

Teniendo en cuenta esta consideración de carácter metodológico existe una gran

cantidad de indicadores que podemos desarrollar a partir de las citas. (Tabla 2). El

más evidente de todos ellos es el Número de citas bruto que puede ser relativizado a

través del número de documentos que han generado las citas y que darían lugar a los

Promedios de citas o Tasas de citación [observada] (Mean Observed Citation Rate –

MOCR), sin duda, el indicador por excelencia. También es interesante conocer

cuantos de los trabajos evaluados han sido citados al menos en una ocasión

calculándose el Porcentaje de documentos citados y no citados, indicándonos este

valor la utilidad de los mismos. En un estudio llevado a cabo por Hamilton (Hamilton,

1990) demostraba como el 55% de los artículos que se publicaron en un período de

cinco años no recibió ninguna cita.

A partir de los indicadores anteriores se pueden generar todo un conjunto de

indicadores derivados con un mayor grado de complejidad como la Tasa de citación

relativa (Relative Citation Rate – RCR), producto de dividir el IF esperado y el

observado o el Índice de atracción (Atractivity Index-AA) que nos mostraría el impacto

de un agregado, normalmente un país, en un disciplina concreta frente al resto de

disciplinas. Todos los indicadores presentados han sido aplicados ampliamente para la

evaluación de la producción científica de países (Moed, De Bruin, et al. 1995; Braun y

Shubert, 1997), universidades (Moed & Van Raan 1988; Berghe, Houben, et al., 1998)

o campos científicos (Ingwersen y Wormell, 1999)

En cualquier análisis de citas que se realice hay que tener claro cual va a ser su

uso ya que del mismo se pueden derivar diferentes interpretaciones. Los indicadores

no tienen la misma lectura si son utilizados para dirigir las suscripciones de revistas

científicas de una biblioteca académica que si los empleamos en una evaluación con

el objetivo de orientar una política científica. Necesariamente si nos movemos en el

segundo escenario han de ser refinados y sometidos a un proceso de reinterpretación.

Page 71: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

67

Para ello debemos tener en cuenta una serie de consideraciones. En primer lugar hay

que reseñar que los diferentes medios de comunicación de los resultados científicos

no son citados con la misma intensidad. En ciencias experimentales y de la naturaleza

las revistas científicas acaparan el 80% de las citas mientras que los libros solo

alcanzan el 10% llevándose el resto de los medios (tesis, normas, memorias, actas de

congresos, prensa, etc.) el 10% restante. (López Piñero & Terrada, 1994, p. 106).

Incluso dentro de las propias revistas, entre las distintas tipologías documentales,

pueden existir diferencias. De hecho son las revisiones, frente a otras tipologías como

los artículos, cartas, notas o editoriales, los documentos que tienen más capacidad de

atraer citas (Leeuwen, Moed, et al. 1999, p. 496). Gracias a los reviews las tasas de

citación se pueden elevar considerablemente. En el lado opuesto determinadas

tipologías parecen recibir un menor promedio de citas como es el caso particular de

las letters; así se demostró en el caso de las cartas publicadas en Lancet, Science o

Nature. (Glänzel & Moed, 2002, p. 180). Igualmente ocurre con el contenido de los

trabajos; los de corte teórico suelen recibir una menor atención, desde el punto de

vista de la citación, que aquellos que presentan una metodología novedosa o

herramientas analíticas singulares (Buchholz, 1995, p. 198). Asimismo entre diferentes

disciplinas también son conocidas las diferencias de citación. Determinadas áreas

como la bioquímica y la biología molecular presentan una citación más intensa que

otras como la farmacia. De esta forma un documento muy citado en un campo puede

ser no significativo en otro. Estas diferencias también se producen dentro de la

medicina ya que las disciplinas clínicas son mucho más citadas que las básicas (Narin

& Hamilton, 1996, 298-299). Ante esta situación la comparación de las Tasas de

citación entre distintas disciplinas han de leerse con ciertas reservas, incluso algunos

autores (Kostoff & Martínez, 2005, p. 61) han ido más lejos afirmando que no existe un

promedio de citas que sea significativo para una disciplina y plantea una metodología

en la que las comparaciones de promedios de citas debe realizarse entre documentos

estrechamente relacionados temáticamente.

Page 72: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

68

En segundo lugar hay que tener en cuenta el número de autocitas (Self Citations)

presentes en el total de citas ya que éstas pueden modificar y distorsionar

considerablemente el valor de los indicadores, para interpretar éstos correctamente en

los procesos de toma de decisiones es necesario por tanto identificarlas (Shubert,

Glänzel, et al., 2006, p. 504). Las autocitas se definen formalmente como aquella en

la que el trabajo citante tiene un autor o más en común con el trabajo citado. También

se pueden considerar autocitas las citas recibidas por investigadores que son de la

misma institución o grupo de trabajo que los autores (Egghe & Rousseau, 1990, p.

217). Teniendo en cuenta esta definición la autocitas no forman parte ni del sistema de

recompensas de la ciencia ni de la visibilidad y difusión del trabajo científico. Por estas

razones es especialmente importante localizar la autocitación sobre todo en niveles de

análisis micro relativos a departamentos, grupos o investigadores. Su efecto a niveles

macro no es tan acusado y se pueden mantener (Aksnes, 2003a, p. 244). Conocer la

Tasa de autocitación (Self Citing Rate) o excluir las autocitas en el cálculo de los

Promedios de citas es una medida más cercana al impacto real alcanzado por el

agente evaluado y es una práctica empleada, por ejemplo, en los indicadores estándar

propuestos por el CWTS de Leiden (Moed, De Bruin, et al., 1995, p. 398). Las

autocitas además presentan un comportamiento diferente a las citas convencionales;

éstas se realizan casi siempre después de los tres años posteriores a la publicación

del trabajo disminuyendo drásticamente a partir del cuarto. Este fenómeno se produce

principalmente por la finalización de un proyecto de trabajo o por el debilitamiento de

posturas y las búsqueda de nuevos frentes en el trabajo de otros investigadores

(Shubert, Glänzel, et al. 2006, p. 507). También diferentes áreas de investigación

presentan diferentes tasas de autocitación siendo normalmente más reducida en el

caso de la medicina que en la biología y las ciencias naturales (Shubert, Glänzel, et al.

2006, p. 512). En definitiva las consideraciones expuestas matizan considerablemente

los indicadores bibliométricos y los reorientan hacía una interpretación más correcta

Page 73: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

69

por lo que no han de ser ignoradas por los encargados de la gestión de la política

científica tal y como queda resumido en la Figura 1.

Figura 1. El proceso de reinterpretación de la citación y sus consecuencias

Fuente: Glänzel, Debackere, et al., 2006

Antes de terminar con este apartado de indicadores de citación nos detendremos

en dos medidas que están recibiendo una especial atención en los últimos años por su

capacidad para detectar la excelencia científica. En primer lugar hemos de mencionar

los denominados Trabajos altamente citados (Highly Cited Papers - HCP) que ya están

siendo considerados como indicador en los informes de la Comisión Europea para

comparar el impacto de los países de la UE y que tienen su sección fija en Thomsom

ISI5 (Aksnes, 2005, p.36). La importancia de los HCP, caracterizados por atraer un

5 http://www.ISIHighly.com [Consulta el 23 de Enero de 2007]

Page 74: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

70

gran número de citas, radica en que nos permiten identificar aquellos agentes que

están produciendo artículos muy significativos desde el punto de vista del impacto.

Esta situación está generada por las distribuciones asimétricas de la ciencia descritas

con anterioridad que provocan una gran concentración del número de citas en unos

pocos trabajos. Estos HCP, que suponen respecto a los contenidos y a la

contabilización del número de trabajos una mínima fracción contribuyen fuertemente al

impacto. Es el caso de las revistas ISI del JCR que pueden subir considerablemente

su posición gracias a los mismos (Seglen, 1992, p. 631). Por ejemplo para los 50000

trabajos ISI producidos por Noruega entre 1981-1996 solo la mitad fueron citados y

dentro de éstos solo el 1% fueron citados más de 50 veces (Aksnes, 2005, p. 34); por

tanto un porcentaje muy pequeño sobre el total de trabajos pueden suponer un gran

porcentaje sobre el número total de citas y del impacto final alcanzado. La

dependencia del impacto de los HCP la mostraron Persson & Danell (2004, p. 522-523)

en un estudio de las neurociencias en Suecia. Los autores revelaban que si eliminaban

en los cálculos de la Tasa relativa de citación respecto al mundo las citas aportadas

por los HCP ésta disminuía considerablemente con un valor medio cercano a 0,8 por

debajo de la media mundial, mientras que al incluirlos la misma tasa se elevaba a una

media superior a 1, situada por encima de la media mundial. Además estos HCP

estuvieron producidos mayoritariamente por solo dos universidades y dentro de éstas

por seis autores cuyos artículos producían efectos notables sobre la disciplina de un

país. Los HCP son un indicador único para determinar la excelencia científica. Con la

misma población de trabajos descrita más arriba Aksnes (2003b) identificó las

características más notables de de los HCP que resumimos en la tabla 5.

El segundo indicador al que nos queríamos referir para concluir esta revisión es el

H-Index (Hirsch, 2005). Este índice de reciente aparición ha sido propuesto por Hirsch

para la evaluación individual de científicos y es capaz se sintetizar en un solo valor

información sobre el impacto y la producción. Se calcula rápidamente ordenando los

Page 75: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

71

documentos por el número de citas de mayor a menor, cuando el número de orden del

ranking coincide con el número de citas se obtiene el H-Index. Este indicador ya ha

recibido la atención de los principales investigadores en bibliometría, entre éstos

destacamos la aportación de Bornmann & Hans-Dieter (2005a) que pronto replicaron y

confirmaron los resultados de Hirsch y su validez para la evaluación científica.

Para concluir en la tabla 6 resumimos las principales características presentadas

para los indicadores de visibilidad e impacto

Tabla 6. Rasgos principales para las citas y el Impact Factor

Citas de documentos Impact Factor de revista ► Las citas son un indicador de la visibilidad, difusión o impacto de la investigación publicada en un documento ► Gran parte de las publicaciones nunca son citadas. El 15% de los artículos publicados reciben el 50% de las citas ► Las revisiones y los artículos metodológicos tienen mayor citación ► La probabilidad de que un trabajo sea citado varía según las áreas ► Las publicaciones tienen más probabilidades de ser citadas en las áreas generales o con gran número de investigadores. ► Las publicaciones básicas tienen más posibilidades de ser citadas que las clínica ► El diseño de la ventana de citación determina el valor final de citación y su lectura ► La autocitación puede distorsionar las tasa de citación y su interpretación

► El FI de una revista es un indicador de su visibilidad y difusión internacional ► El FI de una revista no es una buena estimación del número de citas que va a recibir un documento aislado ► Las revistas de revisiones tienen altos factores de impacto dentro de su áreas ► Existen variaciones en el FI según áreas ► Las revistas de áreas generales tienen mayor FI ►Las revistas de áreas básicas tienen mayor IF que las clínicas ► No todas las áreas se adaptan óptimamente a la ventana de citación de dos años ► La autocitación de la revista no es considerada y distorsiona el valor final de IF

Fuente: Bordons (1999, p. 797)

Tabla 5. Características de los Trabajos altamente citados

► Están firmados por un número considerable de investigadores con una media de 8.9 autores por trabajo ► Suelen se producto de la colaboración internacional, un 63% fueron firmados por varios países ► Aunque gran parte de ellos, 56%, aparecen indizados en revistas consideradas de alto impacto no necesariamente deben estarlo y dependen más del contenido ► Suelen ser citados por científicos internacionales principalmente estadounidenses y europeos ► Tienen una tasa de autocitación más bajas que las del conjunto al que pertenecen. 15% frente al 21%

Fuente: Aksnes (2003)

Page 76: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

72

» 2.3.1.3. Indicadores de colaboración

La colaboración es una de la características inherentes de la ciencia y en las

últimas décadas, sobre todo desde la II Guerra Mundial cuando se produjo el salto a la

Gran Ciencia, se ha incrementado tanto que Cronin (2001, p.560) ha acuñado el

término de Hyperautorship (niveles de coatoría elevados). Las ciencias de la salud es

una de las áreas que más ejemplifica este aumento aunque la más representativa de

la coautoria desmesurada sea la física. Este fenómeno está perfectamente

documentado y el número de trabajos que firman un autor ha descendido hasta

representar el 10%; este valor parece estabilizado ya que la curva que describe el

porcentaje de trabajos colaborados es de carácter logístico y ya se ha superado el

punto de máxima inflexión (Beaver, 2005, p. 728). Este mismo indicador en los años

80 registraba un 24,8% y el los 90 un 15,7% (Glänzel, 2004, p. 262). El descenso

progresivo de trabajos con un solo autor ha ido acompañado de un aumento en el

número de firmantes, pasándose de los 2,5 autores de media por trabajo registrado

en los años 80 a los 3,8 del año 2002 (Moed, 2005, p. 262). En áreas como la

medicina clínica el valor es aún mayor y el promedio general es de 4.5. (Glänzel 2004,

p. 262). Por especialidades estás diferencias en la publicación también son visibles.En

neurociencias el valor máximo de autores es de 4.2 mientras que en gastroenterología

llega los a 6.4 (Bordons, Gómez, et al., 1996, p. 283).

Entre las causas que han generado este aumento de la colaboración se han

identificado las siguientes (Bordons & Gómez, 2000, p. 199 ; Katz & Martin, 1997, p.

3-4):

» La alta especialización de la ciencia actual con la creación de equipos de

investigación cada más vez más amplios.

Page 77: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

73

» La gran multidisciplinariedad de los programas de investigación que provocan la

necesidad de contar con científicos de diferentes áreas para la resolución de los

problemas.

» El coste de determinados proyectos donde se hace necesario compartir los

recursos disponibles.

» El desarrollo de la telemática que ha agilizado y facilitado el intercambio fluido de

ideas.

Para cuantificar la colaboración en ciencimetria se calculan medidas basadas en

los autores o instituciones que firman los documentos. Algunos de los indicadores más

empleados se basan en el número medio de firmantes por trabajo y se han aplicado

prácticamente a autores, como el Índice de coautoría (Bordons y Gómez, 2000, p. 202),

o a instituciones, como el Índice de coautoría institucional (Bordons, Gómez, et al.,

1996, p. 281). Otro indicador asentado son los Patrones de colaboración

(Collaboration Patterns) que clasifica porcentualmente los trabajos según tres tipos de

colaboraciones: sin colaboración, colaboración nacional o colaboración internacional

(Moed, Bruin, et al., 1995, p. 404-405; Bordons y Gómez, 2000, p. 203). Este tipo de

patrones parece estar muy influenciado por diferentes factores como el tamaño del

país, su localización y la lengua de publicación. Existen, por ejemplo, marcadas

diferencias entre los patrones de colaboración de las universidades estadounidenses,

donde predomina más la colaboración nacional, y las europeas, más orientadas a la

internacional (Melin, 1999, p. 166-167).

Otro conjunto de indicadores de colaboración son aquellos que tratan de medir la

similaridad de los agentes evaluados a través del número de trabajos firmados

conjuntamente. Para su cálculo los datos se organizan en forma de matrices y se usan

diferentes medidas de similaridad como el Índice de Salton, Jaccard o el coeficiente de

correlación de Persson (Luukkonen, Tijssen, et. al. 1993; Maltrás, 2003, p. 248-249).

Page 78: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

74

Aunque se puede presentar directamente la información matricial suele ser de difícil

lectura por lo que este tipo de indicadores han acabado orientándose hacía sus

representaciones reticulares, como veremos más adelante.

Un aspecto ampliamente estudiado de la colaboración es su influencia sobre la

producción y el impacto. Katz & Martin (1997) y Glänzel (2001) muestran algunas de

estas relaciones entre la colaboración y el aumento del rendimiento científico que

resumimos en la tabla 7.

Tabla 7. Efectos de la colaboración en la producción y el impacto

► La productividad elevada correlaciona con la colaboración. La colaboración con científicos muy productivos ayuda a incrementar el output científico. ► Un elevado número de coautores aumenta la posibilidad de aceptación de manuscritos por parte de las revistas científica ya que se le supone una mayor validez al trabajo al haber sido revisado por más investigadores que han tomado parte en el mismo ► El número de autores correlaciona con el impacto final que alcanza el trabajo, es frecuente que los trabajos altamente citados estén firmados por muchos autores ► Los trabajos firmados internacionalmente tienen un mayor número de citas. Los trabajos con colaboración internacional pueden alcanzar el doble de citas que los firmados por un solo país ► Los trabajos internacionales suelen publicarse en revistas con mayor Impact Factor

Fuente: Katz & Martin (1997) y Glänzel (2001)

Para determinar el impacto de los trabajos internacionales frente a los nacionales

(domésticos) Glänzel (2001, p. 88) propuso el indicador Tasa de citación relativa de las

co-publicaciones internacionales (Relative Citation Expected Index of Internacional Co-

publications). Este indicador calcula la diferencia en el impacto entre los trabajos con

colaboración internacional y los nacionales respecto a un estándar mundial tomando

valores finales entre -1 y 1. En su trabajo Glänzel puso de manifiesto como los trabajos

internacionales tienen, en todos los campos de la ciencia, un impacto mayor y

generalmente suelen publicarse en revistas con mayores valores de Impact Factor. En

el caso concreto de la biomedicina (Glänzel, 2004, p. 271) los artículos firmados por un

mínimo de dos países suelen tener una media de citas superior a los nacionales en al

Page 79: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

75

menos uno de los dos países y además su Tasa de citación relativa es superior a la

media mundial. En el caso español el estudio llevado a cabo por Bordons, Gómez, et

al. (1996) en tres especialidades médicas (neurociencias, gastroenterología y sistema

cardiovascular) también concluye que la colaboración, ya sea nacional o internacional,

favorece la productividad a nivel de autor y que la colaboración de carácter

internacional refuerza la visibilidad en las tres áreas analizadas, gracias, sobre todo, a

los ensayos clínicos multicentro donde participan instituciones de todo el mundo.

La colaboración, por tanto, parece tener una serie efectos positivos pero también

añaden otra dimensión con un carácter más cualitativo como la existencia de

relaciones sociales que aumentan el capital social de los científicos y las instituciones.

Este tipo de relaciones, que posteriormente pueden o no derivar en la colaboración

explícita en publicaciones científicas, son fomentadas directamente por los gobiernos.

Así ocurre en el caso europeo con el Espacio Europeo de Investigación o las Acciones

Integradas del Ministerio de Ciencia y Tecnología (MCYT) (Granadino, Plaza, et al.,

2005). La colaboración producida por estos programas para favorecer la movilidad de

los científicos y su capital social generan una apertura a nuevos recursos cognicitivos

y facilitan los procesos de innovación (Persson, Melin, et. al., 1997, p. 210) que van

más allá de la mera firma de trabajos y cuyos efectos son difíciles de cuantificar.

En cuanto a las posibles limitaciones de los indicadores presentados hemos de

reseñar que la colaboración, como hemos dicho, no necesariamente queda reflejada

en la cadena de coautoria. En ocasiones figuran autores que no han contribuido al

desarrollo del trabajo (autores honorarios), o bien, autores que han colaborado pero

que no aparecen como firmantes (autores fantasmas). Un estudio sobre 809 trabajos

publicados en las revistas Annals of Internal Medicine, Jama y New England reveló

que los artículos firmados por autores honorarios era del 16%, cifra que en el caso de

las revisiones alcanzaba el 26%; las cifras para los autores fantasmas se encontraban

Page 80: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

76

en el 13% para los artículos y el 10% para las revisiones (Flanagin, Carey, et al. 1998).

Según Glänzel (Glänzel & Shubert, 2004, p. 258) este tipo de situaciones se producen

mayoritariamente entre investigadores de una misma institución afectando sobre todo

al personal con un status más bajo cuya labor no se ve a veces reconocida en la

autoría y ni siquiera en los agradecimientos. Esta conducta abusiva y parasitaria en la

ciencia ha sido definida y caracterizada recientemente como el White Bull Effect (Kwok,

2005). Este tipo de prácticas, en ocasiones de carácter fraudulento, unidas al aumento

del promedio de autores por trabajo han generado una crisis y un amplio debate en

torno concepto de autor, sobre todo en medicina. Richard Smith (1997), el que en su

día fuera editor de British Medical Journal, propuso que sería preferible hablar en la

actualidad de contributors, más que de autores, y que se debería saber cual es la

aportación exacta de cada uno de los firmantes de los trabajos tal y como fue

propuesto en la conferencia sobre autoría celebrada en Nottingham en Junio de 1996.

De hecho esta propuesta ha generado una serie de políticas editoriales destinadas a

depurar responsabilidades científicas y han sido adoptadas por revistas tan

importantes como el JAMA, Lancet o The Annals of Internal Medicine que solicitan a

sus autores la contribución exacta de los firmantes. Teniendo en cuenta estos factores

a la hora de utilizar indicadores basados en la cadena de firmas se debe aceptar cierto

nivel de incertidumbre (Persson, 1996, p. 365)

» 2.3.2. Indicadores relacionales

Constituyen el segundo gran grupo de indicadores bibliométricos y consisten en un

conjunto de técnicas de mapeo que generan representaciones gráficas de la ciencia a

través del uso de información de carácter relacional. Permiten estos mapas alcanzar

nuevos niveles interpretativos y pueden ser empleados en combinación con los

indicadores descritos en apartados anteriores, bien sea para validarlos, o bien para

Page 81: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

77

complementarlos en la toma de decisiones (Noyons, 1999a; 1999b). Desde el origen

de la bibliometría moderna, aquella que se puso en marcha con la obra de Garfield, el

análisis relacional ha estado presente como demuestra la publicación de Networks of

Scientifics Papers (Price, 1965). Price pensaba que a través de las redes de citación

se podía analizar la estructura y el desarrollo de la ciencia. En este trabajo pionero se

tomó 200 artículos en el campo de rayos-N y demostró de forma novedosa como las

ciencias duras solían citar siempre la literatura más reciente. También la idea de crear

redes de citas entre documentos la tuvo presente Garfield desde la década de los

sesenta como una herramienta para describir el desarrollo histórico de los campos

científicos. A estas representaciones Garfield las denominaba historiógrafo (Thackray

y Brock, 2000, p. 18). Como vemos a través de estos ejemplos la conceptualización

del mapeo de la ciencia no es nueva, sin embargo la capacidad de procesamiento de

los equipos informáticos actuales y la consolidación de Análisis de redes sociales

(Social Networks Analysis) como campo científico ha producido una verdadera

proliferación de trabajos dedicados a esta área de la ciencimetria.

El análisis de la información relacional y sus indicadores derivados dirige su

atención al nivel sistémico y estructural, lo verdaderamente relevante, en este contexto,

son las relaciones que mantienen los actores de la red. Suponen una aproximación

diferente a la perspectiva cuantitativa atributiva basada en el uso de diferentes

variables (Rodríguez, 1995, p. 10). Consideramos, por tanto, indicadores relacionales

aquellos que establecen algún tipo de relación entre dos unidades que puede ser

representada de forma matricial. Esta matriz es la expresión matemática de la red

(Ruiz Baños, 1997, p. 51-70), compuesta de un conjunto de nodos y líneas que

representan los actores y las relaciones que los unen. Los actores o nodos se definen

en las columnas y las filas y su relación a través de los valores asignados a cada una

las celdas. De tal forma que una pareja de actores ij tendrá asignado un valor en la

celda ij que denotaría la intensidad y la fuerza de su relación, en el caso de que tal

Page 82: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

78

relación no existiera el valor de la celda sería 0. Para la creación de estas matrices los

datos suelen tomarse directamente de las publicaciones científicas donde las co-

ocurrencias entre diferentes unidades (autores, revistas, citas, palabras) es frecuente.

Normalmente este tipo de matrices se normalizan en sus valores a través del el Índice

de Salton, o Jacard. La matriz resultante de todo el proceso es susceptible de ser

sometida a diferentes tipos de análisis que van desde la estadística multivariante como

el Multidimensional Scaling (Moya-Anegón, Jiménez Contreras, et al., 1998) o el

Principal Component Analysis (Fernández-Cano & Bueno, 2002) hasta el referido

Análisis de redes sociales (ARS). Este último presenta todo un conjunto de

procedimientos para determinar el rol, la posición de los actores y la detección de

grupos. Gracias al desarrollo del ARS han surgido nuevos programas informáticos

capaces de procesar grandes cantidades de datos que facilitan la visualización y la

representación de estas redes como Ucinet y Pajek (Molina, 2000, p. 162-173 ; Nooy,

Mrvar, et al., 2005). En nuestra área no es nueva la utilización del ARS tal y como

podemos ver a través de las revisiones sobre la aplicación y desarrollo de estas

técnicas para el estudio de la ciencia realizadas por Shrum & Mullins (1988) o Rogers,

Bozeman, et al. (2001).

Siguiendo el esquema de Callon presentado en la tabla 2 podemos dividir los

indicadores relacionales en dos bloques diferenciados (Callon, Courtial, et al. 1995, p.

55). El primero serían los Indicadores de primera generación caracterizados por no

tener en cuenta el contenido de los documentos y buscar otro tipo de lazo entre los

actores como las citas o la firma conjunta de documentos. El otro bloque son los

Indicadores de segunda generación que analizan las temáticas de los documentos a

partir de la co-ocurrencia de términos en los mismos. Una nueva tercera generación,

aún en vías de consolidación, que supera a las dos anteriores sería la basada en el

Análisis de co-redes (Co-networks Analysis) que estudia las redes compartidas entre

los actores evaluados (Jiménez-Contreras, Delgado López-Cózar, et al., 2005).

Page 83: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

79

» 2.3.2.1. Indicadores relacionales de primera generación

En primer lugar haremos mención a las redes que emplean las coautorías de los

trabajos. Éstas se basan en la firma conjunta de las publicaciones ya que cuando dos

investigadores o instituciones aparecen a la vez en un mismo trabajo están

relacionados entre sí, mantienen un vínculo de colaboración. Su objetivo prioritario es

establecer como la estructura social de los científicos determina el progreso del

conocimiento científico y revelar cual es la organización de las comunidades científicas

(Eaton, Ward, et al. 1999, p. 40). El tipo de información que trata es fácilmente

recuperable en las bases de datos por los que cualquier publicación científica es

susceptible de este análisis aunque fundamentalmente se concentran en los trabajaos

en revistas científicas o en las patentes. A partir del nivel de agregación seleccionado

podemos analizar las siguientes redes:

» Redes de coatoría de científicos: Es sin duda el nivel de agregación con más

trabajos disponibles y su estudio se ha afrontado desde múltiples perspectivas.

Se han empleado para detectar autores importantes dentro de una disciplina

(Otte, Rousseau, 2002); comprobar como influye la estructura social en la

productividad (Eaton, 1999); describir las diferencias entre distintas

comunidades científicas (Molina, Doménech, 2002); estudiar las comunidades

en función del sexo, situación geográfica y rango académico (Rivellini, Rizzi, et

al., 2006); caracterizar las redes de departamentos para determinar la

estructura interna y sus grupos (Van Raan & Peters, 1991) o analizar la co-

invención de patentes (Porter & Newman, 2004)

» Redes de coautoría de países e instituciones: dentro de este grupo podemos

distinguir los que estudian la red mundial de países en un momento

determinado (Persson & Melin, 1996, p. 374) y aquellos que tratan de trazar la

Page 84: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

80

evolución de esta misma red durante distintos períodos cronológicos (Glänzel,

2001, p. 80-84; Glänzel, 2004, p. 266-270). Un aspecto más interesante a la

hora de analizar las coautorías es establecer las redes institucionales de

colaboración como los estudios llevados a cabo sobre las universidades

noruegas (Persson, Melin, et al., 1997), las españolas (FECYT, 2005) o en

campos concretos como la biomedicina y ciencias de la salud6

Merecen una mención aparte las aportaciones de Newman (2001a, 2001b, 2001c,

2001d, 2004) sobre el estudio de la estructura de las redes de coautorías. En primer

lugar es el trabajo de redes sociales que utiliza la mayor cantidad de datos

contempladas hasta el momento en este tipo de estudios lo que constituye un

verdadero hito debido a la dificultad para recopilar los datos (Watts, 2003, p. 124). En

concreto se empleó 2.163.923 trabajos y 1520251 autores de Medline, además contó

con otras dos bases de datos de menor tamaño, la Stanford Public Information

Retrieval System de física y la Networked Computer Science Technical Referente

Library de informática. Newman demostró con esta información como las redes de

científicos están extremadamente agrupadas y se estructuran en torno a un gran grupo

denominado componente gigante compuesto en el caso Medline por 1395693 autores

que abarcaban gran parte de la red. Si tenemos en cuenta las tres bases de datos este

componente alcanzaba entre el 80% y el 90% de científicos de la red. Otra

característica de estas redes es la pequeña distancia que mantienen los científicos

entre sí, en el caso de Medline ésta era de 4,6, grados, cifra que resulta inferior a los

famosos seis grados de separación de Milgram; si un científico quiere pasar de un

grupo a otro grupo dentro del componente gigante necesariamente solo puede pasar a

través uno o dos de sus colaboradores que son los que unen los dos grupos.Este

fenómeno es conocido como funneling. Gracias a la aportación de Newman se ha

6 http://84.88.71.51/webs/MapaBiomedico2004/Index.htm [Consultado 13 de Diciembre de 2006]

Page 85: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

81

alcanzado una visión global y casi exacta de la estructura colaborativa global de la

ciencia difícil de superar.

El segundo gran grupo dentro de los indicadores de primera generación son

aquellos que utilizan las referencias bibliográficas para crear las redes. Podemos

distinguir, siguiendo a Persson & Beckmann (1995, p. 351), tres tipos de

aproximaciones para las redes de citas: citación directa, Bibliographic Coupling y

cocitaciones. Entre los análisis de citación directa podemos reseñar el estudio de Rice

(1990) sobre la población de revistas de investigación en comunicación y

biblioteconomía donde se generaban las redes a partir de las citas que se emitían las

revistas entre sí. La siguiente aproximación, el Bibliographic Coupling, fue propuesta

originariamente por Kessler (1963) y se basa en la unión que dos trabajos pueden

mantener entre sí al haber referenciado un mismo documento. En la actualidad estas

dos técnicas han caído bastante en desuso debido principalmente al predominio de los

análisis de cocitación, la técnica por excelencia para analizar las citas documentales.

Las cocitación, introducida por Small (1973), se produce cuando dos documentos

aparecen referenciados o citados en un mismo trabajo, el hecho de aparecer

conjuntamente establece una relación entre los mismos. Cuando estos documentos

son cocitados con frecuencia se les atribuye cierta similaridad temática y una conexión

intelectual dentro del campo analizado. Por extensión este mismo marco teórico puede

ser aplicado a los autores o las revistas de los documentos cocitados. La utilidad de

este tipo de análisis radica en su capacidad para representar la estructura intelectual

de un área científica y descubrir los posibles intercambios de ideas entre

subdisciplinas científicas (Bayer, Smart, et al. 1990, p. 444). Small también señala

que la cocitación puede emplearse para observar los cambios que se producen en

diferentes momentos del desarrollo de una disciplina como el abandono de

Page 86: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

82

paradigmas obsoletos o el nacimiento de revoluciones científicas (Small, 1980, p. 231).

Los estudios de cocitación han sido empleados en los siguientes niveles:

» Cocitación de documentos: ha sido aplicada ampliamente desde los años

setenta a partir de los trabajos de Small para representar la estructura de

diferentes campos científicos como la física (Small, 1973) o la investigación

sobre SIDA (Small & GreenLee, 1990). La cocitación de documentos

necesariamente no se limita a una especialidad concreta; recientemente se ha

estudiado la cocitación entre todos los documentos presentes en ISI en el 2002

(Klavans & Boyack, 2005) y gracias al software CiteSpace,7 desarrollado por

Chaomei Chen, se pueden representar directamente las redes de cocitación

con registros descargados del ISI y ser analizados de forma interactiva

» Cocitación de autores: Aplicada a los autores esta técnica fue propuesta y

desarrollada por White durante los años 80 aunque alcanzará su mayor auge

en los inicios de los noventa. Según McCain (1990b, p. 443) este tipo de

análisis permiten identificar la organización de las comunidades científicas, las

escuelas de pensamiento o las contribuciones académicas de un conjunto de

autores tal y como es percibida por los citantes. Esta técnica se ha aplicado

para analizar áreas científicas como la macroeconomía (McCain, 1986), la

genética (McCain, 1990a), conducta organizacional (Paisley, 1990), estudios de

la familia (Bayer, Smart, et al. 1990) o documentación (McCain & White, 1998)

» Cocitación de revistas y categorías de revistas: permite clasificar las revistas

científicas en cluster quedando agrupadas según su similaridad temática.

Recientemente Leydesdorff ha desarrollado una metodología para mapear

diferentes bases de datos como el Journal Citation Reports (Leydesdorff, 2004)

o el Chinese Citation Index (Leydesdorff, 2005b). Una alternativa interesante

planteada a partir de la cocitación de revistas es emplear las categorías JCR 7 http://cluster.cis.drexel.edu/cchen/citespace [Consultado el 12 de Agosto de 2006]

Page 87: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

83

donde están indizadas alcanzándose niveles superiores de agregación, de esta

forma conseguimos una representación general de la estructura científica como

la obtenida para la ciencia española en el período 1990-2005 (Moya–Anegón,

Vargas–Quesada, et al. 2006).

» 2.3.2.2. Indicadores relacionales de segunda generación

Los indicadores de segunda generación se basan en la co-ocurrencia de términos

extraídos de los títulos, resúmenes o palabras clave de las publicaciones científicas

por lo que no se limita a ninguna base de datos. Su objetivo principal es caracterizar

los temas de un conjunto de documentos y sus diferentes relaciones. El nacimiento de

esta técnica se produjo en los ochenta gracias a los desarrollos del grupo de

investigación de la Escuela de Minas de París (Callon, Courtial, et al., 1986; Ruiz-

Baños y Bailón-Moreno, 1999a, 1999b). Su base teórica se sustenta en la Teoría del

actor-red de Bruno Latour y su resultado final sitúa los términos en un espacio

bidimensional llamado diagrama estratégico. Cada término queda posicionado en un

punto concreto del diagrama gracias a sus indicadores de centralidad y densidad que

establecen la importancia de los mismos dentro de la literatura científica analizada.

Otras aplicaciones prácticas de los análisis de palabras asociadas, como se demostró

con la producción científica en arqueología (Ruiz-Baños, 1997, p. 115-120), son su

capacidad para establecer los ciclos de vida de la terminología o los mecanismos de

traducción-traslación. Este método, sin embargo, encuentra su máximo rendimiento

aplicado a la vigilancia tecnológica en disciplinas científico-tecnológicas (Bailón-

Moreno, 2003).

La ventaja del análisis de palabras asociadas es su posibilidad de aplicación a

cualquier tipología documental y base de datos por lo que no se limita a la citas

Page 88: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

84

recopiladas por el SCI como ocurre en la cocitación. Uno de los últimos avances en el

desarrollado de este tipo de indicadores es el Software CopalRed 8 que ha sido

aplicado con éxito para analizar el campo de los tensioactivos. (Bailón-Moreno, Jurado

Alameda, et. al., 2006). Aparte de estas técnicas, que se configuran en torno a una

teoría e indicadores concretos, el mapeo y análisis de co-palabras lo encontramos en

los denominados mapas-cognitivos desarrollados por el grupo de Leiden, tratando de

integrar las representaciones gráficas con los indicadores de impacto (Noyons, Moed,

et al. 1999a, 1999b), o en la representación conjunta de temas y autores mediante

técnicas multivariantes (Sanz-Casado, Suárez-Balseiro, et. al., 2007)

» 2.3.3. Aproximación factorial a los indicadores bibliométricos: el Diseño de

Superficies de Respuesta

Como se ha visto en los apartados anteriores la información bibliométrica es

susceptible de múltiples tratamientos y técnicas de análisis. En la actualidad ya se han

aplicado gran parte de los métodos disponibles en la estadística multivariante para

lograr explicaciones más ajustadas de los fenómenos bibliométricos. En este trabajo

de investigación proponemos una nueva aproximación al estudio de los diveross

resultados de la actividad científica que clarifique la relación existente entre los

mismos y los factores que los condicionan. En nuestro contexto, una institución

destinada a la investigación, si cabe, cobra especial relevancia detectar cuales son

esos factores que inciden en determinados indicadores con el fin de lograr una

monitorización de las actividades científicas más efectiva. El método al que se hace

referencia son los diseños de superficies de respuesta (DSR) (response surface

methodology)

8 http://ec3.ugr.es/copalred [Consultado el 25 de Enero de 2007]

Page 89: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

85

Los diseños de superficie de respuesta son aquellos en que se analizan y modelan

problemas en los cuales la respuesta de interés está influencia por varias variables,

siendo el objetivo final el desarrollo, la mejora, optimización y la descripción de

productos y procesos (Box, 1987, p. 17-19). El DSR fue desarrollado por Box y Wilson

en la década de los cincuenta para mejorar los procesos de manufactura en la

industria química (Den & Voss, 1999, p. 547). Con este nuevo método se creó una

nueva forma de experimentación que es aplicada ampliamente en ingeniería y en la

experimentación industrial (Myers, Montgomery, et al., 2004, p. 53). En el ámbito de

las ciencias sociales su utilización se puede remontar a sus primeras aplicaciones en

educación (Meyer, 1963), aunque es a finales de la última década cuando cobra una

especial atención sobre todo en la psicología (Arnau, 1997; Ximénez & San Martín,

2000).

Los DSR se basan en la utilización de diseños experimentales factoriales, es decir

aquellos en los que la variable de respuesta se mide para todas las combinaciones

posibles de los niveles de los factores que la determinan. El efecto principal de un

factor se define como la variación en la respuesta producida por un cambio en el nivel

del factor considerado mientras los demás se mantienen constantes. Existe interacción

(dependencia) entre variables cuando el efecto de un factor depende del

comportamiento de algún otro de los factores. La aplicación de los DSR se hace

indispensable si después de haber identificado los factores significativos que afectan a

la respuesta, se considera necesario explorar la relación entre factor y variable

dependiente dentro de la región experimental. Las superficies de respuesta son

recomendadas para este tipo de diseños factoriales por su eficiencia y rapidez de

ejecución. En general a la hora de aplicar este método se buscan dos objetivos

principales (Den & Voss, 1999, p. 548; Montgomery & Reunger, 2002, p. 707):

Page 90: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos

86

» Localizar las combinaciones de factores que generan una respuesta

maximizada o minimizada en las que se satisfagan las especificaciones de un

proceso.

» Estimar las superficies de respuesta dentro de los valores establecidos para

comprender los efectos locales de los factores en la respuesta. Esta superficie

puede ser utilizada como predictor de lo ocurre con todos las posibles

combinaciones de los valores que pueden adoptar las variables

Page 91: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

87

» 2.4. LOS INDICADORES BIBLIOMÉTRICOS COMO HERRAMIENTA PARA LA TOMA DE DECISIONES

» 2.4.1. La ciencimetria aplicada a la toma de decisiones

Los indicadores bibliométricos encuentran su sentido cuando son utilizados como

herramienta evaluadora permitiendo a los gestores de la ciencia tomar decisiones,

bien sea en la reorientación de los recursos a los agentes con mayor capacitación

(Moravcsik, 1989, p. 314) o en el establecimiento de prioridades de investigación. A

nivel nacional un buen conjunto de indicadores contribuye a que el gasto público en

I+D sea mejor empleado (Aksnes, 2005, p. 23); a un nivel menor, como puede ser un

programa de investigación, el establecimiento previo de una serie de mecanismos de

evaluación facilitan la resolución de problemas de investigación o la consecución de

determinados objetivos científicos, gracias principalmente, a una localización eficiente

de los recursos disponibles y al ahorro de tiempo (Camí, 2001, p. 512). Braun señala

también como aspecto positivo de la ciencimetria su carácter neutral y objetivo al

analizar directamente la literatura científica sin intermediarios y su capacidad para

descubrir conexiones ocultas o insospechadas entre personas, objetos, campos o

resultados que pueden pasar desapercibidas en otro tipo de análisis (Braun, 1999, p.

425). Moed (2002, p. 731) describe al menos tres escenarios diferentes en los que los

indicadores bibliométricos orientados a la toma de decisiones pueden ser empleados

útilmente:

» Dirección de la investigación: estimulando y fomentado la discusión entre la

población científicos evaluados y los gestores de la investigación sobre las

posibles estrategias de publicación y la dirección de la investigación.

» Complemento del Peer Review: los expertos la pueden emplear como

información accesoria que les facilite tomar de juicios de mayor calidad

Page 92: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

88

» Mejor conocimiento del sistema: ayuda a descubrir a los gestores cuestiones

críticas de muchos aspectos de la actividad científica dándole una mayor

perspicacia a la hora de repartir fondos y promocionar el personal

Si deseamos que los indicadores bibliométricos actúen en este sentido y sean una

pieza más en el engranaje de la gestión de la ciencia solo podemos hacer uso de

aquellos generados por la Bibliometría evaluativa (BE), tal y como fue propuesta por

Narin (Van Leeuwen, 2004, p. 374-375). Esta BE ha de realizarse en colaboración con

el agente evaluado que ha de interactuar tanto al inicio del proceso, ofreciendo y

facilitando la información necesaria, como al final evaluando y sopesando los

indicadores resultantes. Son necesarias, por tanto, una gran exhaustividad en la

recopilación de información y una precisión mayor en los resultados, dos conceptos

intrínsecamente unidos a la BE que ayudan a superar las limitaciones de la

Bibliometría descriptiva, en ésta los resultados nunca son exactos y siempre están

sometidos a cierto nivel de incertidumbre.

Independientemente de su nivel de precisión la toma de decisiones, en especial la

distribución de fondos y concesión de proyectos de investigación, cada vez está más

determinada por los indicadores bibliométricos. Diferente países están desarrollando

sus propios indicadores a partir de los cuales determinan la “calidad” de la

investigación, casi todos basados directamente en lo valores de Impact Factor o en

diversas variaciones del mismo (Ventura & Mombru, 2006, p. 288). Así en Finlandia se

evalúan positivamente aquellas publicaciones con un Impact Factor mayor a dos; en

Italia y Alemania utilizan los promedios de Impact Factor; en Hungría el denominado

Impact Factor Contribution y en Holanda el Journal to Field Impact Score.

El Ejemplo más destacado de uso efectivo de la ciencimetria para la distribución

de fondos lo encontramos en el Reino Unido y su polémico Research Assessment

Page 93: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

89

Excercises (RAE) (Warner, 2000). No solo se utilizan indicadores de impacto, la

Nacional Institution for Academia Degreess and University en Japón están adoptando

la colaboración científica y la cooperación como un nuevo punto de vista en la

evaluación de sus actividades de I+D (Yoshikane, 2005, p. 509). En España tenemos

el caso pionero del Fondo de Investigaciones Sanitarias del Instituto de Salud Carlos

III que se convirtió en el primer de I+D en someterse a una evaluación expost en la

que incluían, entre otros, indicadores bibliométricos. Esta evaluación se inició en 1996

con el proyecto Evaluación del FIS como programa de I+D que tenía entre sus

objetivos:

Contribuir a la mejora de la gestión en todos los niveles, desde los que actúan en la acción política hasta los que ejecutan diariamente las distintas actividades del programa (Espinosa de los Monteros, Díaz, et al. 1999, pag 183)

En este contexto, por el alcance de nuestro trabajo de investigación, debemos

hacer una mención especial aThe Leiden Science Indicators Project del CWTS (Moed

& Van Raan 1988, p. 183-189). Mediante este proyecto se desarrolló un nuevo sistema

de financiación de la investigación que abarcaba todos los niveles de un sistema

universitario (universidad, facultades y departamentos) a partir de indicadores

bibliométricos. En el caso concreto de la Facultad de Medicina de Leiden University el

proceso se basó en unas rondas de discusión iniciales donde se acordaron los

indicadores que se iban a emplear. Éstos no se limitaron a la producción ISI, sino que

abarcaban diferentes resultados como tesis y libros así como los inputs del sistema,

caso de la financiación externa y los recursos humanos. Los indicadores obtenidos

fueron considerados por parte del Decano de la Facultad de Medicina de gran utilidad

para la concesión y monitorización de proyectos de investigación, sobre todo en

aquellos casos en los que existían dudas sobre la asignación económica de los

Page 94: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

90

proyectos. También se obtuvieron una serie de interesantes conclusiones relativas al

empleo de indicadores para monitorizar la financiación:

» Se puso de manifiesto como los indicadores debían ser complementados

con un conocimiento previo de la universidad para conocer su verdadero

alcance.

» Los análisis eran efectivos cuando abarcaban al menos 8 años ya que

permitían identificar tendencias.

» El papel más decisivo y más interesante de los indicadores se mostraba en

los niveles de análisis micro de los grupos de investigación

» Las citas permitían determinar con más exactitud los grupos de alto nivel

superándose las limitaciones de los simples conteos de publicaciones.

Los responsables de llevar a cabo esta evaluación, el grupo CWTS de Leiden,

determinaron finalmente la validez de los indicadores bibliométricos y su utilidad

práctica para la toma de decisiones en una universidad.

Sin embargo la implantación de este tipo de sistemas evaluativos puede traer una

serie de consecuencias ante las cuales tienen que estar atentos los encargados de la

gestión de la investigación. Es la denominada reflexividad de los indicadores

bibliométricos (Katelborn & Kuhn, 2004, p. 465). Ésta consiste en la capacidad de los

diferentes agregados (investigadores, grupos, revistas) para adaptar su actuación

científica a los requerimientos de la evaluación por lo que se puede acabar

modificando y viciando el sistema científico. Los ejemplos más evidentes son: la

práctica del Salami Publication; los casos de citación dirigida para aumentar el número

de las citas mediante la autocitación convencional y redes/clubes de citación (Bordons

& Zulueta, 1999, p. 798; Kostoff, 1998, p. 30); la búsqueda artificial por parte de los

investigadores de las revistas con un mayor IF, desviando y adaptando para ello sus

Page 95: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

91

trabajos para que acaben en revistas que no representan del modo más apropiado sus

líneas de investigación (Katelborn & Kuhn, 2004, p. 465). Tampoco es cierto que la

reflexividad de los indicadores actúe siempre en este sentido negativo, en buena

medida el éxito y crecimiento de la ciencia española de las dos últimas décadas se

debe a la política científica fomentada por la CNEAI recomendando y premiando la

publicación en las bases de datos ISI (Jiménez-Contreras, Delgado López-Cózar, et al.,

2002). Este tipo de alteraciones en los hábitos de los científicos se producen sobre

todo cuando se utiliza como medio de evaluación un único indicador. Martín

argumenta (1996, citado por Aksnes, 2005, p. 32) que cuando son aplicados diferentes

indicadores es muy difícil y prácticamente imposible manipularlos sin que al mismo no

se esté mejorando necesariamente la propia investigación, ya que son demasiadas

variables sobre las que hay que actuar.

Este protagonismo adquirido por la ciencimetria en los procesos de toma de

decisiones no debe arrinconar otros métodos más tradicionales e igualmente efectivos

como el sistema de revisión por expertos o los retornos económicos generados por la

investigación. Todos ellos forman parte del mismo engranaje y no son autoexcluyentes

sino perfectamente compatibles entre sí. De hecho el sistema de revisión por expertos

sigue siendo uno de los métodos más empleados a la hora de distribuir fondos en la

investigación. Un ejemplo efectivo de su uso lo encontramos en los paneles de

expertos del Fondo de Investigaciones Sanitarias (FIS) o de la Agencia Nacional de

Evaluación y Prospectiva (ANEP) (Guallar, Conde, et. al., 1996). Esta convivencia de

dos métodos diferentes para alcanzar un mismo objetivo ha generado una amplia

literatura donde se compara la eficacia de las dos metodologías, algunos ejemplos de

la misma son los siguientes:

» Nederhorf (1988) evaluó con indicadores bibliométricos a los investigadores

que obtuvieron una calificación Cum-Lauden en física y química en la

Page 96: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

92

Universidad de Leiden durante 1970 y 1983. Estos investigadores produjeron

una mayor cantidad de artículos (Cum-Laude = 0,65; No Cum Laude = 0,33) y

consiguieron una media de citas también superior (Cum-Laude = 6; No Cum

Laude = 0,37). Los evaluados más positivamente por los expertos, en este caso

los miembros de un tribunal científico, también lo han sido posteriormente por

la comunidad científica en la que se han integrado.

» So (1998) realizó un ranking de citas de un grupo de investigadores que fue

comparado con el juicio por expertos. Se concluyó que aunque los resultados

eran parecidos los análisis citas enfatizan más las publicaciones recientes y el

Peer Review valora más el conjunto de la carrera académica.

» Bornmann & Hans-Dieter (2005a, 2005b) compararon ambas formas

evaluativas para la contratación de investigadores post-graduados en un centro

de investigación biomédica. Se demostró que los investigadores seleccionados

por la institución a través de comités de expertos eran además los que mejores

indicadores bibliométricos (citas y H-Index) presentaban respecto al resto de

los solicitantes.

Ambos métodos, a la luz de este tipo de estudios, se han mostrado igualmente

eficientes por lo que la decisión por uno u otro depende de las necesidades existentes

y del conocimiento de las limitaciones que ambos presentan. Así contra el Peer

Review se suele argumentar su parcialidad, su condicionamiento por factores sociales,

el apoyo a disciplinas antiguas y decadentes (Sancho, 1990, p. 858-859), el fraude

científico inadvertido (Abelson, 1990, p. 219-220) o las limitaciones para localizar la

excelencia científica (Moed, 2005, p. 240). Sin embargo en determinados escenarios

son más efectivos que los análisis de citas; es el caso de determinadas aportaciones

teóricas que tardan en ser asimiladas y citadas por una comunidad de científicos

(Kostoff, 1998, p. 34). Ambas metodologías tienen, por tanto, sus limitaciones por lo

Page 97: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

93

que las afirmaciones de Asknes recomendando su utilización conjunta son bastante

acertadas:

“In sum, the use of citations as performance measures has their limitations, as all bibliometric indicators have. But a citation analysis when well designed and well interpreted will still provide valuable information in the context of research evaluation. Performance, quality and excellence can also be assessed through peer review, but in spite of their widespread use, these have problems as well. A combination of methods, or better, mutual interrogation on the basis of findings of each of the methods, is more likely to provide reliable evaluation results” (Aksnes, 2005, p. 32-33)

Los pasos adecuados para implementar efectivamente un proceso de toma de

decisiones en el cual se produce esta sinergia entre peer review-ciencimetría han sido

descritos por Braun (1999, p. 426-427) de forma similar a un diagnóstico médico

(figura 2). En la medicina un diagnóstico se basa en el uso de diferentes variables para

determinar las causas de una enfermedad, una vez descubiertas se toman las

medidas adecuadas para frenar los síntomas. Este proceso se inicia con un primer

reconocimiento superficial y más subjetivo del paciente seguido de diferentes pruebas

analíticas más objetivas que son analizadas por un laboratorio. Los resultados

retornan al médico y junto con su examen inicial conforman los elementos de juicio

para diagnosticar y recetar a su paciente. El ideal y la práctica ciencimétrica debería

seguir un proceso similar, en un primer momento los resultados científicos de una

institución científica (universidad, centro o instituto de investigación, etc.) son

examinados por un comité expertos (examen cualitativo). Posteriormente estos

mismos resultados (Artículos, patentes, libros, etc..) son evaluados por los bibliometras

que mediante indicadores diseñados ad-hoc ofrecen una nueva visión cuantitativa y

cualitativa sobre el estado del centro. En función de la información reunida por ambas

partes un gestor de política científica es capaz de evaluar/diagnosticar la salud de un

sistema de forma contrastada y a partir de ellos tomar las decisiones pertinentes.

Page 98: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

94

Figura 2. La toma de decisiones como diagnóstico médico en un entorno institucional.

Fuente: Braun, 1999, p. 426-427

» 2.4.2. La evaluación bibliométrica de instituciones

Establecer procesos evaluativos que ayuden a la toma de decisiones es el fin

último y la justificación del empleo de los indicadores bibliométricos aplicados a

instituciones orientadas a la investigación, tal y como ejemplarizamos en The Leiden

Science Indicators Project del CWTS. La recomendación para la instauración de este

tipo de políticas y su correspondiente marco teórico se sistematizó por primera vez

gracias a la aplicación del esquema Input-Output propuesto por Martin e Irvine (1983).

Antes de esta fecha según Jiménez- Contreras (1996, p. 28) es difícil la localización

literatura sobre tema que se encargue de la evaluación de instituciones. En este

Esta

do d

e la

cue

stió

n

Page 99: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

95

trabajo, en el que se evalúan nueve centros radioastronómicos, se estudia la

aplicabilidad de los métodos bibliométricos a nivel institucional y se hace referencia

explícita a su utilidad en la toma de deciones, sobre todo a la hora de distribuir los

recursos existentes (Martin e Irvine, 1983, p. 63). Coincide esta publicación en el

tiempo con la aportación realizada por Moed, Burger, et. al. (citado por Jiménez-

Contreras, 1996, p. 28). Ambas propuestas sientan las bases metodológicas y

establecen una batería de indicadores que será ampliamente utilizada en el futuro.

Los indicadores empleados se basaron, en primer lugar, en un análisis de los

elementos humanos y financieros, en segundo lugar en la producción científica u ouput

y en tercer lugar en la medición de las citas para determinar el impacto.

Este esquema durante la década de los ochenta y el primer lustro de los noventa

será ampliamente imitado como ponen de manifiesto diferentes trabajos (Beck &

Gaspar, 1991; Pouris, 1989; Delgado & Russell, 1992; Krull, 1995; Zachos, 1991). Bajo

el mismo marco conceptual se han ido introduciendo nuevos indicadores que han

ampliado y complementado la perspectiva de la medición de citas. Entre los más

empleados encontramos la inclusión de los indicadores de colaboración y los basados

en las diferentes versiones del Impact Factor (Schwarz, Schwarz, et. al., 1998;

Srinivasan, Raman, et. al. 1999; Frohlich & Resler, 2001; Toutkoushian, Porter, et. al.

2003). La perspectiva inicial se han mantenido, por tanto, bastante establece a lo largo

del tiempo con pocas variaciones metodológicas aunque algunos autores si han

realizado diferentes propuestas. Entre las más relevantes encontramos la inclusión del

método de co-palabras y el diseño conjunto de las investigaciones con los gestores de

los centros (Bauin, Michelet, et. al. 1991), el estudio del efecto que produce la

financiación externa en una universidad sobre la producción y los recursos humanos

(Moed, Luwel, 1998) o la selección de la futuras líneas futuras de investigación a partir

de los resultados (Zaidman, 1997).

Page 100: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

96

En España también contamos con diversos ejemplos de estudios bibliométricos

aplicados a instituciones, sobre todo universidades. Quizás el ejemplo más claro lo

encontramos en la tesis doctoral de Jiménez-Contreras (Jiménez-Contreras, 1996)

dedicada a la producción científica de las facultades de Ciencias, Medicina y Farmacia

de la Universidad de Granada durante los años 1975-1987. En el mismo se introduce a

nivel nacional la metodología propuesta por el grupo CWTS cuyo punto fuerte es la

contabilización del número de citas obtenidas. No es el único trabajo que encontramos

sobre la Universidad de Granada, recientemente se ha vuelto a evaluar la producción

en el Science Citation Index (Moya-Anegón & Chinchilla-Rodríguez, 2006) pero

empleando esta vez indicadores de Impact Factor. Otros ejemplos reseñables dentro

de la literatura nacional son la evaluación efectuada sobre la Universidad de Alcalá de

Henares (Campanario, 1998), la Universidad Politécnica de Valencia (Alonso, 2004),

la Escuela Politécnica de la Universidad Carlos III (Moros & Bordons, 2003 y las

universidades andaluzas (Navarrete, 2003).

Dentro de este apartado, por el alcance de este trabajo de investigación, hemos

de hacer referencia a distintos estudios que han tenido como unidad análisis una

institución orientada a la investigación en ciencias de la salud. A nivel Internacional los

ejemplos son abundantes: Moed, De Bruin, et al. (1995) analizaron la producción de

ocho facultades de farmacia en Holanda durante el período 1980-1989 a través de los

indicadores desarrollados en Leiden; el análisis bibliométrico del National Institute for

Cancer Reserch (IST) de Italia (Ugolini, Parodi, et. al., 1997; Ugolini, Bogliolo, et. al.,

1997); la evaluación comparativa respecto al mundo de la producción científica de las

Facultades de Medicina, Farmacia y Ciencias de las universidades de Ghent, Leuven

y Antwerp (Moed, Luwel, et. al. 1998) ; el estudio de Lewison sobre el Imperial

College Medical School de Londres y la Goteborg University Faculty of Medicine

(Lewison, 1998b), con la presentación de indicadores más novedosos como la

utilización de la clasificación de la investigación de Computers Horizon o el cómputo

Page 101: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | Los indicadores bibliométricos como herramienta…

97

las citas recibidas desde patentes; la evaluación de Liang, Wu, et al., (2001) de 97

facultades de medicina de China con el diseño de 14 indicadores diferentes a través

de dos bases de datos nacionales; el análisis de Grohmann & Stegmann (2005) de la

producción 35 de la facultades médicas alemanas para los años 1993-2002

obteniendo los datos de una base especializada nacional (DIMDI ) y los JCR; el

análisis de los retornos económicos recibidos por la National Heart Foundation de

Australia mediante un análisis de la financiación obtenida a través de fondos públicos

y privados, complementándose esta información con el impacto de las revistas y el

número de citas (Clay, Butler, et. al., 2006).

En las revistas científicas nacionales, especialmente en la Revista Española de

Documentación Científica, también encontramos algunos ejemplos de este tipo de

trabajos. Podemos apuntar en este sentido: el estudio centrado en la producción en

biomedicina de la Universidad Autónoma de México (Russell, Delgado, et. al., 1992)

cuyo objetivo básico es determinar su producción y visibilidad a través del IF; la

evaluación del Hospital General de México destinado a recuperar y describir su

producción científica en diferentes bases de datos nacionales e internacionales y

establecer su posición comparada con otras instituciones mexicanas (Macías-Chapula,

Rodea-Castro, et. al., 2004). En el nivel de tesis doctorales hemos de mencionar la

realizada por Elvira Ruiz de Osma (2003) donde se vuelve a retomar la Universidad de

Granada pero esta vez limitada exclusivamente a su Facultad de Medicina.

Aunque la evaluación de instituciones especializadas es bastante frecuente no es el

único ámbito en el cual las ciencias de la salud han sabido sacar provecho de la

bibliometría. Contamos con innumerables ejemplos que dan cuenta del matrimonio bien

avenido entre bibliometría-ciencias de la salud. Para concluir el estado de la cuestión

hemos trazado su panorama general que cerramos con algunas de las aportaciones más

relevantes a nivel nacional que no podemos pasar por alto.

Page 102: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

98

» 2.5. LA EVALUACIÓN BIBLIOMÉTRICA EN CIENCIAS DE LA SALUD

» 2.5.1. La producción científica sobre bibliometría en Medline

Realizar una revisión bibliográfica sobre la aplicación de las técnicas bibliométricas

en ciencias de la salud o sobre la publicación de trabajos bibliométricos en revistas

médicas se convierte en una tarea prácticamente inabarcable si tenemos en cuenta el

gran número trabajos existentes. Si realizamos una búsqueda en Medline a través de

su tesauro utilizando para ello como Medical Subject Heading (MeSH) la entrada

Bibliometrics esta ecuación nos devuelve un total de 1905 publicaciones repartidas

entre los años 1971 y 2006 (gráfica 1).

Gráfica 1.Evolución anual de la frecuencia del término MeSH Bibliometrics en Medline. 1971-2006.

0

50

100

150

200

250

1971

1989

1991

1993

1995

1997

1999

2001

2003

2005

Año

Frec

uenc

ia M

eSH

Ter

m

Estas publicaciones se reparten en un total de 751 revistas con Nature,

Cardivascular Research y el Journal of the Medical Library Association a la cabeza.

Existe un fuerte crecimiento en la indización del término Bibliometrics, sobre todo a

mediados de los noventa, alcanzándose los valores más altos en la última década.

Tan sólo en los últimos siete años se han publicado 1424 estudios, es decir el 75% del

total. Estos datos básicos demuestran, por un lado el enorme interés de la comunidad

Page 103: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

99

médica por los mecanismos empleados en la evaluación de la actividad científica, y

por otro, la rápida asimilación de gran parte técnicas para acometer acciones de

autoevaluación.

Aunque un análisis en profundidad de esta bibliografía es una labor que escapa a

los objetivos de este trabajo si es posible al menos detectar diversas tipologías de

estudios bibliométricos bastante recurrentes. Básicamente el corpus bibliográfico

presente en la base de datos de la National Library of Medicine de los Estados Unidos

lo podemos clasificar, excluyendo los análisis institucionales, en los siguientes bloques:

» Estudios bibliométricos de revistas científicas. Son frecuentes los estudios

que toman como unidad de análisis una revista científica o un conjunto diverso

de revistas con diferentes objetivos. Predominan aquellos destinados al cálculo

de diferentes indicadores clásicos como el número y promedio de citas, índices

de coatoría (Tortosa, Mulero, et. al., 1998) o bien simplemente se reducen al

análisis de tendencias en los valores de Impact Factor durante un período

cronológico concreto, bien para una sola publicación (Horgan, 2002) o lo que

es más habitual, para la población de una especialidad (Baños, Casanovas, et.

al., 1992). No son pocos los estudios preocupados por identificar los artículos

o los autores más citados de una revista con el objetivo de establecer rankings

de la investigación con mayor impacto. (Picknett & Davis, 1999; Opthof &

Coronel, 2000). Aunque los temas expuestos son los más frecuentes es posible

identificar otros estudios minoritarios comos los destinados a establecer los

patrones de citación entre revistas (Schoonbaert, 2004), aquellos que buscan

nuevas formas de clasificación y ordenación de revistas (Tiefenthaler,

Hohlrieder, et. al., 2004) o los que tratan de analizar el impacto de las revistas

de habla no inglesa (Ren, Zu, et. al., 2002).

Page 104: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

100

» Estudios bibliométricos de dominios geográficos. Ocupan un lugar importante

los estudios que toman como unidad de análisis un dominio geográfico. Estos

estudios pueden ser tan amplios como los que abarcan la producción mundial

(Rahman & Fukui, 2003; King, 2004) y grandes regiones geopolíticas como los

países árabes (Shaban & Abu-Zidan, 2003) o los caribeños (Almeida-Filho,

Kawachi, 2003). En la cuestión de indicadores suelen ser investigaciones más

avanzadas metodológicamente donde los indicadores bibliométricos suelen ir

acompañados de otros indicadores socioenómicos como el producto interior

bruto (Falagas, Michalopoulos, et. al., 2006) o los habitantes (Rahman and

Fukui, 2002).

» Estudios bibliométricos de disciplinas. Otro tipo de estudios que forman un

bloque bastante amplio son aquellos que tienen como unidad de análisis una

disciplina médica (Vergidis, Karavasiou, et. al., 2005; Jemec & Nybaek, 2006).

El objetivo de la mayor parte de ellos es la localización e identificación de los

agentes más productivos e influyentes como países o regiones (Grossi &

Belvedere, 2003), revistas (Brooks, 1994), investigadores (Nguyen, N. & Moy,

2000) o simplemente los artículos más citados (Thomas, Moore, et. al, 2003).

Son también habituales los análisis de disciplinas que afectan a un país

concreto como el caso de la hipertensión en México (Carrasco-Rico, Pérez-

Cuevas, et. 2004) o la psiquiatría en Brasil (Mari, Bressan, et. al. 2004).

» Estudios bibliométricos dedicados al Impact Factor. Merece un bloque aparte

la gran cantidad de trabajos que se han centrado exclusivamente al indicador

por excelencia en ciencias de la salud, el Impact Factor. La comunidad médica

no ha permanecido indiferente ya que a través de este indicador son juzgados

y evaluados gran parte de sus resultados científicos. Las perspectivas de

estudio adoptadas en los últimos años han sido variadas: críticas de su validez

como herramienta evaluativa (McVeigh, 2004; Hansson, 1995; Bienkowski,

2003; Linde, 1998), su relación con otros indicadores de citación (Waheed,

Page 105: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

101

2003; Whitehouse, 2001), su historia y significado (Garfield, 2006), problemas

en su cálculo y en el procesamiento de las referencias (Ajayi, 2004) o en la

denuncia de políticas editoriales por parte de las revistas para incrementar su

valor artificial o deshonestamente (Begley, 2006).

» 2.5.2. La evaluación bibliométrica en ciencias de la salud en España

Una primera aproximación que nos puede ayudar a dilucidar la situación de la

bibliometría en España nos la ofrece el subencabeamiento que nos indica el país

objeto de análisis de los 1905 trabajos de Medline. Como se observa en la tabla 8

España se sitúa como el segundo país productor del mundo de trabajos bibliométricos

en ciencias de la salud, tan sólo por detrás de Estados Unidos.

Tabla 8. Número de trabajos en Medline indizados bajo el MeSH bibliometrics por subencabezamiento de país. 1971-2006.

País Nº trabajos

► United States 233 ► Spain 127 ► Great Britain 69 ► Brazil 46 ► Germany 40 ► Australia 39 ► France 24 ► Italy 20 ► China 19 ► Croatia 19

Las raíces de esta estrecha relación del binomio científico bibliometría-medicina

radican en la labor de difusión realizada por José María López Piñero desde inicios de

la década de los setenta. Desde su Cátedra de Historia de la Medicina de la Facultad

de Medicina de la Universitat de Valencia, acompañado de María Luz Terrada

Page 106: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

102

Ferrandis, titular de la primera Cátedra de Documentación Médica en España (1979),

introduce la bibliometría como herramienta metodológica para el estudio de la ciencia

e impulsa y desarrolla la documentación médica en España. Esta labor de difusión

queda magníficamente ilustrada en la publicación del que se puede considerar el

primer libro nacional de bibliometría “El análisis estadístico y sociométrico de la

literatura científica” (López Piñero, 1972) y en la traducción la obra de Price “Little

Science, Big Science” bajo el título “Hacía una Ciencia de la Ciencia”. Son los

profesores valencianos además los creadores del Índice Médico Español (1965), el

primer gran repertorio bibliográfico científico español, transformado en base de datos

en 1975. Se convierten de esta forma en los principales productores de trabajos

bibliométricos y en el auténtico faro que ha guiado la proliferación de análisis

bibliométricos en la medicina española. Otros departamentos de Historia de la

Medicina de las facultades médicas españolas, a imitación de la escuela valenciana,

han desarrollado como línea de investigación propia, la bibliométrica (Delgado López-

Cózar, Torres Salinas, et. al., 2007)

El programa de investigación bibliométrica de las ciencias de la salud en España

queda enmarcado en los apartados descritos anteriormente (revistas, disciplinas,

dominios geográficos, Impact Factor). En la tabla 9 los desglosamos detalladamente y

aunque bajo el término Bibliometrics y el subencamienzamiento Spain efectivamente

no se recoja toda la producción nacional existente si nos sirve como termómetro para

identificar los principales intereses. Éstos van dirigidos esencialmente hacía la

evaluación de disciplinas médicas; suponen éstas un 39% de los estudios

posicionándose a la cabeza psicología y psicología social, anestesiología y medicina

preventiva. Le sigue con un porcentaje parecido las evaluaciones efectuadas sobre las

revistas médicas, entre la que destacan Archivos de Bronconeumología, Atención

Primaria y la Revista Española de Anestesiología y Reanimación.

Page 107: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

103

Tabla 9. Perfil de la investigación bibliométrica española en ciencias de la salud a través de los estudios presentes en Medline bajo el término MeSH Bibliometrics y el subencabezamiento Spain. 1971-2006..

Revistas Científicas Nº Disciplinas Nº Dominios Geográficos Impact Factor Otras tipologías

Actas Espanolas de Psiquiatria 1 Abuso de drogas 1 España 3 Significado 1 Análisis de Hospitales 1 Actas Urologicas Espanolas 2 Anestesiología 4 Comunidad Valenciana 1 Lengua de publicación 1 Impacto de los Reviews españoles 1 Anales de la Real Academia Nacional de Medi, 1 Cardiología 3 Galicia 1 Total 2 Financiación de la investigación 2 Anales de Medicina Interna 2 Cirugia 1 Total 5 Análisis de IBECS 1 Anales de Pediatria 1 Comuninicación médica 1 Peer Review 1 Anales Espanoles de Pediatria 2 Enfermedades Infecciosas 3 Indicadores bibliométricos 3 Archivos de Bronconeumologia 7 Enfermedades raras 2 Análisis terminológicos 1 Arch. de la Sociedad Espanola de Oftalmologia 1 Enfermería 3 Políticas editoriales 2 Atencion Primaria 3 Medicina Preventiva 4 Normalización 2 Cirugia Espanola 1 Microbiología 3 Ética Científica 1 Enfermedades Infecciosas y Microbiologia Clinica 1 Neurociencias 2 Cuestionarios 1 Gaceta Sanitaria 2 Obstectricia y Ginecología 3 Análisis investigador 1 Nutricion Hospitalaria 2 Otorrinolaringología 2 Sin Clasificar 3 Revista del Índice Médica Español 1 Pediatría 3 Total 20 Revista Espanola de Anestesiologia y Reanim. 3 Psicología y Psicología Social 8 Revista Espanola de Cardiologia 1 Psiquiatría 1 Revista Espanola de Enfermedades Digestivas 1 Radiología y Neuroimagen 1 Revista Espanola de Salud Publica 1 Servicios Médicos 1 Revista Iberoamericana de Micologia 1 Sida 2 Revistas de Medicina Interna de Medline 1 Tabaquismo 2 Revistas Enfermeria de Medline 1 Telemedicina 1 Revistas incluídas en el SCI 2 Total 51Revistas Médicas en general 1 Revistas Medline 3 Spanish Journal of Chemotherapy 1 Spanish Journal of Nuclear Medicine 1 Spanish Society of Microbiology 2 Totales 49

39%

39%

4%2%

16%

Revistas Científicas

Disciplinas médicas

Dominios geográficos

Impact Factor

Otras tipologías

Page 108: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

104

Independientemente del panorama presentado en la tabla 9 necesariamente en

este apartado hemos de referirnos a los estudios del Instituto de Salud Carlos III

financiados a través del Fondo de Investigaciones de Sanitarias, dirigidos inicialmente

por el actual director del Parc de Recerc Biomédica de Barcelona (PRBB), Jordi Camí

e investigadores del CINDOC. Desde inicios de los años ´90 suponen un análisis

sistemático y regular de la investigación en biomedicina en España. Los diferentes

resultados de estos proyectos difundidos en diferentes trabajos (Camí, et. al., 1993,

1997, 2003, 2004) culminaron en el denominado Mapa Bibliométrico de la

Investigación de Biomedicina y Ciencias de la Salud (MB04) recientemente actualizado

y puesto a disposición de la comunidad investigadora gratuitamente. EL MB04 utiliza

como fuentes de información el National Citation Reports (NCR) y el National Science

Indicators (NSI) del ISI. Entre los indicadores presentes para su consulta están el

Número de documentos citables (nDocs), el número de citas (NCitas), el porcentaje de

documentos no citados (NC), mediana de citas por documento (CD) y los porcentajes

de trabajos firmados en colaboración Internacional (Col. Int) y regional (Col. Reg). Otra

de las características básicas del MB04 es la disponibilidad de diversos niveles de

consulta que abarcan las comunidades autónomas, las provincias, disciplinas

temáticas (categorías JCR) y sobre todo los centros de investigación. Entre éstos

últimos aparece cualquier institución del sistema sanitario nacional con alguna

publicación en el Science Citation Index durante el período cronológico analizado.

Continuando este interés de los organismos públicos por conocer la producción en

el área de la medicina se enmarcan también los informes periódicos de la Conserjería

de Salud de la Junta de Andalucía de los que se llevan publicados hasta el momento

dos ediciones (Moya-Anegón & Solís Cabrera, 2004; Moya-Anegón, Carretero Guerra,

et al. 2006). Estas aportaciones se distancian bastante metodológicamente de la

perspectiva MB04, aunque la fuente sigue siendo el SCI la dimensión cualitativa de la

producción se ha medido, no a través de la citación, si no con diversas variaciones

Page 109: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 2.ESTADO DE LA CUESTIÓN. | La evaluación bibliométrica en ciencias de la salud

105

sobre los valores de Factor Impacto Esperado como el Factor de Impacto Ponderado o

el Factor de de Impacto Relativo. Si destacan estos informes por los profusos niveles

de normalización abarcando también las diversas instituciones andaluzas

categorizadas en ocho sectores diferentes y la variedad y calidad gráfica alcanzada,

sobre todo a la hora de representar las estructuras reticulares de colaboración.

Pese a que los estudios reseñados han sido los esfuerzos más ambiciosos otros

de menor entidad han tratado de evaluar la producción en ciencias de la salud en

España. Es el caso del análisis de la producción en Medline entre 1997-2002 en el

cual se procesaron 50.000 referencias (Rodríguez i Gairín & Somoza Fernández,

2003); la evaluación de los 53878 documentos publicados por España en Medline

(Gómez & Fernández Muñoz, 2004) en Medicina Básica, Medicina Clínica y Medicina

Social en el que se analizaronlas disciplinas y la comunidades autónomas más

productivas o, más recientemente, el ranking de las instituciones más productivas del

sector sanitario español, comprendiendo un total de 50 instituciones evaluadas a

través de seis indicadores (SCIMAGO, 2005).

Page 110: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

106

33.. MMAATTEERRIIAALL YY MMÉÉTTOODDOOSS..

»»»

Page 111: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Unidad de análisis: el área de ciencias de la salud…

107

3.1. UNIDAD DE ANÁLISIS: EL ÁREA DE CIENCIAS DE LA SALUD DE LA UNIVERSIDAD DE NAVARRA

La Universidad de Navarra fundada en 1952 por José María Escrivá de Balaguer

es una institución de carácter cristiano vinculada al Opus Dei. En la actualidad la

UNAV ha alcanzado un gran desarrollo ya que cuenta con diez Facultades, dos

Escuelas Técnicas Superiores, una Escuela de Negocios (IESE), dos Escuelas

Universitarias, una Escuela de Secretariado (ISSA) y otros centros e instituciones,

radicadas en Pamplona, San Sebastián, Madrid y Barcelona. Durante el curso 2006-

2007 trabajaban 815 profesores con dedicación completa, y están matriculados 10.153

alumnos en las 27 titulaciones oficiales y 4.667 en los más de 300 programas de

posgrado. Para su evaluación en este trabajo solo se tendrá en cuenta la parte

relacionada al área de ciencias de la salud.

Los estudios de medicina de la UNAV se iniciaron en el año 1954 cuando se creó

la Escuela de Medicina y la Escuela de Enfermeras bajo la dirección de Jiménez

Vargas, Catedrático de Fisiología de la Universidad de Barcelona, que se convertiría

en el primer decano. En estos primeros años las escuelas aparecían vinculadas a la

Universidad de Zaragoza donde los alumnos debían examinarse de sus conocimientos

ya que la UNAV, debido a los recelos del estado franquista a la creación de

universidades que no fueran de carácter de estatal, no gozaba del reconocimiento de

universidad. No será hasta el 8 se septiembre de 1962 cuando las diferentes escuelas

existentes se constituyan en universidad gracias al acuerdo alcanzado entre el Estado

y la Iglesia que le permitía a ésta la creación de sus propias universidades, situación

totalmente inédita en la España del momento. Será a partir de entonces cuando la

actividad científica y docente en el área médica se desarrolle holgadamente (Díaz &

Requena, 2002).

Page 112: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Unidad de análisis: el área de ciencias de la salud…

108

La actividad docente e investigadora de la Universidad de Navarra en el área de

ciencias de la salud está diseminada y articulada en el momento actual en torno a tres

facultades, una escuela universitaria, una clínica y dos centros de investigación:

» Facultad de Medicina. Este centro se ha caracterizado desde sus inicios por

incorporar avances en la educación médica, dando especial relevancia a la

enseñanza práctica. Entre sus logros se sitúan el haber sido la primera facultad

española en crear departamentos interfacultativos. En la actualidad cuenta con

31 departamentos divididos en básicos, un total de 8, y clínicos, un total de 23.

La docencia se reparte en una Licenciatura en Medicina, un programa de

doctorado y un Master en Bioética.

» Facultad de Farmacia. Esta facultad se puso en marcha en el año 1964.

Hasta el momento han pasado por sus aulas más de 5.000 alumnos por los

diferentes estudios de grado (Licenciatura en Farmacia, doble titulación

Farmacia-Nutrición Humana y Dietética y Diplomatura en Nutrición Humana y

Dietética) y posgrado. En éstos últimos se imparten cuatro master entre los que

destaca el Master Europeo en Nutrición y Metabolismo, además de tres

programas de doctorado. Cuenta esta facultad con 4 departamentos

facultativos y 10 interfacultativos.

» Facultad de Ciencias. Fundada en el año 1959 es la tercera en antigüedad

en España en la formación de profesionales de la biología, también tiene

carácter interfacultativo por lo que mantiene una estrecha relación con la

Facultades de Medicina y la de Farmacia. La conforman un total de seis

departamentos propios y participan otros seis interfacultativos. Se imparte la

Licenciatura en Biología, Bioquímica, Química. Como estudio de posgrado

oferta un Master en Biología Celular y Molecular y cinco programas de

doctorado diferentes.

Page 113: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Unidad de análisis: el área de ciencias de la salud…

109

» Escuela de Enfermería. La escuela en la actualidad oferta una diplomatura,

solo tiene dos departamentos Enfermería de la Persona Adulta y Enfermería

Comunitaria y Materno Infantil. Esta escuela mantiene una estrecha vinculación

con la Clínica Universitaria.

» Clínica Universitaria. La Clínica Universitaria de Navarra se puso en

funcionamiento en el año 1961 y hasta el momento goza de un alto grado de

reconocimiento. Uno de los últimos galardones recibidos ha sido el Premio de

Excelencia en Calidad de Hospitales de la Fundación Avedis Donabedian. La

Clínica cuenta con 36 departamentos y servicios médicos, 6 áreas clínicas y 8

unidades clínicas. La mayor parte de los especialistas que trabajan son

docentes en las Facultades de Medicina, Farmacia, Ciencias y la Escuela

Universitaria de Enfermería.

» Centro de Investigadores en Farmacología Aplicada (CIFA): Es una entidad

cuyo objetivo es la Investigación, desarrollo e innovación de medicamentos y

su entorno (contaminaciones químicas y microbiológicas en alimentos,

toxicología) en colaboración con la industria. Esta formada por grupos de

trabajo altamente especializados integrados por profesionales de diferentes

campos.

» Centro de Investigación Médica Aplicada (CIMA). Constituye el último gran

proyecto de la Universidad de Navarra. Para la financiación del mismo se

constituyó la Fundación para la Investigación Médica Aplicada (FIMA). El CIMA

ha seleccionado 4 áreas que se refieren al corazón, el cerebro, el cáncer y el

hígado. Estas áreas de especialización se han elegido en función de su

importancia asistencial, de su repercusión social y de la propia experiencia y

tradición investigadora en las Facultades de Medicina, Farmacia y Ciencias y la

Clínica Universitaria quedando configuradas en cuatro departamentos y dos

unidades de apoyo.

Page 114: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Unidad de análisis: el área de ciencias de la salud…

110

Los departamentos, servicios y diversas unidades de los seis centros en los cuales

se desarrolla toda la investigación en ciencias de la salud quedan integrados y

articulados en un total 44 departamentos tal y como queda reflejado en las diferentes

memorias de investigación. Estos departamentos son las unidades de análisis

seleccionadas en nuestro estudio. Asimismo, por el especial interés para los gestores

de la Universidad de Navarra, se han mantenido las cuatro áreas o departamentos y

las dos unidades de apoyo del CIMA. En la tabla se presenta finalmente todos los

departamentos considerados en nuestro estudio:

Tabla 10. Listado de departamentos de la Universidad de Navarra evaluados bibliométricamente. AREA CARDIOVASCULAR (CIMA) FARMACOLOGIA CLINICA

AREA NEUROCIENCIAS (CIMA) FISIOLOGIA Y NUTRICION

AREA ONCOLOGIA (CIMA) GENETICA

AREA TERAPIA GENICA (CIMA) GINECOLOGIA Y OBSTETRICIA

SERVICIO ANIMALARIO (CIMA) HEMATOLOGIA Y HEMATOTERAPIA

UNIDAD MORFOLOGIA E IMAGEN (CIMA) HISTOLOGIA ANATOMIA PATOLOGICA

UNIDAD PROTEOMICA , GENOMICA Y BIOINFORMATICA (CIMA) HUMANIDADES BIOMEDICAS

ALERGOLOGIA E INMUNOLOGIA CLINICA INMUNOLOGIA

ANATOMIA INVESTIGACION Y DESARROLLO DE MEDICAMENTOS

ANESTESIOLOGIA Y REANIMACION MEDICINA INTERNA

BIOLOGIA DE TUMORES CEREBRALES MEDICINA NUCLEAR

BIOQUIMICA Y BIOLOGIA MOLECULAR MEDICINA PREVENTIVA Y SALUD PUBLICA

BROMATOLOGIA, TECNOLOGIA DE LOS ALIMENTOS Y TOXICOLOGIA MICROBIOLOGIA Y PARASITOLOGIA

CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR NEFROLOGIA

CIRUGIA GENERAL Y DIGESTIVA NEUROLOGIA Y NEUROCIRUGIA

CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA OFTAMOLOGIA

CIRUGIA PLASTICA, REPARADORA Y ESTETICA ONCOLOGIA

DERMATOLOGIA OTORRINOLARINGOLOGIA Y PATOLOGIA CERVICO FACIAL

DIETETICA Y DIETOTERAPIA PEDIATRIA

DIGESTIVO PSIQUIATRIA Y PSICOLOGIA MEDICA

ENDOCRINOLOGIA Y NUTRICION QUIMICA ORGANICA Y FARMACEUTICA

ENFERMERIA COMUNITARIA Y MATERNO INFANTIL QUIMICA Y EDAFOLOGIA

ENFERMERIA DE LA PERSONA ADULTA RADIOLOGIA

FARMACIA CLINICA UROLOGIA

FARMACIA Y TECNOLOGIA FARMACEUTICA En cursiva: Departamentos del CIMA

FARMACOLOGIA Departamentos pertenecientes al CIMA

Page 115: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

111

3.2. FUENTES DE DATOS

Para la identificación de los datos relativos al entramado investigador del área de

ciencias de la salud de la UNAV se han manejado dos tipos de fuentes de información:

» Fuentes externas: bases de datos internacionales de producción científica, y, en

concreto, las bases de datos de Thomsom Scientific (antiguo Institute for Scientific

Information) y Scopus.

» Fuentes internas generadas por la propia UNAV. Es el caso de las memorias de

investigación, la base de datos GESPRO sobre proyectos y contratos de

investigación y los ficheros de personal del CIMA.

De las primeras y concretamente de las bases de datos de Thomsom Scientific se

ha extraído la producción científica de la Comunidad Foral de Navarra, y en

consecuencia de la UNAV, las referencias completas de los trabajos citantes y las

revistas del Journal Citation Reports (JCR) con sus indicadores correspondientes.

Como segunda base de datos internacional para conocer el número de citas se utilizó

Scopus de la editorial Elsevier. De las generadas por la propia universidad, todas ellas

de gran valor para propósitos bibliométricos, se ha recopilado gran parte de la

producción en revistas científicas que no son recogidas por Thomsom y otros

productos típicos de la investigación de difícil control bibliográfico como libros o

comunicaciones a congresos. Asimismo se nos han facilitado datos sobre el personal

investigador de gran utilidad para las labores de normalización. En la tabla 11

resumimos ambas fuentes que describimos más detalladamente en los siguientes

epígrafes.

.

Page 116: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

112

Tabla 11. Fuentes de información consultadas

Bases de datos internacionales multidisciplinares

Thomson - ISI Información utilizada

WOS: SCI, SSCI Producción Científica en Revistas ISI // Referencias completas de los citantes

Journal Citation Report Categorías JCR con sus revistas e indicadores (Impact Factor, Citas, etc..)

Elsevier Información utilizada

Scopus Número de citas

Fuentes de Información generadas por la UNAV

Universidad de Navarra Información utilizada

Memorias de Investigación Producción Científica en Revistas // Congresos // Tesis // Libros y capítulos// …

GESPRO Proyectos y contratos de Investigación Registros de personal Información sobre los investigadores del CIMA

» 3.2.1. Bases de datos de Thomsom Scientific

» 3.2.1.1. La Web of Science (WoS)

La Web of Science es la base de datos que agrupa los ISI Citation Indexes en una

sola plataforma de consulta. Estos índices son los conocidos Science Citation Index®,

Social Science Citation Index® y Arts and Humanties Citation Index®. Conjuntamente

ofrecen una visión multidisciplinar de la ciencia recopilando la producción de 8974

revistas científicas. El total de registros presentes superan hasta el momento los 36

millones y anualmente se incorporan 1,5 millones de registros. Además de los índices

de citas desde la WoS se ofrece acceso a otras bases de datos como el Index

Chemicus® o Current Chemical Reactions®. Actualmente es propiedad de la empresa

privada Thomson Scientific (antiguo Institute for Scientific Information fundado por

Garfield) y es distribuida en España gracias a la licencia de la Fundación Española

para la Ciencia y la Tecnología (FECYT). La FECYT ofrece la WoS desde su

plataforma Web of Knowledge como servicio público para todos los investigadores del

sistema español de ciencia y tecnología desde el 1 de enero de 2004. La WoS

Page 117: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

113

presenta una serie de ventajas que nos han llevado a seleccionarla como una de las

fuentes de información nucleares de este trabajo, igualmente también tiene una serie

de limitaciones. En los siguientes epígrafes detallamos sus aspectos positivos y

negativos.

» 3.2.1.1.1. Criterios empleados para la selección de la WoS

Entre los aspectos positivos que nos han llevado a seleccionar esta fuente de

información señalamos los siguientes:

» La población de revistas del WoS está formada por un selecto y prestigioso

número de publicaciones científicas mundiales. El WoS recoge solo 8.900

revistas científicas de las más de 100.000 que circulan por todo el mundo. En

cierta medida, abarcando menos del 10% de las publicaciones, el ISI solo

quiere cubrir la producción realmente nuclear y relevante de la ciencia a nivel

mundial. Por está razón las revistas que desean formar, o que ya forman parte

del WoS, son sometidas a unos rigurosos criterios de selección que garantizan

su calidad. Estos criterios básicamente se pueden estructurar en cuatro grupos

(Ruiz-Pérez, López-Cózar, et. al., 2006):

1.- Cumplimiento de los estándares de publicación de revistas

científicas: dentro de este apartado la WoS exige regularidad y

puntualidad en la publicación, escrupuloso respecto de las normas

internacionales de publicaciones científicas, contar con un proceso

editorial y sistema de revisión por pares bien definido y transparente.

2.- Cobertura temática: el ISI valora especialmente dentro de este

apartado la intención de la revista en aceptar y publicar trabajos de

investigación originales de corte básico y aplicado, asimismo se tiene en

Page 118: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

114

cuenta la propia historia de la revista y situación de la revista dentro de

la especialidad.

3.- Representatividad internacional: otro aspecto que el ISI considera

para la inclusión de sus revistas es su representatividad internacional a

través de la organización patrocinadora, el equipo editorial y sus

publicaciones, la procedencia de los autores que publican en las

revistas o la citación de literatura internacional. También se tiene en

cuenta dentro de este apartado la visibilidad y audiencia, estudiándose

para ello aspectos como las suscripciones o la presencia en base de

datos y catálogos de bibliotecas universitarias.

4.- Repercusión y visibilidad científica por medio del análisis de citas.

Como no podía ser de otro modo uno de los criterios con más peso son

los análisis de citación efectuados sobre las propias revistas, entre los

que cobra una especial importancia las citas internacionales recibidas y

la tasa de autocitación

» Procesamiento de las referencias que permiten crear indicadores de impacto.

La singularidad histórica que le ha dado valor a los Citation Indexes desde su

comienzo ha sido el procesamiento de las citas o referencias bibliográficas

incluidas en los trabajos científicos. Éstos permiten el posterior diseño de los

indicadores bibliométricos de visibilidad e impacto (véase 2.3.1.2.). Cada año

se incorporan más de 23 millones de referencias de más de 230 disciplinas de

la ciencia, las ciencias sociales, las artes y las humanidades.

» Buena cobertura de los datos de citación, especialmente en las áreas objeto

de nuestra evaluación. Moed (2005, p. 124-126) analizó la cobertura de los

mismos por parte de los Citation Indexes, es decir hacía donde se dirigían las

citas de las revistas ISI si hacía ellas mismas o hacía revistas fuera del ISI.

Page 119: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

115

Moed concluye que 9 de cada 10 citas emitidas por los artículos publicados en

la revistas fuente del año 2002 a trabajos del período 1980-2002 eran recibidas

por las propias revistas fuente, por lo que la pérdida de información, citación, es

escasa, al menos dentro del universo ISI. Existen además cinco áreas

científicas donde la cobertura es excelente, definida la excelencia como las

áreas donde el porcentaje de citas a revistas fuente del ISI se sitúa en torno al

80%: Biología Molecular y Bioquímica, Ciencias Biológicas, Medicina Clínica,

Física y Astronomía y Química.

» Política de indización exhaustiva de los documentos presentes en las revistas

científicas. Realiza un procesamiento de las revistas denominada cover to

cover, es decir cubriendo todos los ítems que pueden aparecer en una

publicación periódica científica, quedando éstos asignados a algunas de sus 15

tipologías documentales.

» Indización completa del campo correspondiente a las instituciones de los

autores firmantes (Adresses). La WoS indiza la afiliación institucional de todos

los autores que han firmado los trabajos. Esta información proporcionada por el

WoS es de gran utilidad a la hora de recuperar la información producida por

instituciones o por zonas geográficas. Supone una diferencia importante sobre

otras bases de datos especializadas en ciencias de la salud que no lo hace de

forma completa. Es el caso de Medline o el IME ya que sus diseños están

orientados hacía la recuperación bibliográfica (Pestaña, 1997, p. 32). La

búsqueda por afiliación en el WoS presenta también la ventaja de la división del

campo lugar de trabajo en bloques de información. Esta separación se realiza

mediante un etiquetado permite la búsqueda del lugar de trabajo mediante

diferentes ecuaciones (Adress, Organization, Suborganization, Street Adress,

Page 120: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

116

City, Province/State, Country, Zip/Postal Code) (Grupos de Bibliometría y

Cibermetría, CINDOC-CSIC, 2006).

» Los trabajos están clasificados en grandes categorías temáticas o permiten

ser asignados fácilmente a una categoría JCR. Los registros están clasificados

por disciplina científica (campo Subject) en función de su revista de publicación

(Journal based research field delineation), procedimiento que pese a recibir

algunas críticas (Lewison & Paraje, 2004, p. 145-146; Gómez, Bordons, et al.,

1996, p. 225) permiten establecer rápidamente los perfiles cognitivos del

agente evaluado frente a otros métodos más complejos. Esta situación facilita

la reproductibilidad de los trabajos y las comparaciones con otros estudios

internacionales. Otra posibilidad para clasificar temáticamente los documentos

en función de la revista es utilizar las categorías JCR. En este trabajo se ha

utilizado esta última perspectiva y al igual que en otros trabajos previos (Camí,

Gómez, et al. 1993) se conservó el grupo multidisciplinar por separado. Uno de

los principales problemas de estás técnicas de asignación disciplinar nos los

encontramos principalmente en estudios que tratan de evaluar una sola

categoría ya que, en el caso concreto de una disciplina como la biomedicina,

muchos de los artículos se publican en revistas generales como Nature o

Science y no en especializadas (Lewison, 1999, p. 530), por lo que hay que

tener en cuenta esta distribución por diferentes categorías a la hora de

recuperar toda la producción de una disciplina.

» La Comisión Nacional de Evaluación de la Actividad Investigadora valora

positivamente e incentiva la publicación en la WoS. La CNEAI es el organismo

encargado de acreditar el rendimiento científico de los investigadores de

carácter fijo de las instituciones de investigación públicas españolas. Esta

institución promueve e incluso incentiva económicamente la publicación en las

Page 121: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

117

bases del WoS desde 1989 como uno de los ejes de la política científica

española (Jiménez-Contreras, Delgado López-Cózar, et al. 2002; Jiménez-

Contreras, Moya-Anegón, et. al., 2003). Esta actuación se enmarca dentro del

sistema de recompensas de la ciencia pública española. Según Fernández

Esquinas, Pérez Yruela, et. al. (2006, p. 180) la CNEAI desde el primer

momento ha adoptado como perspectiva y concepción de la excelencia

científica la considerada como tal por los pares científicos, de ahí que sus

programas de evaluación valoren preferentemente:

“aportaciones que sean artículos en revistas de prestigio reconocido, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el Subject Category Listing del Journal Citation Reports del Science Citation Index (SCI), del Social Sciences Citation Index (SSCI) y del Arts and Humanities Citation (AHCI), Institute for Scientific Information (ISI), Philadelphia, PA, EUA.” (Delgado López-Cózar, 2006, p. 169).

La CNEAI nos es la única agencia que utiliza este criterio en sus evaluaciones.

La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) para

valorar la experiencia investigadora del profesorado prima las publicaciones

científicas internacionales, entendiendo como tales los trabajos publicados en

revistas con índice de impacto (Fernández Esquinas, Pérez Yruela, et. al., 2006,

p. 175).

Para Delgado López-Cózar (2006, p. 168) precisamente este riguroso filtro es

el que dota de exclusividad a estas bases de datos y otorga reputación a

aquellas revistas que logran franquearlo.

Page 122: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

118

» 3.2.1.1.2. Sesgos y limitaciones de la WoS

El WoS también presenta una serie de sesgos y limitaciones bien reseñadas en

diversos trabajos (Smith, 2002; Bordons & Zulueta, 1999; Camí, 1999) que pueden

afectar a determinados estudios bibliométricos y que es conveniente reseñar:

» Sesgo lingüístico y geográfico hacía los países del ámbito anglosajón

encabezado por Estados Unidos y el Reino Unido en perjuicio de los países de

la denominada periferia científica. La razón se encontraría en el interés del ISI

por representar la Main Stream Science (Bordons & Zulueta, 1999, p. 793) que

se desarrolla en los estados occidentales de habla inglesa. En el caso concreto

de la medicina un estudio de Braun & Glänzel, et al. (2000, p. 265) demuestra

que los Estados Unidos aglutinan casi el 45% de las revistas seguido de cerca

por el Reino Unido con más del 20%. Además del dominio de las publicaciones

anglosajonas las revistas de otras lenguas se suelen encontrar con el problema

añadido de los títulos paralelos que suelen generar errores en los conteos del

número de citas (Ren & Zu, 2002, p. 732).

» Sesgo temático y/o disciplinar donde se favorecen las disciplinas básicas con

una mayor y mejor representación de su universo documental frente a las

ciencias humanas y sociales. Para las ciencias de la salud su cobertura es

bastante exhaustiva en relación a la base de datos especializada Medline. La

WoS en medicina básica recoge el 94% de los documentos indizados en

Medline, mientras que en medicina clínica ese porcentaje se reduce a un 60%

(Pestaña, 1997, p. 34). Existen además algunas disciplinas concretas con un

gran peso como son el caso de las neurociencias y la biología celular

(Jiménez-Contreras, 2004, p. 30). Podemos decir que la medicina se ve

afectada positivamente frente a otros campos del conocimiento. Sin embargo

Page 123: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

119

en el estudio de Braun (Braun, Glänzel, et al. 2000, p. 277), donde se compara

la cobertura del SCI-JCR con la conocida base de datos Ulrich´s, que cuenta

con más de 220000 títulos de revistas, se concluye que el peso que se le

atribuye a la medicina en el SCI no sería tan relevante. Este problema de la

representatividad temática se suele producir cuando se utiliza el SCI y el SSCI

como única fuente de información, sobre todo en estudios de nivel macro y

multidisciplinares donde las representaciones suelen estar bastante

desquilibradas en detrimento de las ciencias sociales y humanas.

» Concentración editorial en ciertos campos como la medicina y biología donde

existe un dominio de Elsevier que parece estar sobrerepresentado ya que este

conglomerado editorial aglutina más del 10% del total de las revistas. Kluwer,

Springer, Blackwell o Academic Press aparecen también en lugares

destacados. Esta situación no se produce en Ulrich´s donde la distribución es

mucho más equilibrada (Braun, Glänzel, et al. 2000, p. 270-271).

» Indización deficiente de los autores firmantes que dan lugar a problemas de

homonimia o bien errores tipográficos que dificultan la recuperación de la

información y lo convierte en un proceso difícil (Moed, 2005, p. 181-182).

Debemos añadir que en el caso particular de los autores españoles este

problema es mayor ya que la WoS impone las estructuras de los nombres

anglosajones, a todas luces inapropiadas para los investigadores españoles,

frente a otras bases de datos como Medline y el IME que si parecen respetar

las convenciones españolas. (Ruiz-Pérez, Delgado López-Cózar, et al. 2002, p.

420).

» Problemas relativos al campo afiliación (figura 3): El número de artículos

(considerando articles, reviews, notes y letters) sin afiliación en el SCI es del

Page 124: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

120

2,4%, este valor se eleva si tomamos todas las tipologías documentales

importantes (editorials, meetings abtracts y book reviews) alcanzado el 4%. La

cifra aumenta al 19% si hablamos del SSCI y 56% para el A&HCI (Moed, 2005,

p. 186). Al igual que ocurría con los autores tampoco existe una forma

homogénea de procesar las instituciones por lo que éstas pueden aparecer

bajo múltiples variantes que dificultan la recuperación de información y su

normalización. Un ejemplo claro de la gran heterogeneidad existente lo

encontramos en los Science Indicators estadounidenses que para sus informes

de los años ´90 tuvieron que crear un gran tesauro con 600.000 entradas para

3.500 instituciones (Narin, 1996, p. 302).Otros problemas derivados de la

utilización del lugar de trabajo en WoS apuntados por los Grupos de

Bibliometría y Cibermetría CINDOC-CSIC (2006) son los siguientes: no

correspondencia de autor y lugar de trabajo, indización en diversos idiomas,

falta de consistencia en acrónimos y nombres completos de centros o errores

de interpretación del WoS cuando firma más de un centro. Todos estos

problemas no son exclusivos del ISI y se producen igualmente en otras bases

de datos como Medline (Rodríguez i Gairín & Somoza Fernández, 2003).

Figura 3. Ejemplo de un carta publicada por un investigador de la Universidad de Navarra en JAMA sin el campo afiliación.

Page 125: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

121

» 3.2.1.2. El Journal Citation Report

El Journal Citation Reports es la base de datos del ISI donde se ofrecen los

indicadores de impacto de las revistas científicas y su aparición se remonta al año

1975. Aunque son varios los indicadores que se ofrecen por revista científica, como el

número de citas o el Inmediacy Index, el principal indicador es el conocido Impact

Factor (Véase 2.3.1.2.1). Su población de revistas contaba en el año 2004 con 7379

revistas fuentes, 5968 el SCI y 1712 el SSCI con un solapamiento de 301 revistas

entre las dos bases de datos (Leydesdorff, 2005b). Cada una de una de estas revistas

suele estar asignada a una o más categorías alcanzando un máximo de seis, este

efecto se produce principalmente por la multidisciplinariedad existente en las ciencias.

En el ámbito de la medicina clínica (1461 revistas) un 41% estaba asignada a más de

una categoría mientras que para la biomedicina (1233 revistas) el mismo indicador es

del 56%, siendo ésta el área científica con mayor número de revistas multi-asignadas.

(Bordons, Morillo, et al. 2004, p. 448). Temáticamente si agrupamos las revistas que

se pueden consultar en el JCR bajo los diez grandes campos del saber

observaremos que el número de revistas dedicadas a la medicina clínica y a la

biomedicina suponen el 35% (gráfica 2).

Gráfica 2. Revistas JCR agrupadas por grandes campos del conocimiento

Campo de conocimiento % Revistas

Medicina Clínica y Biomedicina 35,10% Ingeniería, Tecnología 18,20% Ciencias Sociales 17,00% Agricultura, Biología y Medio Ambiente 12,00% Física 7,00% Química 4,50% Matemáticas 4,20% Multidisciplinar 0,80% Humanidades 0,60%

Total 100%

Medicina Clínica y Biomedicina

Ingeniería, Tecnología

Ciencias Sociales

Agricultura, Biología y Medio

Ambiente

Física

Química

MultidisciplinarMatemáticas Humanidades

Page 126: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

122

» 3.2.2. Scopus

Como segunda base de datos internacional para la búsqueda exclusiva del

número de citas se ha manejado el nuevo multibuscador lanzado al mercado por

Elsevier en el año 2004: Scopus. Esta plataforma se ha erigido en la gran competidora

de la Web of Knowkledge al ofrecer por primera vez una alternativa seria, internacional

y multidisciplinar a la búsqueda de las citas recibidas y emitidas por los trabajos

científicos, aunque por el momento no es usada sistemáticamente en los estudios

bibliométricos. Bosman, Mourik, et. al. (2006, p. 62-63) ofrecen una bibliografía

recopilando los 19 trabajos publicados sobre Scopus hasta finales de 2006, en

ninguno de ellos esta nueva base de datos es empleada directamente como

herramienta de evaluación científica. La mayor parte de los mismos versan sobre

comparaciones con el WoS centradas en su cobertura en diferentes niveles (artículos,

revistas, referencias) o bien presentando algunas de sus características más

destacadas de cara al usuario final. Solo un artículo de reciente publicación compara

rankings de citación entre Scopus y WoS a través de trabajos muy citados de 22

científicos israelíes en diferentes campos del conocimiento (Bar-Ilan, Levene, et al.,

2007). El estudio a través de diferentes medidas utilizadas para comparar los

resultados producidos por diversos motores de búsqueda concluye que los rankings

producidos por ambas bases de datos son significativamente parecidos y presentan

gran concordancia, sin embargo, la muestra del estudio, no es lo suficiente significativa.

Por ellos hemos querido valorar las posibilidades de Scopus en la recuperación de

citas y observar sus peculiaridades frente a la WoS a la hora de evaluar una institución

y sus departamentos en el campo de ciencias de la salud.

La cobertura de Scopus abarca 15.000 revistas repartidas entre 4000 editoriales

comerciales. El total de registros que suma es de 27 millones desde el año 1966

siendo un 90% descripciones de artículos revistas científicas. Los datos sobre las

Page 127: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

123

referencias, es decir los trabajos citados, abarcan un total de 265 millones de citas

procesadas (Codina, 2005, p. 46).

En cuanto a su distribución temática está claramente orientada hacía la medicina y

las ciencias de la vida (Health & Life Sciences) que abarcan el 60% de los registros ya

que Scopus no tiene revistas de arte ni humanidades (Jacso, 2005, p. 1540). Este

sesgo temático es intencionado ya que la propia editorial Elsevier ha querido darle a

su producto una orientación “STM” (Science, Technology, Medicine) es decir dirigida a

la ciencia, la tecnología y la medicina. En la gráfica 3 podemos observar como se

distribuyen temáticamente los títulos de las revistas de Scopus, la medicina abarca el

segundo lugar con 5300 títulos entre los que se incluyen el 100% de los presentes en

Medline. En cuanto al origen geográfico el 37% de sus revistas son norteamericanas.

Gráfica 3. Distribución de las revistas Scopus en grandes campos del conocimiento

Campo de conocimiento Nº títulos % Revistas

Ciencias de la Vida 3400 20 Ciencias de la Salud 5300 31 Ciencias Físicas 5500 32 Ciencias Sociales 2800 16

Ciencias de la Vida

Ciencias de la Salud

Ciencias Físicas

Ciencias Sociales

Page 128: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

124

Otro aspecto importante de Scopus es la indización del campo de afiliación al igual

que la WoS. Sin embargo en la actualidad presenta algunas limitaciones ya que solo

aparece parcialmente para los registros publicados después del año 1996 y solo a

partir del año 2003 se indizan todas las direcciones y registros.

» 3.2.3. Las Memorias de Investigación de la Universidad de Navarra

Hemos de decir que el uso de las memorias de investigación no es demasiado

frecuente en ciencimetría aunque si contamos con algunos ejemplos como las

evaluaciones realizadas en la Universidad de Alcalá de Henares (Campanario, 1998) y

en la Escuela Politécnica de la Universidad Carlos III (Moros & Bordons, 2003), para

los autores de este último trabajo la utilización de

“las memorias proporciona una información que supera las posibilidades de los estudios bibliométricos realizados sobre una sola fuente de datos como es el ISI” (pag, 160).

En nuestro estudio con el uso de esta fuente de información se persiguen dos

objetivos bien definidos:

» Completar la producción científica de los diferentes agentes a través de

productos de investigación tan clásicos como las tesis, comunicaciones a

congresos, libros y trabajos en revistas científicas no ISI. Todos ellos suelen

ser ignorados en los estudios bibliométricos a pesar de ampliar el panorama de

los resultados científicos obteniéndose análisis más certeros y equilibrados

» Incluir aquellos trabajos aparecidos en revistas internacionales indizadas por

el ISI que no fueron rescatados en la búsqueda realizada sobre esta base de

datos. Esta situación se puede producir principalmente, bien porque el registro

Page 129: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

125

esté mal indizado, el ISI no ha incluido la institución en el registro (figura 3 ) o

bien porque un investigador de la universidad ha publicado con el nombre de

otra institución. En un estudio preeliminar (Torres Salinas, Jiménez-Contreras,

et. al., 2005) se evaluó los dos últimos escenarios teniendo en cuenta 1941

trabajos publicados entre 1999-2003 por el área de ciencias de la salud de la

Universidad de Navarra en el ISI. A través del mismo se pudo observar que en

el 13% de los mismos los autores no firmaban con la institución adecuada,

UNAV, y en el 1% el ISI no incluía el campo Adress. Estos artículos suponían

para la UNAV un total de 1542 citas sobre 11052.

La institución responsable de la elaboración de las memorias de la UNAV es el

Instituto Científico y Tecnológico de Navarra (ICT). Para este estudio se han

consultado los volúmenes y los ficheros correspondientes a los cursos 1998-1999,

1999-2000, 2000-2001, 2001-2002 y 2002-2003, 2003-2004 y 2004-2005. En el caso

de los dos primeros cursos se procesaron las ediciones impresas y para los últimos

cursos el mismo ICT nos facilitó la información tabulada en un fichero .xls. Las

memorias de la UNAV se estructuran en cinco grandes áreas científicas (Ciencias

Experimentales, Ciencias Médicas, Ciencias Sociales, Humanidades e Ingeniería y

Tecnología) donde quedan agrupados un total de 93 departamentos. En la tabla 12 se

muestra la información que ofrecen las memorias para cada una de las tipologías

documentales, todas ellas han sido procesadas a excepción de los proyectos de

investigación que se han obtenido de otra fuente.

Page 130: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

126

Tabla 12. Tipologías documentales presentes en las memorias y campos consignados

Procesada? Tipología Información ofrecida en las memorias

Sí Personal Doctores y Licenciados

No Proyectos de investigación --------------------------------------------------------------

Sí Libros, Autores. Título. Lugar: Editorial, Año

Sí Capítulos de libros y Obras Colectivas Autores. Título. Título Obra. Lugar: Editorial, Año. páginas

Sí Artículos en revistas científicas Autores. Título. Revista. Año. Volumen, Número, páginas

Sí Aportaciones a Congresos Autores. Título. Congreso. País. Año.

Sí Tesis doctorales Autor. Título. Director

Sí Otros méritos Premios, Pertenencia a Sociedades y Comités Científicos, etc..

» 3.2.5. GESPRO

Se trata de una base de datos gestionada por el ICT donde se recoge la

información sobre proyectos de investigación, contratos de investigación y ensayos

clínicos de la UNAV. Los registros nos fueron entregados en un fichero .xls que

incluía los años 1999-2005, cada uno de los registros cuenta con un total de 11

campos diferentes. En la tabla 13 se específica los campos presentes en esta base de

datos siendo todos procesados para obtener los diferentes indicadores.

Tabla 13. Campos exportados desde GESPRO

Campo Valores

Denominación del proyecto ------------------------------------------------------------

Ámbito Internacional / Nacional / Europeo / Regional / Interno

Referencia oficial ------------------------------------------------------------

Organismo ------------------------------------------------------------

Convocatoria ------------------------------------------------------------

Investigador Principal ------------------------------------------------------------

Fecha Inicio ------------------------------------------------------------

Fecha Fin ------------------------------------------------------------

Euros ------------------------------------------------------------

Miembros ------------------------------------------------------------

Tipología Proyectos / Fundaciones / Contratos y Ensayos Clínicos

Page 131: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Fuentes de datos

127

» 3.2.6. Personal

Aparte de los datos sobre investigadores presentes en las memorias de

investigación también fueron utilizados los datos sobre los investigadores activos en

el Centro de Investigación Médica Aplicada que fueron facilitados por la administración

del propio centro en fichero xls, se especifica en la tabla 14 los campos empleados de

este fichero.

Tabla 14. Campos exportados para los investigadores del CIMA

Campo

Nombre

Apellidos

Puesto

Área

Línea CIMA

Laboratorio CIMA

Tipología

Page 132: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

128

» 3.3. DISEÑO DE UN SISTEMA DE INFORMACIÓN PARA LA EVALUACIÓN DE LA CIENCIA.

» 3.3.1. Desarrollo de la aplicación UNAV_CIENTIFICA

Para el desarrollo de la aplicación automatizada destinada a generar un sistema

de información y evaluación científica de la UNAV (UNAV_CIENTIFICA) y sus

diferentes niveles de agregación hemos seguido el Ciclo Vital de Desarrollos de

Sistemas (Taylor & Andersen, 2004, p. 48-75) que permite dividir los esfuerzos del

proceso en siete fases diferentes que se ejecutan de manera consecutiva (figura 4).

Figura 4. Ciclo vital de Desarrollos de Sistemas

Page 133: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

129

» 3.3.1.1. Fase 1 y 2: Definición y Requerimientos

En estas primeras fases hay que tratar de entender las necesidades de

información del usuario final de la aplicación y cual es la idea que tiene de la misma.

Para ello nos entrevistamos formalmente con los gestores del Centro de Investigación

Médica Aplicada de la Universidad de Navarra mostrándoles una aplicación piloto que

sirvió como punto de referencia e inicio, marcándonos hasta qué punto se adaptaba a

su idea. Tras estos primeros contactos se acordó crear un sistema que permitiera

básicamente consultar la producción científica de los investigadores, departamentos y

Categorías JCR y que ofreciera un conjunto de indicadores bibliométricos que se

visualizaran a través de tablas y gráficos y que además pudieran imprimirse y

exportarse a otras aplicaciones comunes. En este momento, además, se definió el

tiempo y los recursos humanos de los que se disponía para la consecución del

proyecto. A continuación en la fase de requerimientos delimitamos con precisión qué

debía hacer el sistema y cual sería su funcionamiento para satisfacer a los gestores.

Así se especificaron los niveles de agregación a través de los cuales el sistema podía

ser interrogado, los indicadores bibliométricos que más se adaptaban a sus procesos

evaluativos y de promoción del personal investigador, la información que debía ser

cargada en el sistema y como se iba a obtener. Fue necesario comprender el modelo

que pretendían los gestores a fin de llegar a un consenso

» 3.3.1.2. Fase 3: Evaluación

Durante esta etapa llevamos a cabo la selección de las herramientas de desarrollo

adecuadas para llegar a los objetivos definidos en las fases anteriores basándonos

principalmente en el presupuesto, el tiempo y los conocimientos disponibles.

Considerando estas variables para la creación de _CIENTIFICA optamos por Access

2003 parte de Microsoft Office Professional Edition 2003 de Microsoft Corporation©.

Page 134: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

130

Access presenta una serie de características que se ajustaban a nuestras necesidades

y que enumeramos a continuación:

» Sigue el modelo relacional de base datos que creó Codd en 1970 en la

compañía IBM. Los datos se almacenan en tablas que se unen entre sí a través

de un campo de la misma, son las denominadas relaciones que pueden ser de

tres tipos: de Uno a Varios, de Uno a Uno o de Varios a Varios. Las tablas

representan objetos físicos como puede ser el caso de un artículo científico,

cada uno de estos objetos tiene su propio registro y un campo que lo identifica

exclusivamente denominado clave principal. Este modelo se adaptaba a los

datos que se iban a ingresar en el sistema y no suponía ningún tipo de

limitación para los mismos (figura 5).

Figura 5. EL modelo relacional de Access.

Tabla y campos Diagrama relacional

» Permite la creación de consultas complejas a través de la ventana diseño de

la consulta mediante el lenguaje de interrogación Structure Query Languague

(SQL). Los indicadores bibliométricos suelen ser combinación de diferentes

variables y para generarlos automatizadamente es necesario estar seguro que

una determinada consulta puede ejecutarse para devolvernos el valor que

Page 135: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

131

nosotros deseamos, con el asistente para consultas y el editor SQL

prácticamente no existe limitaciones al respecto (figura 6).

Figura 6. Creación de consultas en Access

Asistente de consultas Editor de SQL

» Creación de interfaces mediante formularios por los que se puede interrogar

la base de datos de forma amigable. Estos formularios se construyen con una

serie de elementos individuales denominados controles u objetos de control a

partir de los cuales se realizan determinadas acciones que posibilitan la

interacción con el sistema. Los formularios se pueden configurar además en

modo de gráfico dinámico desde la versión Access2002 por lo que se nos

ofrece una nueva herramientas bastante intuitiva y clara para visualizar la

información. Con esta opción podemos generar un total de 12 gráficos

diferentes y sus correspondientes variantes sin necesidad de recurrir a otras

aplicaciones (figura 7).

Figura 7. Formularios para la creación de interfaces

Formularios de navegación Galería gráfica de los formularios

Page 136: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

132

» Generación de informes. Access combina los anteriores elementos (tablas,

consultas, formularios) para generar informes en pantalla que se pueden imprimir

con facilidad y con capacidad para contener una gran cantidad de información

estructurada en gráficos, tablas de totales o conjuntos de registros agrupados.

Estos informes están optimizados para su impresión y suelen estar compuestos de

diferentes páginas. Esta herramienta se ha convertido en una de las señas de

identidad de Access ya que pocas son las aplicaciones que tienen implementada

esta opción de forma tan versátil (figura 8).

Figura 8. Generación de informes para imprimir.

menú para generar informes Informe para imprimir

» Access incorpora un editor de Visual Basic for Aplications (VBA) para

automatizar la aplicación. VBA es una versión especial del lenguaje

programación Visual Basic y viene integrada en la mayor parte de los productos

de Microsoft. La programación en VBA esta orientada a objetos y gobernada

por eventos, por lo que las órdenes no se ejecutan hasta que no se produce un

determinado evento, lo que significa que si hacemos click sobre un objeto de

un formulario (por ejemplo un botón de comando) se ejecutan líneas o bloques

de código individuales. El código generado para los diferentes objetos y

Page 137: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

133

eventos se almacena en los módulos que pueden ser de cuatro tipos: módulos

de Access, de Formulario, de Informe y de Clase (figura 9)

Figura 9. Editor de Visual Basic

» Capacidades para ampliar y mejorar el sistema en el futuro con opciones

como la posibilidad de migrar la aplicación a Microsoft SQL Server y adaptarla

a la arquitectura cliente-servidor. Asimismo la estabilidad de Microsoft garantiza

que Access se seguirá distribuyendo, mejorando y actualizando a largo plazo

por lo que se incorporarán nuevas características que pueden ser útiles al

sistema.

» 3.3.1.3. Fase 4: Diseño

Una vez marcados los objetivos y seleccionada la aplicación para el desarrollo

comenzamos el diseño que consta de dos etapas: diseño de la base de datos y diseño

de la aplicación. En el diseño de la base de datos se decidieron las tablas donde se

iban a almacenar los datos, las relaciones mantenidas entre las mismas y la definición

Editor de VBA Código generado

Page 138: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

134

de sus campos y formato. En la figura 10 se resume la estructura de las base de

datos con todas sus tablas. En total se crearon 24 tablas capaces de recoger todos los

datos necesarios. Las principales son:

• Tablas que resumen la estructura de la UNAV: tblInvestigador, tblPersonal,

tblSeccion y tblArea

• Tablas que recogen la producción científica y la financiación: tblProdrevistas y

tblNoconvencional, tblProyectos, tblRevistasCientíficas

• Tablas que recogen las revistas del JCR y sus diferentesindicadores y

clasificaciones: tblCitationreports, tblCategoriasISI, tblDisciplinas

• Tablas que recogen los datos sobre citación: tblCitantes, tblPaiscitante,

tblCitasScopus

• Tablas que recogen los datos sobre instituciones colaboradoras:

tblInsColabora

• Tablas intermedias: tblEnlProdrevistasInvesti, tblEnlProyectosInvestiga,

tblEnlNoconvencionalInve, tblEnlProdrevInscolabora, etc…

Figura 10. Diagrama de relaciones entre tablas de la base de datos.

Page 139: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

135

Una vez establecido la estructura relacional se diseñó la aplicación de base de

datos que permite una gestión adecuada de los datos para su entrada correcta y

recuperar y mostrar información a través del interfaz del usuario. Es la parte del

sistema que convierte las preguntas del usuario a una forma que el motor de la base

de datos puede comprender (Figura 11). Se estableció un flujo de control, el paso de

una función a otra, lo más razonado posible por lo que basamos el sistema en dos

módulos: Administración y Consulta. A su vez este último contenía una serie de áreas

que se corresponden con los distintos niveles de agregación. Los objetos de formulario

más utilizados para navegar por módulos y áreas han sido los cuadros combinados y

las barras de menú.

Figura 11. Función de la aplicación de base de datos

» 3.3.1.4. Fase 5: Implementación

Es el momento real de la construcción del sistema y siguiendo lo establecido en la

fase de diseño lo primero fue la creación de las tablas con sus relaciones y campos.

Posteriormente se pasó a la implementación de la aplicación de base de datos

comenzándose con el módulo de administración que es independiente del módulo

consulta. Una vez creado el primero se podían realizar simultáneamente la tarea de

carga e implementación gracias a la opción de Access que genera réplicas

Page 140: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

136

sincronizables. El diseño de este tipo de aplicaciones de base de datos se basa en la

creación de un formulario que funciona como contenedor de la información que se

desea mostrar al usuario. Estos formularios se cimentan en una combinación de

consultas que extrae los datos a mostrar, un conjunto de objetos que sirven para

interaccionar con el usuario y líneas de código que se ejecutan al interaccionar con el

objeto. El ejemplo de la figura 12 ilustra este proceso, en este caso se desea crear un

formulario que ordene los departamentos por indicador, para ello en la vista de diseño

colocamos los objetos necesarios como cuadros de texto que muestren los datos

(nombre del departamento, indicador, etc...) y los botones que al ser pulsados ordene

por el indicador deseado. Estos botones llevan asociados líneas de código VBA que

están almacenadas en un módulo del editor VBA de manera que al pulsarlos se

ejecuta una orden. En este caso el código genera una consulta SQL que busca los

departamentos y genera el indicador seleccionado ordenando el resultado de mayor a

menor. Para diseñar los informes se siguió una metodología idéntica a la descrita para

los formularios.

La mayor parte de estos dos componentes llevan asociadas líneas de código en

VBA y en ningún caso se han utilizado macros, ya que su uso no está recomendado

para aplicaciones avanzadas. Una vez terminados todos los procesos necesarios para

la implementación del diseño se compiló todo la base de datos, por este proceso el

código VBA se convierte a código p.La compilación permite incrementar el rendimiento

general del sistema en velocidad y memoria por lo que optimiza bastante su

funcionamiento.

Page 141: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

137

Figura 12. Diseño de un formulario con Microsoft Access

Formulario que ordena los departamentos por indicadores en la vista diseño

Código asociado a la botones de comando. Al hacer clic en algunos de ellos se ejecuta el código

Vista final del formulario por parte del usuario

Page 142: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Diseño de un sistema de información…

138

» 3.3.1.5. Fase 6: Pruebas

La fase de pruebas permite testar la aplicación para la búsqueda exhaustiva de

errores y problemas, sobre todo en eventos que llevan asociadas código erróneo y que

no han sido identificados. Para ello la aplicación fue probada por dos investigadores

doctores de la Facultad de Biblioteconomía de la Universidad de Granada. Una vez

revisada y tratados los errores el sistema fue entregado a los gestores del CIMA que la

probaron durante los meses de junio-julio de 2006, durante este tiempo se nos

comunicaron las diferentes deficiencias que fueron encontrando como problemas de

navegación, información errónea, posibilidad de incorporar nuevas características, etc..

A raíz de esta retroalimentación se hicieron las modificaciones oportunas

terminándose la versión definitiva del sistema el 31 de agosto de 2006 que es la

presentada en este trabajo.

» 3.3.1.6. Fase 7: Mantenimiento

Al tratarse de una aplicación abierta en el futuro se realizarán las actualizaciones

pertinentes de los datos, las correcciones de errores de codificación latentes y las

mejoras que sean solicitadas por parte de la Universidad de Navarra.

Page 143: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

139

» 3.4. BÚSQUEDA, PROCESAMIENTO Y CARGA DE LOS DATOS

» 3.4.1. Fases principales en el tratamiento de los datos

El tratamiento de los datos se realizó en dos etapas bien diferenciadas. En la

primera se han tomado los datos en sus formatos originales desde las diferentes

fuentes de información; a partir de ellas se generó un fichero .xls que contenía en cada

una de sus hojas las distintas tablas con la información vertebral de la base de datos

(investigadores, producción científica, financiación y citas). En una segunda fase este

fichero .xls se importó desde _CIENTIFICA y se normalizaron los registros a la vez

que se enlazaron con sus investigadores correspondientes haciendo uso para ello del

Módulo de Administración de la aplicación. En la figura 13 resumimos este proceso:

Figura 13. Proceso de carga y tratamiento de los datos desde las fuentes originales

Page 144: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

140

» 3.4.2. Creación de ficheros intermedios en formato Excel

» 3.4.2.1. Descarga de datos de bases Internacionales

» Producción Científica WoS: La ecuación de búsqueda diseñada para la

descarga de la producción científica indizada en el WoS (SCI, SSCI) fue la

siguiente:

Adress = (pamplon* or navar* or iruna) AND (Spain)

Doctype = All documents types

Languages = All languagues

Databases = SCI-EXPANDED, SSCI

Timespan = 1999-2005

Con esta ecuación pretendíamos, por un lado, recopilar toda la producción de

la Comunidad Foral de Navarra con fin el de obtener el marco comparativo, y

por otro, garantizarnos la descarga completa de la producción de los científicos

de la UNAV. Superamos, de esta forma, las limitaciones del campo Adress del

WOS que nos hubiera obligado a crear una ecuación más compleja. Al tratarse

de una comunidad autónoma uniprovincial la descarga de toda su producción

científica y posterior localización de todos los trabajos firmados por la UNAV

suponía un menor esfuerzo y unos resultados con mayores garantías. El

conjunto de registros localizados una vez descargados en .txt se exportaron al

gestor de referencias bibliográficas Procite 5.0.3.©, desde aquí se extrajo el

subconjunto de la Universidad de Navarra y se enviaron las referencias a .xls.

» Journal Citation Reports: Para la generación de los indicadores basados en el

Impact Factor y para la clasificación de la producción WoS por categorías

Page 145: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

141

científicas se utilizó el JCR. En total para cada uno de los años comprendidos

entre 1999-2005 se descargaron un total de 103 categorías diferentes que

fueron introducidas en el fichero .xls con todas sus revistas e indicadores (Nº

de trabajos, Impact Factor, Nº de Citas e Inmediacy Index).

» Búsqueda de las citas: la búsqueda de las citas recibidas por la UNAV se ha

lanzado solo y exclusivamente para la producción cubierta por el WoS. La

recuperación de las citas se ha basado en la localización individual y manual de

los trabajos de la UNAV en la WOS a través de palabras clave del título. Una

vez identificados se activó el enlace del campo número de citas donde se

despliegan las referencias completas de los trabajos citantes. Éstas se

descargaron en .txt y se ingresaron en Procite 5.0.3.©. Al llevarse a cabo

evaluaciones precisas de investigadores se ha descartado la búsqueda y el

procesamiento automático de las citas, proceso siempre sujeto a errores (Moed,

1996, p. 182). Las citas fueron tratadas en el campo Adress para determinar

que países e instituciones firmaban el trabajo y para detectar las autocitas

domésticas. En el caso de la recopilación de citas de Scopus el proceso fue

idéntico pero tomando solo el número de citas bruto obtenido y no se han

utilizado las referencias completas de los citantes. Una vez finalizado el

proceso la información volvió a volcarse a .xls. La decisión de descargar las

citas de documentos WoS se tomó en función de los resultados obtenidos en

diferentes trabajos científicos. Según Vaan Leeuwen (Vaan Leeuwen, 2004, p.

382) debido a las propias características de la WoS esta es perfecta para

conocer la citación de la literatura con mayor difusión internacional, sin

embargo no lo es tanto para otro tipo de resultados científicos ni para literaturas

nacionales ya que las revistas que no pertenecen a las revistas del JCR

obtienen un número de citas poco significativo. Así Campanario (Campanario,

1998, p. 409) para la Universidad de Alcalá de Henares observa que los

Page 146: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

142

trabajos del SCI alcanzan una media de citas, sin contabilizar autocitas, de

2,12 mientras que para los publicados en otras revistas obtiene 0,10 citas por

trabajo. También Bourke y Butler demostraron que los artículos citados cuando

no pertenecen al ISI obtienen como mínimo un número de citas tres veces

menor (Bourke y Butler, 1996). A través de su estudio estos autores concluyen

que en el caso de las Ciencias Exactas y de la Vida, si el período de tiempo y la

producción son representativas, los promedios de citas de los ítems fuente del

ISI son un sustituto aceptable de los promedios de citas que se pueden

alcanzar si tomamos todas las tipologías documentales posibles, incluso si son

utilizados a nivel departamental (Bourke y Butler, 1996, p. 493)

» 3.4.2.2. Fuentes de información de la UNAV

En el caso de las fuentes de información de la Universidad de Navarra los tres

bloques solicitados (memorias, personal y financiación) nos fueron facilitados

directamente en formato .xls. El único tratamiento al que fueron sometidos fue la

adecuación y la reubicación de las diferentes tipologías documentales y sus campos

para que coincidieran a los definidos en las tablas de _CIENTIFICA.

» 3.4.3. Asignación y normalización con el módulo administración

Una vez creado el fichero .xls éste se importó a la aplicación. En total la

producción y la actividad científica quedaron clasificadas en 21 categorías diferentes

que se almacenan en tres tablas distintas y se gestionan con formularios diferentes

(tabla 15). Dependiendo del resultado o la actividad se realizaron diferentes

asignaciones que tienen consecuencias sobre los conteos finales. Así se asignó la

autoría de los trabajos tan solo al primer autor en los siguientes casos: Aportación a

Page 147: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

143

Congreso de cualquier tipo, Libros, Capítulos de Libros y Obras Colectivas. Para el

resto de tipologías se asignaron los trabajos a todos los autores firmantes (recuento

total), entre éstas las principales son: cualquier tipo de comunicación en revistas

científicas, responsabilidad o participación en proyectos de investigación y dirección o

codirección de tesis doctorales. Para trabajar sistemáticamente con la asignación

autor-item y la normalización de los diferentes campos de las tablas desarrollamos ad

hoc un módulo de Administración en la aplicación, este módulo tiene tres áreas:

Gestión Producción en Revistas Científicas, Gestión Producción No Convencional y

otras Actividades Científicas, Gestión de la Financiación. Asimismo existe una zona de

altas y bajas donde se van añadiendo las revistas científicas, las instituciones

colaboradoras y el nuevo personal. El proceso de asignación-normalización es similar

para las tres áreas y consiste en el recorrido de la colección de registros, durante el

Tabla 15.Clasificación en _CIENTÍFICA de la producción y la actividad Científica en tres tablas

Tabla 1. Producción en revistas científicas

Artículo ISI Artículos NO ISI

Tabla 2. Otras actividades científicas

Cargos en Congresos y Seminarios Cargos Institucionales Pertenencia a Comités Editoriales Aportaciones a congresos Cursos Direcciones de tesis Estancias e intercambios Evaluador externo Evaluador revistas Libros y Monografías Aportaciones a Obras Colectivas y Capítulos de Libros Patentes Premios en Congresos Premios Generales Premios por Investigaciones Publicaciones Electrónicas

Tabla 3. Financiación

Proyectos de Investigación Fundaciones Contratos y Ensayos Clínicos

Page 148: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

144

mismo éstos van siendo tratados de manera individualizada ya que son cargados en

un nuevo formulario desde el cual se editan y se normalizan. (figura 14). Para la

producción en revistas científicas estandarizamos los ISSN a través de los cuales los

registros quedan asociados a un listado de revistas científicas, a su categoría JCR

anual y a sus indicadores asociados (figura 15). Para asignar los autores éstos se

identifican a través de una nueva ventana emergente donde se buscan a través de su

firma en los trabajos, su nombre normalizado o por la navegación a través de los

diferentes departamentos (figura 16). En el caso de las instituciones colaboradoras

éstas se van creando conforme aparecen generándose un listado institucional con

diferentes campos (denominaciones ISI, denominación estandarizada, ciudad, país) a

partir de los cuales se pueden realizar búsquedas sobre las instituciones que ya están

ingresadas (figura 17). Para el caso de las áreas de Financiación y Producción No

Convencional el proceso es prácticamente idéntico, con la salvedad que para esta

última el sistema trabaja sobre una serie de plantillas que al ser seleccionadas indican

los campos que han de ser rellenados y la información que ha ser consignada (figura

18).

Figura 14. Áreas y pasos para acceder a los registros

Page 149: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

145

Figura 15. Pantalla para la búsqueda de registros y formulario con un registro cargado para su edición.

Page 150: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

146

Figura 16. Formulario de asignación de los autores y sus posibilidades de búsqueda.

Page 151: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Búsqueda, procesamiento y carga de los datos

147

Figura 17. Formulario de asignación de las instituciones del campo Adress.

Figura 18. Formulario para la búsqueda de la producción no convencional y asignación de plantillas.

Page 152: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

148

» 3.5. INDICADORES BIBLIOMÉTRICOS EMPLEADOS

» 3.5.1. Niveles de agregación

Los niveles de agregación utilizados para obtener los diferentes indicadores son

los siguientes (tabla 16):

» Agregación Regional:

▪ Comunidad Foral de Navarra: Nivel macro relativo a los resultados

obtenidos por la comunidad autónoma.

» Agregación Institucional:

▪ Universidad de Navarra: Nivel meso relativo a la suma de los

resultados obtenidos por todos los investigadores del área de ciencias

de la salud

▪ Área o departamentos: Nivel micro correspondiente a los

departamentos en los que se divide la Universidad de Navarra

▪ Grupos de departamentos: Nivel micro por el que se analizan los

indicadores de diferentes departamentos conjuntamente.

▪ Investigadores: nivel micro en el que se incluyen investigadores de las

diferentes categorías profesionales

▪ Grupos de investigadores: Nivel micro por el cual se agregan la

producción de diferentes investigadores para superar las barreras

departamentales

» Temático y/o disciplinar:

▪ Categorías JCR.

Page 153: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

149

Tabla 16. Unidades y nivel de agregación empleados.

» 3.5.2. Indicadores de producción y actividades científicas.

Tabla 17. Indicadores de producción y actividad utilizados Descripción Abreviatura Utilizado en:

Indicadores de producción y publicación

Número de documentos indizados en el WOS NdocISI Número de documentos no indizados en el WOS NdocNOISI Número de trabajos WOS para cualquiera de sus tipología ISItems Número de items Citables (article, Review, Letter, Note) ISItemsCit Número de aportaciones a Congresos (Nacionales, Internacionales) ------------------- Número de libros y monografías (Nacionales, Internacionales) ------------------- Número de Capítulos de Libros y Obras colectivas (Nacionales, Internacionales) ------------------- Número de Tesis ------------------- Número de Patentes ------------------- …

Otros indicadores que reflejan la actividad científica

Número y descripción de los Cargos en Congresos y Seminarios ------------------- … Número y descripción de los Cargos Institucionales ------------------- … Número y descripción de la Pertenencia a Comités Editoriales ------------------- … Número y descripción de los Cursos ------------------- … Número y descripción de los Estancias e intercambios ------------------- … Número y descripción de los Evaluadores externos ------------------- … Número y descripción de los Evaluadores revistas ------------------- … Número y descripción de los Premios en Congresos ------------------- … Número y descripción de los Premios Generales ------------------- … Número y descripción de los Premios por Investigaciones ------------------- …

Unidad Nivel Cronología Utilizado en:** CF de Navarra Macro 1999-2005 … Universidad Meso 1999-2005 Departamentos Micro 1999-2005 Grupos de Departamentos Micro 1999-2005 … Investigadores Micro 1999-2005 … Grupos de Investigadores Micro 1999-2005 Categorías JCR Meso 1999-2005

** El icono de _CIENTIFICA indica que ha sido implementado en la aplicación que presentamos en el capítulo 4.1 y con el logo TESIS indicamos que ha sido utilizado para los resultados presentados en los capítulos 4.2. – 4.9 de este trabajo. Los indicadores de _CIENTIFICA y TESIS necesariamente no tienen porque coincidir. A lo largo de la presentación de los indicadores mantendremos esta convención.

Page 154: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

150

Dentro de este primer bloque podemos distinguir, atendiendo a las tipologías

documentales analizadas, tres grupos diferentes. El primero de ellos está conformado

por los trabajos que han utilizado las revistas científicas como medio de publicación. El

segundo grupo lo componen indicadores de otras formas de difusión del conocimiento

como las aportaciones a congresos nacionales e internacionales, las tesis dirigidas,

libros y obras colectivas. El tercero es un grupo misceláneo compuesto principalmente

por otras actividades científicas desarrolladas por los investigadores y por

determinados logros que suponen el reconocimiento de la comunidad científica (tabla

17)

» 3.5.2.1. NdocISI y NdocNOISI

En cualquier análisis bibliométrico válido hay que conocer previamente cual es el

número de documentos producidos y la proporción de los mismos que se publican en

las bases de datos de Thomsom-ISI. El objetivo es comprobar si el total de

documentos indizados en esta base de datos es adecuado para llevar a cabo el

análisis y son lo suficientemente representativos para una correcta interpretación de

los resultados. Para Moed, De Bruin, et al. (1995, p. 408) un valor elevado de este

indicador nos mostraría si la producción ISI es una buena fuente para medir el impacto.

Conocer el porcentaje que representan las publicaciones ISI en el global de la

producción, es asimismo una medida de la orientación internacional de los autores

(Costas & Bordons, 2005, p. 117) y ha sido usado con frecuencia para evaluar

departamentos e instituciones universitarias (Nederhof, Meijerm, et., al., 1993;

Rousseau, 1998; Campanario, 1998; Grohmann & Stegmann, 2005; Moed, De Bruin,

et al., 1995). En nuestro caso para calcular NdocISI, se han descartado la tipología

documental de los meetings abstracts ya que en las memorias de investigación no

aparecen recogidas como trabajo en publicación periódica sino que aparece en la

Page 155: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

151

sección de comunicaciones a congresos, por tanto la comparación entre producciones

indizadas y no indizadas en ISI puede quedar distorsionada. El indicador NdocNOISI

se refiere a todos los ítems que no están indizados ni son publicados en las revistas

del ISI.

» 3.5.2.2. ISItems y ISItemsCit

Estos indicadores se centran exclusivamente en los trabajos indizados en el WoS.

ISItems recuenta el número total de los documentos sin distinción ninguna y ISItemsCit

los documentos considerados como ítems citables (articles, reviews, notes or letters).

Éstos son considerados en las revistas como los productos de la investigación original

por excelencia (Seglen, 1997) y con frecuencia son los únicos empleados para realizar

estudios bibliométricos (Camí, 1997, 2005).

» 3.5.2.3. Aportaciones a Congresos

Los congresos son otros de los medios tradicionales de los científicos para difundir

los resultados de sus investigaciones, además sirven de plataforma para el

intercambio de información, experiencias y formalización de relaciones. En bibliometría

Schubert, Zsindely, et. al. (1983) han demostrado la utilidad de los análisis de los

congresos. Estos autores basándose en el Index of Scienctific and Technical

Proceedings (ISTP) demostraron como el 90% de los resultados que se publican en

• NdocISI = docISI1 + docISI2 + ….docISIn

• NdocNOISI = docNOISI1 + docNOISI2 + ….docNOISIn

• ISItems = ISItem1 + ISItemI2 + ….ISItemn

• ISItemsCit = ISItemsCit 1 + ISItemsCit 2 + …. ISItemsCit

Page 156: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

152

revistas ya han sido previamente presentados en congresos y otro tipo de reuniones

científicas. El modo de participar en un congreso es múltiple y se pueden establecer

tres categorías bien diferenciadas: las comunicaciones, las ponencias y los pósteres.

Sin embargo la fuente de información consultada para su recopilación no realiza

sistemáticamente esta clasificación por lo que en este estudio hablaremos

indistintamente de aportaciones a congresos. Se han divido las aportaciones en dos

tipos atendiendo a su difusión: aportaciones a congresos nacionales y aportaciones a

congresos internacionales. Entendemos por congreso internacional aquellos

celebrados fuera de las fronteras del estado español o aquellos que celebrándose en

España incluyen en su título la denominación de internacional, el resto los hemos

considerado congresos nacionales. En cuanto a la asignación de los trabajos solo se

ha tomado en cuenta el primer autor.

» 3.5.2.4. Número de Libros o Monografías y Número Capítulos o Aportaciones

a Obras Colectivas

Este conjunto constituye uno de los productos científicos por excelencia y es

indudable el papel que juegan en la comunicación científica sobre todo a la hora de

difundir las aportaciones más concensuadas, como medio de recopilación del

conocimiento existente en una disciplina en un momento determinado o como

herramienta fundamental en la formación del alumnado universitario. Su empleo no es

demasiado frecuente en bibliometría aunque si tenemos ejemplos de su uso efectivo

como medio de evaluación científico en el área de historia de la medicina (Lewison,

2001). En nuestro caso los indicadores contabilizan el número de libros o monografías

y el número de capítulos y obras colectivas. Se ha vuelto a distinguir para todos ellos

• Nº Aportaciones Congresos = AportaciónCon1 + AportaciónCon2 + …. AportaciónNConn

Page 157: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

153

entre resultados nacionales e internacionales. Tan solo se asignan al primer autor

firmante.

» 3.5.2.5. Número de direcciones de tesis

Las tesis doctorales son los documentos que mejor pueden caracterizar el

potencial investigador de una institución ya que su futuro dependerá directamente de

los doctorados, para éstos representa la culminación de su ciclo formativo. Para López

Yepes (López Yepes, Ros García, et al. 2005, p. 10) mediante una tesis se pueden

realizar al menos tres aportaciones al conocimiento científico: nuevos resultados

originales de investigación, metodologías de investigación novedosas para el resto de

la comunidad y un repertorio bibliográfico selectivo de interés para futuros

investigadores. Por estas razones y por la tradición de cuantificarlas

bibliométricamente (Delgado López-Cózar, Torres Salinas, et. al., 2007; Agudelo,

Bretón, et al., 2003; Castillo, Figueredo, et al., 2002; Centeno, Hernan Sanz, et al.,

2001) incluimos el número de tesis que han dirigido los investigadores que pertenecen

a la Universidad de Navarra.

» 3.5.2.6. Número de patentes

Las patentes es otro de los objetos tradicionales de la bibliometría sobre todo

desde el año 1994 cuando la OECD publica su Manual de Patentes en el que

establece diferentes pautas para su cuantificación y análisis (Jiménez-Conteras, 2006,

• Nº de Libros y Monografías = Libro1 + Libro2 + …. Libron

• Nº Capítulos y Obras Colectivas = Capítulo1 + Capítulo 2 + …. Capítulo n

• Número de Tesis = Tesisdirigida1 + Tesisdirigada2…. Tesisdirigadan

Page 158: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

154

Delgado López-Cózar, et. al., p. 15). La producción de patentes está estrechamente

unida al concepto de innovación, en general cualquier análisis de las mismas nos sirve

para conocer la capacitación tecnológica de un agregado y su especialización en esta

área ya que, principalmente, reflejan el paso de la teoría al conocimiento práctico, al

Know-How (Bassecoulard & Zitt 2004, p. 696). Por tanto, cualquier análisis o conjunto

de indicadores basados en patentes aportan una aproximación al estudio de la

actividad tecnológica, del mismo modo que los indicadores basados en publicaciones

permiten el estudio de la actividad científica (Gómez, Sancho, et. al, 2006, p. 292).

Para caracterizar la producción de patentes hemos contabilizado su número.

» 3.5.2.7. Otros indicadores que reflejan la actividad científica y el

reconocimiento

Además de los resultados analizados comúnmente, presentados en los epígrafes

anteriores, la ciencia engloba otras actividades que forman parte de la agenda de los

científicos. Algunas de ellas no necesariamente terminan en una publicación (cursos),

otras reflejan el reconocimiento de la comunidad y la capacitación científica (cargos en

congresos y seminarios, cargos institucionales, premios, pertenencia a comités

editoriales) y, por último, otras actividades demuestran la influencia y el control sobre

una disciplina (evaluador externo en proyectos de investigación, evaluador de

originales en revistas científicas). Este conjunto de indicadores se ha recopilado y

descrito con el fin de poseer una información que ayude a los gestores a conocer el

perfil global y completo de los científicos a la hora de tomar decisiones. Todos ellos

han sido implementados exclusivamente en el sistema de información.

• Número de Patentes = Patente1 + Patente 2…. Patente n

Page 159: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

155

» 3.5.3. Indicadores Visibilidad e Impacto

A la hora de analizar la calidad de la investigación en la UNAV mediante

indicadores hemos dividido éstos en dos bloques: visibilidad e impacto. Por visibilidad

entendemos todas aquellas medidas basadas en la posición de las revistas dentro de

sus categorías JCR, están determinados, por tanto, por su valor de Impact Factor. Por

Indicadores de Impacto nos referimos a todos aquellos que han sido construidos sobre

la base de las citas obtenidas directamente por los trabajos. En la tabla 18

presentamos los indicadores diseñados.

Tabla 18. Indicadores de Visibilidad e Impacto utilizados.

Descripción Abreviatura Utilizado en:

Indicadores de Visibilidad (basados en el Impact Factor y la posición de las revistas)

Número y porcentaje de ISItemCit por cuartil ------------------- Número y porcentaje de ISItemCit indizados en revistas Top3 de las Cat. JCR Top3 // %Top3 Factor de Impacto Esperado de la Categorías JCR FIEC Factor de Impacto Comparado de las Categorías JCR FIC

Indicadores de Impacto (Basados en la citación)**

Número de citas en ISI ------------------- Número de citas en Scopus ------------------- … Promedio de citas en ISI PCit Promedio de citas en Scopus ------------------- … Número y porcentaje de citas domésticas o recibidas desde la propia UNAV ------------------- Número y porcentaje de citas recibidas desde la tipología documental Review ------------------- Número y porcentaje de citas recibidas desde trabajos publicados en el 1º Cuartil ------------------- Número y porcentaje de citas recibidas desde trabajos publicados en revistas Top3 ------------------- Número y porcentaje de documentados citados y No citados en ISI ------------------- Número y porcentaje de documentados citados y No citados en Scopus ------------------- … ** En el caso de la aplicación _CIENTÍFICA todos los indicadores basados en las citas se han basado en una ventana de citación de dos años mientras que en el caso de los indicadores para el capítulo 4 Hemos utilizado una ventana de siete años. La razón de utilizar una ventana de dos años en _CIENTÍFICA es evitar la búsqueda anual de las citas de todos los trabajos desde el año de inicio, 1999, y reducirlas solo a la búsqueda de los trabajos de los últimos años ingresados.

Page 160: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

156

» 3.5.3.1. Normalización del Impact Factor por cuartiles

Consiste en calcular el cuartil estadístico en el cual se sitúan las revistas del

Journal Citation Reports dentro de su categoría en función de su Impact Factor con el

objetivo de clasificarlas en cuatro zonas que denoten su posición en el ranking. Así las

revistas pertenecientes al cuarto cuartil son aquellas que están en el 25% de la

distribución de IF con mejores valores y por tanto son las más prestigiosas. Una vez

clasificadas se toman los ítems citables para el nivel de agregación analizado y se

calcula el porcentaje de trabajos indizados en cada uno de los cuartiles, ya que el

trabajo toma el cuartil de la revista donde ha aparecido publicado. De esta forma se

perfila la calidad de las revistas donde se publica, así si un autor publica el 100% de

sus trabajos en el 4º cuartil nos apunta que el agente independientemente de la

categoría siempre coloca sus trabajos en las mejores revistas. Se supera así las

diferencias de Impact Factor entre diferentes categorías. Para evitar confusiones

hemos invertido la denominación de los cuartiles estadísticos:

Denominación estadística Denominación utilizada

• Cuarto cuartil ► 1ºC

• Segundo cuartil ► 2ºC

• Tercer cuartil ► 3ºC

• Cuarto cuartil ► 4ºC

Page 161: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

157

» 3.5.3.2. Top3

El indicador TOP3 contabiliza el número de ítems citables indizados en revistas

que se encuentran entre las tres primeras de algunas de las categorías del JCR. A la

hora de su lectura hemos de tener en cuenta que el número de revistas que conforman

cada categoría pueden variar considerablemente de unas a otras por lo que el

esfuerzo de situar los trabajos en los primeros puestos no siempre es el mismo.

» 3.5.3.3. Factor de Impacto Esperado de la Categoría y Factor de Impacto

Comparado

Su utilidad principal radica en conocer si el Impacto Esperado de una producción

científica en una categoría del JCR se sitúa por encima de la media de esa categoría o

por debajo, permite, por tanto, detectar áreas de bajo o alto impacto esperado. Para

obtenerlo se sigue en primer lugar la técnica de asignar a los trabajos el Impact Factor

de la revista donde han aparecido publicados convirtiéndose en el denominado Factor

de Impacto Esperado (FIE). Así para un trabajo publicado en la revista x en el 2003 se

le asigna el IF de esa revista en el año 2003. Si tomáramos todos los FIE de un

agregado X en una categoría JCR Z y realizamos una media aritmética nos resultaría

el FIE medio del agregado X en la categoría Z, a este resultado lo llamamos Factor de

Impacto Esperado de la Categoría (FIEC). Por si solo el FIEC no tiene ningún valor ni

es comparable por categoría por ello es necesario construir otro indicador que nos

sirva como referencia al que denominamos Factor de Impacto Medio de la Categoría

(FIMC). El FIMC se obtiene tomando todos los Factores de Impacto de las revistas de

una categoría cualquiera y realizando su media aritmética. El resultado de dividir el

• Top3 = ISItemCitTOP31 + ISItemCitTOP32 + … ISItemCitTOP3n

Page 162: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

158

FIEC entre FIMC es el Factor de Impacto Comparado que es la medida final definitiva

y cuyos valores se pueden situar en tres rangos:

» 3.5.3.4. Número de Citas

Computa el número de citas brutas recibidas por los trabajos WoS desde cualquier

tipología documental y origen. Hemos establecido dos contabilizaciones diferentes,

una para las recopiladas desde el WoS y otra para las recogidas desde Scopus.

» 3.5.3.5. Promedio de Citas

Relativiza el número de citas con el número de ítems citables (ISItemCit) a través

de una división por lo que nos devuelve el promedio de citas alcanzado por los

documentos. Igual que para el anterior indicador obtenemos un promedio para el WoS

y otro para Scopus

• FIC = (FIEC / FIMC)

Si FIC > 1 categoría por encima de la media

Si FIC = 1 categoría igualada con la media

Si FIC < 1 categoría por debajo de la media

• Número de Citas = Citarecibida1 + Citarecibida 2 + … Citarecibida n

• Promedio de Citas = Número de Citas / Número de ISITemCit

Page 163: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

159

» 3.5.3.6. Número y Porcentaje de Documentos Citados y No Citados

Estos indicadores dividen los ISItemCit en dos conjuntos, aquellos que han

recibido al menos una cita y se engloban entre los citados y aquellos que no han sido

citados nunca. Contabilizamos el número total de cada uno de ellos y su valor

porcentual respecto al total de los ISItemCit. Se han calculado estos valores para la

citación de las dos bases de datos internacionales.

» 3.5.3.6. Caracterización de los citantes

Las citas y sus indicadores derivados son empleados para conocer el impacto de

la literatura científica. Sin embargo, es útil conocer el origen de los citantes para ser

capaces así de determinar si las citas son realmente denotativas del impacto real. Es

importante, en primer lugar, calcular la tasa de autocitación doméstica, en nuestro

caso se consideran todas aquellas provenientes de algún autor de la propia

universidad. También se ha determinado el nivel cualitativo de la citación

caracterizando las citas en función de la posición ocupada por la revista citante dentro

de su categoría JCR. Para ello se han clasificado las citas en dos tipologías: citas que

provienen de revistas TOP3 y aquellas que provienen de revistas del 1ºC. En último

lugar se ha analizado las citas recibidas desde una tipología documental especial, los

Review. Ser citado desde estos documentos es especialmente denotativo ya que este

tipo de trabajos recopilan información filtrada de un corpus bibliográfico que ha sido

revisado críticamente y escrito, con frecuencia, por autoridades en el campo.

• Número Citados = ISItemCit Citado1 + ISItemCit Citado2 + … ISItemCit Citadon

• Porcentaje Citados = (Nº ISITemCit Citados*100)/Total ISItemCit

Page 164: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

160

»3.5.4. Indicadores de Colaboración

Tabla 19. Indicadores de colaboración y autoría científica utilizados.

Descripción Abreviatura Utilizado en:

Indicadores de Colaboración

Índice de Coautoría general ICO General Índice de Coautoría UNAV ICO UNAV Índice de Coautoría Externa ICO Externa … Índice de Coautoría Institucional ------------------- … Patrones de Colaboración -------------------

» 3.5.4.1. Indicadores ICO para los autores y las instituciones firmantes

Contabiliza el número medio de autores que firman los trabajos. En este estudio

utilizamos el Índice de Coautoría clásico que mide el promedio de autores firmantes

independientemente de su origen y que llamamos Índice de Coautoría General (ICO

General) y una variante del mismo en el que solo tomamos loa autores pertenecientes

a la Universidad de Navarra. Éste último es el Índice de Coautoría Interna (ICO UNAV)

y permite establecer la media de autores de la Universidad que firman los trabajos. El

Índice de Colaboración Externa (ICO Externa) evalúa la capacidad de colaborar con

autores ajenos a la UNAV. Se basa en calcular el porcentaje de autores que no

pertenecen a la UNAV respecto al total de autores firmantes y al ser un valor

porcentual se encuentra entre 0 y 1. Un valor cercano a 1 indica que los trabajos han

sido firmados por pocos autores propios y por tanto existe una gran colaboración

• Número y Porcentaje de Citas Domésticas o In House.

• Número y Porcentaje de Citas recibidas desde revistas Top3

• Número y Porcentaje de Citas recibidas desde revistas 1º Cuartil

• Número y Porcentaje de Citas recibidas desde revistas Review

Page 165: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

161

externa, cuanto más se acerca a 0 mayor es el número de firmantes del UNAV. Para

analizar la autoría de trabajos con otros centros hemos utilizado Índice de Coautoría

Institucional que mide el número medio de instituciones que firman los trabajos. Para

este indicador solo se analizan las publicaciones de cualquier tipo indizadas en el ISI y

que denominamos ISItems ya que éste conjunto de registros son los únicos para los

que contamos con los datos de afiliación institucional de los autores.

» 3.5.4.2. Patrones de colaboración

Para este indicador también se usan los ISItems y consiste en clasificar este

conjunto de documentos según tres tipos de colaboración:

» Documentos Sin colaboración: Trabajos sin colaboración firmados

exclusivamente por investigadores de la UNAV y del CIMA.

» Documentos Colaboración Nacional: Trabajos firmados conjunta y

exclusivamente con una o más instituciones españolas

» Documentos Colaboración Internacional: Trabajos firmados conjuntamente

con una o más instituciones extranjeras. Si en alguno de estos trabajos también

firma institucionales nacionales se considera internacional.

Una vez determinados los documentos pertenecientes a cada conjunto se calcula

el porcentaje de cada uno de ellos respecto del total de ISItems

• ICO General = (Nº de autores / Nº de trabajos publicados en revistas científicas)

• ICO UNAV = (Nº de autores UNAV/ de trabajos publicados en revistas científicas)

• ICO Externa = (Nº firmantes no adscritos a UNAV*100) / Nº de firmantes totales

• ICO Institucional = Nº instituciones firmantes / Nº ISItems

Page 166: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

162

» 3.5.5. Indicadores basados en la posición firmante

Tabla 20. Indicadores basados en la posición firmante utilizados.

Descripción Abreviatura Utilizado en:

Indicadores de Visibilidad Colaboración

Número y Porcentaje de trabajos firmados en posición Inicial ------------------- Número y Porcentaje de trabajos firmados en posición Media ------------------- Número y Porcentaje de trabajos firmados en posición Final ------------------- Número y Porcentaje de trabajos firmados individualmente ------------------- …

El análisis de los hábitos de firma (Signing Practices / Publication habits) en los

estudios bibliométricos son una consecuencia directa del aumento del número de

firmantes de los trabajos ya que no todos contribuyen de la misma manera en la

consecución del trabajo, se hace así necesario un análisis más certero que depure las

responsabilidades, la contribución y el crédito de los mismos. Este análisis se puede

enfocar a partir de la posición ocupada en la cadena de autoría que tiene su propio

significado y que se ha tratado incluso de normalizar por el International Commite of

Medical Journal Editors (ICMJE) con poco éxito (Hoen, Walvoort, et al., 1998, p. 218).

No faltan las propuestas como la de Tscharntke, Hochberg, et. al. (2007) que

proponen cinco formas de establecer el orden de los autores, según la seleccionada

cada autor recibiría en los estudios bibliométricos su parte proporcional de impacto en

función de la labor realizada que vendría determinada por su lugar en la cadena de

autoría. En un estudio llevado a cabo Shapiro (Shapiro, Wenger, et al. 1994) en 10

revistas médicas se analiza precisamente el rol de los investigadores en función del

lugar de su firma. Shapiro concluye que la posiciones inicial y final son las que más

peso tienen en la investigación, el primero es que el que realiza la aportación más

substancial al trabajo, las posiciones medias contribuyen principalmente a la recogida

de datos y provisión de recursos y la firma final suele actuar revisando y validando el

trabajo (tabla 21). Según los resultados de este estudio la primera y la última, aunque

Page 167: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

163

con diferentes roles, son las más importantes en la cadena de coatoría. Esta forma de

distribuir el crédito ha sido definida como la norma del énfasis en el primer y último

autor (first-last-author-emphasis) (Tscharntke, Hochberg, et. al., 2007, p. 0013) Es

relevante por tanto, en función de este tipo de prácticas y del aumento de autores de

los trabajos, identificar en que lugar de la cadena de coautoría se encuentran los

científicos objeto de los estudios bibliométricos con el fin de llegar a una interpretación

más precisa de los indicadores a nivel micro (Costas & Bordons, 2005, p. 118). En

nuestra investigación hemos establecido cuatro categorías de firmas (inicial, media,

final, individual) que se adaptan a cualquier número de autores para las cuales

calculamos el número total de documentos y el porcentual.

Tabla 21. Contribución de los autores en función de la posición firmante.

Inicial Segunda Media Final

Aportación** Concepción Inicial 90 34 19 84 Diseño 97 41 14 61 Provisión de recursos 72 62 82 85 Recogida de Datos 89 62 45 34 Análisis e interpretación de los 98 58 20 61 Redacción y corrección 100 55 33 80

Nº de horas dedicadas** Entre 0 y 10 horas 0 13 31 20 Entre 11 y 50 horas 4 27 31 25 Entre 51 y 500 horas 43 42 31 37 Más de 500 horas 53 18 8 8

El número de las celdas indica el porcentaje de autores encuestados que han señalado la casilla. El estudio (Shapiro, Wenger, et al. 1994) se realizó encuestando a 184 primeros autores de 200 artículos que tuvieran como mínimo cuatro autores. Los trabajos provenían de 10 importantes revistas médicas

• Número de firmas en la posición X = FirmaX1 + FirmaX2 + … FirmaXn

• Porcentaje de firmas en la posición X = (Nº de trabajos firmados en la posición X* 100/Nº total de trabajos)

• X = Inicial, Media, Final o individual

Page 168: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

164

» 3.5.6. Indicadores de Inputs

Tabla 22. Indicadores de Inputs utilizados.

Descripción Abreviatura Utilizado en:

Financiación

Número de convocatorias financiadas ------------------- Suma de Euros obtenidos ------------------- … Porcentaje de Euros sobre el total %€ …

Recursos Humanos

Nº de Investigadores (Licenciados y Doctores) ------------------- … Media de Investigadores por año durante un período cronológico Minv … ISItemCit por Investigador P/I … Citas por Investigador C/I …

» 3.5.6.1. Financiación

Las solicitudes y las concesiones de financiación aportan una información

significativa sobre las capacidades investigadoras, relativas y absolutas, de una

institución, sobre su orientación hacía la investigación y sobre su excelencia

competitiva (Delgado López-Cózar, Moneda, et al. 2005, p. 79). El valor de la

obtención de fondos es doble, ya que no por un lado significan una entrada económica

que permite llevar a cabo una determinada línea de investigación, sino que además

suponen un reconocimiento. Tal y como ha señalado Sanz Menéndez (2003, p. 8-12)

la obtención forma parte de los mecanismos de reconocimiento ya que, por ejemplo,

los proyectos de I+D nacionales son evaluados por pares. En este tipo de

evaluaciones se tiene en cuenta no sólo la relevancia del proyecto sino aspectos de la

reputación de los solicitantes. Tal como señalaba Latour en 1976 (citado por Sanz

Menéndez, 2006, p. 9) la concesión de fondos es una nueva forma de obtención de

reputación, hoy ya consolidada, que se ha incorporado al ciclo de la credibilidad de la

ciencia. Por esta doble faceta expuesta, entrada económica/obtención reputación, en

la unidad de análisis de este trabajo, una universidad privada, si cabe, cobra aún una

Page 169: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

165

mayor importancia el control y el conocimiento sobre estas concesiones ya que de

ellas dependen la propia supervivencia de la institución. Para Narin la puesta en

común de la producción con la financiación obtenida es particularmente significativa a

la hora de evaluar una organización (Narin & Hamilton, 1996, p. 297).

Por estas razones hemos querido aproximarnos a la financiación a través de

diversos indicadores básicos pero ilustrativos. En primer lugar el número de

convocatorias obtenidas según el tipo de financiación (contratos de investigación,

proyectos financiados por fundaciones, proyectos de investigación) caracterizando

cada una de ellas según los diferentes organismos y programas. En segundo lugar se

ha obtenido la inversión total recibida a través de los proyectos de investigación de

diferentes planes de investigación, consideramos especialmente significativa esta

tipología debido a que se obtienen a través de un proceso competitivo sometido a

evaluación por pares (Sanz Menéndez, 2006, p. 8). A partir de los fondos recibidos a

través de los proyectos hemos calculado dos indicadores, por un lado, la suma total de

euros concedida para los proyectos, y por otro, el porcentaje que supone sobre el total

de un determinado montante.

• Número de convocatorias = Convocatoria1 + ConvocatoriaX2 + … ConvocatoriaXn

• Suma de Euros = Sumatoria (EurosProyecto1 + EurosProyecto 2 + … EurosProyecto n)

• Porcentaje Euros = (Suma de Euros*100)/Suma total de Euros

Page 170: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

166

» 3.5.6.2. Recursos Humanos

Como vimos en el apartado 2.2. los recursos humanos fueron una de las primeras

variables consideradas a la hora de evaluar las actividades de ciencia y tecnología e

incluso la OCDE tiene un manual dedicado exclusivamente a su medida, el Manual de

Canberra (OECD, 1995). En este manual se consideran recursos humanos de un país

el personal dedicado a las actividades de I+D y a su población con cualificación formal

para serlo aunque no estén empleados. El manual a través de los diferentes

indicadores recomendados desglosa los recursos humanos por sectores, sexo

disciplina, etc.… En nuestro caso cuantificamos el número de investigadores,

licenciados y doctores, que participan activamente en la investigación científica de la

UNAV y que aparecen declarados en sus memorias de investigación o en los datos

sobre personal cedidos por el CIMA. Aparte de cuantificar el número de investigadores

dedicados anualmente por departamento y el promedio para el período hemos

relativizado estos valores con la producción de ISITemCIT y el Número de Citas, por lo

que las comparaciones entre departamentos son más ajustadas. En total hemos

obtenidos cuatro indicadores:

• Número de Investigadores = Investigador1 + Investigador2 + … Investigador n

• Minv = Nº Investi. año1 + Nº Investi. año2 + … Nº Investi. del añon / Nº de años

• P/I = Total ISITemCit período X / Minv período X

• C/I = Total Número de citas período X / Minv período X

Page 171: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

167

» 3.6. ANÁLISIS DE REDES SOCIALES: HERRAMIENTAS Y MÉTODO

» 3.6.1. Herramientas

Para el análisis de redes sociales se ha utilizado el programa de libre distribución

Pajek 1.0.6. programado por Vladimir Batagelj y Andrej Mrvar. En la actualidad está

considerado como un verdadero estándar dentro de la ciencia de las redes y destaca

por su enorme versatilidad y las enormes posibilidades que ofrece (Nooy, Mrvar, et.

al., 2005). Este software está especialmente diseñado para el análisis de grandes

redes y su uso también está extendido en el mundo de la bibliometría (Leydesdorff,

2004 ; Chinchilla, 2004). Sus tres principales funciones son la descomposición de

grandes redes en subredes más pequeñas, ofrecer herramientas para la visualización

de las redes y la obtención de una colección amplia de indicadores de redes sociales

(Batagelj & Mrvar, 2003). Estas características hacen que sea bastante útil para dos

de nuestros propósitos:

» Obtener representaciones gráficas de la colaboración científica de la

Universidad de Navarra y mapas de cocitación para las categorías JCR.

» Detectar grupos de investigadores estables en el período analizado y

representar su estructura social

» 3.6.2. Generación de ficheros .net

Pajek trabaja con un fichero de extensión .net donde se ha de especificar la

información que se desea representar o analizar, este fichero tiene dos partes

principales, una donde se especifican los nodos con sus denominaciones y el formato

Page 172: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

168

y otro donde se especifican las líneas o los arcos con su formato. Este fichero lo

hemos generado a partir una pequeña aplicación en Access donde ingresamos la

información sobre la red (nodos, matrices e información bibliométrica) y facilita la

edición y salida final de la red con los parámetros del formato .net de pajek.

» 3.6.3. Indicadores de redes sociales y representaciones gráficas

Para el análisis de la red general de investigadores en función de la coautoría de

trabajos ISI hemos obtenido una serie de indicadores básicos que permite caracterizar

a grandes rasgos la red general de colaboración

• Nº de líneas con valor 1

• Nº de líneas # valor 1

• Nº total líneas

• Densidad de la red

• Distancia media entre nodos

• Nº de nodos (investigadores)

• Diámetro de la red (máxima distancia entre nodos)

Para el análisis de los grupos definimos como miembros de los grupos estables de

investigación todos aquellos investigadores que en el período de siete años analizado

hayan publicado al menos siete ítems citables (ISItemCit), un mínimo de un trabajo al

año, en colaboración con otro investigador. El tamaño mínimo de los grupos finales ha

de ser mayor de dos nodos por lo que las parejas sueltas de parejas no se consideran

grupos. Una vez determinados estos parámetros la metodología seguida ha sido la

siguiente:

Page 173: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

169

» Generación de la matriz de colaboración con todos los investigadores a

partir de los ISItemCit

» Poda de la red basada en la eliminación de todas aquellas

líneas/colaboración cuyo valor fuera inferior a 7 y eliminación de todos los

vértices/investigadores que tuvieran menos de 2 relaciones.

» Detección de grupos cohesionados: para detectar los grupos cohesionados

dentro de la red resultante se ha realizado un análisis de cliqués (p-cliques) con

una proporción de enlaces del 50%. Un cliqué de una red se define como una

subred en la cual cada nodo está directamente conectado con cada uno de los

nodos de la red (Otte & Rousseau, 2002, p. 442). Cada uno de esos cluster o

cliqués finales ha sido considerado como un grupo estable de investigación

» Cálculo de los indicadores bibliométricos representativos para cada grupo de

investigación

Para la representación gráfica de las diferentes redes hemos utilizado el algoritmo

implementado en pajek Kamada-Kawai y la salida final se final se ha realizado en SVG

(Scalar Vector Graphics).

Page 174: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

170

» 3.7. DESCRIPCIÓN DEL MÉTODO DE ANÁLISIS DE SUPERFICIES DE RESPUESTA

» 3.7.1. Descripción general

En los diseños de superficies de respuesta los problemas son modelados y

analizados; en este tipo de problemas la respuesta de interés está influencia por

diferentes variables y se mide para todas las posibles combinaciones de los niveles

elegidos de las variables o factores. El efecto que tiene un factor se observa a través

de los cambios que produce una variación del mismo sobre la respuesta final mientras

el resto de los factores se mantiene constantes. Existe una dependencia entre

variables cuando el efecto de un factor depende del comportamiento de otro. La

aplicación del DSR se vuelve indispensable cuando, una vez identificados los factores

que afectan una respuesta se considera necesario explorar las relaciones entre el

factor y la variable dependiente dentro de una región experimental. El DSR es

recomendable para este tipo de diseños gracias a su efectividad y rapidez de

ejecución y consisten en la correlación de k variables en juego a través de una

expresión polinomial de segundo grado de la siguiente forma (Cochran & Cox, 1971, p.

380):

12

0 , ,1 1 1 1

k k k k

obs i i i j i j i i ii i j i i

y b b x b x x b x e−

= = = + =

= + + + +∑ ∑∑ ∑

dónde yobs es la variable dependiente (respuesta) y xi los factores o variables con los

que queremos correlacionarla. La expresión contiene un término de primer grado que

representa una relación lineal considerada como principal, otro término en el que se

cruzan variables y que representa la influencia de unas sobre las otras y por último un

término de segundo grado que matiza lo anterior y que permite obtener máximos y

mínimos, es decir, valores óptimos de la variable dependiente. Los símbolos b0, bi, bi,j

Page 175: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

171

son constantes y e un término de error o residuo entre el valor observado y el

calculado. Los valores experimentales se ajustan a la ecuación anterior mediante

regresión polinomial y pueden emplearse los estadísticos usuales para determinar la

bondad del ajuste. Estos polinomios según Cochran & Cox (1971, p. 373) solo pueden

ser empleados dentro de los límites de los valores máximos y mínimo de las variables

recopiladas o experimentadas y no deben extrapolarse fuera de esta región.

El método de las superficies de respuesta implica, además del empleo de un

modelo polinomial de segundo grado, un diseño experimental muy reducido

denominado diseño central compuesto (DCC) que sintetizamos en la figura 19

(Cochran & Cox, 1971, p. 383 ; Montgomery & Reunger, 2002, p. 711-712). Los DCC

se elaboran con base a los diseños factoriales añadiéndoles los puntos estrella y el

punto central y se pueden utilizar tres tipos de estructuras diferentes representadas

en la figura 20 (Altmajer, 2004, p. 75)

Figura 19. Diseño central compuesto central (DCC) para dos factores de tratamiento

Page 176: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

172

Figura 20. Diferentes estructuras de diseños centrales compuestos: cara centrada (CCF), inscrito (CCI) y circunscrito (CCC).

Independientemente de la estructura del diseño central compuesto que se decida

emplear en total para cada factor o variable se harán experimentos para 5 valores o

niveles distintos: -α, -1, 0, +1 y +α. Por tanto no se harán todas las combinaciones

posibles sino solo aquellas que cumplan un diseño geométrico DCC. Para ilustrar en

que consiste obsérvese la figura 21, en ella hemos considerado un caso bidimensional,

donde las variables independientes son x1 y x2. Se han dibujado curvas de nivel con

los valores de la variable dependiente, y. En A se encuentra un hipotético punto óptimo

que estamos buscando y en C el Punto Central que se va a establecer como cercano

al óptimo que se busca.

Figura 21. Valores de de la variable y para un Diseño Central Compuesto

Page 177: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

173

Usando C como origen de coordenadas, se ha dibujado un cuadrado y un círculo

circunscrito, que limita una “cruz” o “estrella”. Tan solo los puntos señalados serán los

que se empleen en el planeamiento experimental. En este caso de superficie de

respuesta bidimensional serán los siguientes (tabla 1):

Tabla 23. Puntos empleados en un diseño central compuesto

Sin embargo no siempre se presenta este escenario ideal ya que en ocasiones y

para cierto tipo de aplicaciones las variables no pueden tomar las diferentes

combinaciones de valores óptimos, lo que implica introducir ciertas restricciones. La

figura 22 es un ejemplo de una ventana experimental donde los valores que toman las

variables se encuentran situados tan solo en el área sombra. Para facilitar la creación

del modelo y su ajuste se define un nuevo grupo que llamamos pesudocomponente.

Figura 22. Ejemplo de un diseño con restricciones.

Nº Exp X1 X2 1 -1 -1 2 +1 -1 3 -1 +1 4 +1 +1 5 +α 0 6 -α 0 7 0 -α 8 0 +α 9 0 0 10 0 0 11 0 0 12 0 0

Page 178: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

174

Independientemente de si se ha introducido restricciones , a partir de los valores

resultantes se determina para cada una de las variables los coeficientes de la

ecuación polinomial (b0, bi, bi,j) pudiéndose la misma simplificarse según la influencia

de los factores en la respuesta final. La ecuación resultante se utilizará como modelo

del sistema analizado para determinar la respuesta de y en función de los diferentes

valores de x1 y x2 dentro de la zona definida en el DCC (gráfica 4).

Gráfica 4. Ejemplo de una superficie de respuesta

» 3.7.2. Adecuación del modelo

Altmajer ha recopilado las diferentes técnicas existentes para comprobar la

bondad, eficacia y validez de las ecuaciones polinómicas obtenidas (Altmajer, 2004,

p.87-89). En primer lugar es necesario realizar un análisis de los residuos, el modelo

será adecuado cuando los residuos se dispongan sin estructura reconocible, por tanto

no deben presentar ningún patrón obvio. A través de un estudio de los residuos

pueden descubrirse muchos tipos de inadecuaciones al modelo y violaciones de los

supuestos subyacentes. A continuación, para verificar la validez del modelo se

procede al test de significación de la regresión, cuya prueba se realiza mediante un

test de la F comparándose la varianza de la regresión con la varianza del residuo.

Page 179: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

175

Cuando el valor del estadístico calculado (Fcal = MQR/MQr) sea mayor que el valor

del estadístico tabulado (Ftab, g.IR, g.Ir) se acepta la hipótesis de que el modelo

seleccionado no es adecuado para describir los datos experimentales. El análisis

recomendable para la evaluación de la bondad del modelo es a través de los

coeficientes R2 (variabilidad explicada) y Q2 (variabilidad predicha) ambos coeficientes

deben ser próximos a la unidad y estar separados por un valor cercano a o.3. En la

tabla se presentan los valores aceptables para estos coeficientes en función de la

naturaleza de los datos.

Tabla 24. Guía general para evaluar los valores de los coeficientes R2 y Q2

Naturaleza de los datos R2 Q2

Química Aceptable ≥ 0.8 Aceptable ≥ 0.5

Excelente > 0.8

Biología Aceptable ≥ 0.7 Aceptable ≥ 0.4

» 3.7.3. Diseño experimental frente a diseño cuasi-experimental

El diseño experimental explicado en las líneas superiores representa el apoyo

empírico de la superficie de respuesta. En el caso de un sistema controlado en un

laboratorio la planificación y ejecución de un diseño experimental no implica más

problemas que los inherentes a cualquier proceso de experimentación

Sin embargo en nuestro trabajo de investigación si queremos emplear el DSR con

el objetivo de evaluar la actividad científica debemos introducir ciertas novedades en la

metodología explicada. En la evaluación de la actividad científica no se realizan

experimentos verdaderos sino solamente observaciones y por tanto, un diseño

experimental, en principio, no tiene sentido. Aunque la actividad científica no puede

ser manipulada, al igual que lo son las variables asociadas a fenómenos físicos o

Page 180: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

176

químicos, éstas si pueden ser seleccionadas. Esta selección es los que llamamos

diseño quasi-experimental que está gobernado por las mismas reglas que un diseño

experimental convencional, pero en nuestro caso las observaciones están

seleccionadas del conjunto total de observaciones obtenidas. Este conjunto lo

conforman los valores que más se acercan a un posible diseño experimental. Si

admitimos estos principios el DSR es posible y los modelos se verán confirmados a

través de los R2 y Q2 que determinarán la validez y fiabilidad final.

» 3.7.4. Modde 6.0

Para el análisis de las diferentes variables mediante superficies de respuesta se

ha utilizado el programa informático Modde 4.0. El primer paso para trabajar con este

software es crear un nuevo proyecto a partir de cual se obtiene una hoja de trabajo

donde aparecen los factores y su respuesta definidos mediante un diseño CCF (figura

23).

Figura 23. Hoja de trabajo en Modde con el diseño CCF de los factores y su respuesta

Page 181: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

177

Una vez definido nuestro proyecto a través de la opción Select Fit Method se

ajusta el modelo polinómico a los datos experimentales para la posible localización de

errores. Tras este paso si se desea editar el modelo podemos realizarlo a través de la

opción Design>Edit Model. Una vez optimizado el diseño de la ecuación podemos

evaluar nuestro modelo con las opciones disponibles en el menú Analysis. Las

principales opciones son Summary Plot donde se disponen los valores de R2 (variación

de la respuesta explicada) y Q2 (variación de la respuesta predicha), el análisis de los

residuos o la opción ANOVA. Como se observa en la gráfica 5 a través de esta última

opción Modde ofrece un gráfico con tres barras, la primera (SD) muestra la variación

de la respuesta explicada, la segunda (RSD) la variación de la respuesta no explicada,

la tercera la multiplicación de RSD por la raíz cuadrada de F. Esta última columna se

corresponde con el test de la F, si la tercera barra es menor que la primera nuestro

modelo será significativo a un 5%, asimismo también aparecen en la zona inferior el

valor para R2 y Q2.

Gráfica 5. Análisis ANOVA para comprobar la bondad de un modelo con Modde

Los coeficientes de la ecuación se ofrecen en la opción Analysis > Coefficient >

List. La importancia de estos coeficientes en la respuesta también se puede evaluar a

través de diferentes opciones como los Coeffcient Plot, Effects Plots o Main Effects

Page 182: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 3.MATERIAL Y MÉTODOS. | Indicadores bibliométricos empleados

178

Plot. Por último Modde permite la representación gráfica a través del Menú Use donde

se pueden crear gráficos de contorno y superficie que describan nuestro modelo a

través de todas sus posibles respuesta.

Page 183: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

179

44.. RREESSUULLTTAADDOOSS..

»»»

Page 184: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

180

» 4.1. EL SISTEMA DE INFORMACIÓN

» 4.1.1. Descripción general

El sistema _CIENTIFICA es una aplicación monopuesto que contiene información

sobre los inputs, los outputs y el impacto de un conjunto de investigadores y de las

instituciones en las que trabajan. Su objetivo principal es ser un instrumento de

información y de evaluación científica en un entorno micro como una universidad de

tamaño medio o centros/institutos de investigación por lo que va dirigida a los gestores

y administradores de la política científica de los mismos como decanos, rectores o

directores de departamento. Sus aplicaciones son variadas pero se puede utilizar

principalmente para la toma de decisiones en la promoción del personal, en la

orientación de la política de publicación de los departamentos y por, supuesto, como

sistema de información que ofrece un estado actualizado del nivel científico de una

institución. Su interfaz está diseñada para ofrecer el máximo grado de amigabilidad,

usabilidad y flexibilidad. Es por lo que se ofrece la posibilidad de combinar información

en pantalla de diferente género a través de datos numéricos (fichas) y salidas gráficas.

El sistema se entrega compilado por lo que su instalación y distribución se realiza

como un programa convencional vía web o a través de CDs.

» 4.1.2. Estructura

Se estructura en dos grandes áreas: Administración y Consulta. El Área de

Administración está dirigida a los encargados de introducir, normalizar y actualizar la

información contenida en la de la base de datos tal como ha sido descrito en el

apartado 3.4.3. La segunda es el Área de Consulta dedicada a la explotación,

Page 185: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

181

presentación lógica y visualización de la información por parte de los gestores o

usuarios finales de la aplicación. Esta área será la que describamos a continuación.

El Área de Consulta se ha dividido en módulos que se corresponden con las

diferentes unidades de análisis o niveles de agregación que nos podemos encontrar

en un entorno de investigación universitario. En total se han implementado un total de

cinco módulos, manteniendo todos el mismo esquema:

» Universidad » Departamentos » Grupos » Categorías temáticas JCR » Investigadores.

Cada uno de los módulos tiene una serie de objetos que contienen y permiten las

salidas lógicas y estructurada de la información, éstos son:

» Fichas » Resumen General » Rankings » Informes

A su vez cada uno de los objetos pueden dar acceso a otras colecciones de

objetos subordinadas que permiten profundizar en la información (figura 24).

Figura 24. Estructura lógica del Área de Consulta del sistema de información.

Page 186: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

182

» 4.1.3. Navegación por el sistema y descripción de sus objetos

Cuando la aplicación se inicia el usuario se encuentra con un primer formulario

que solicita su password y login, una vez registrado se despliega al Menú Principal que

da entrada al Área Administración y al Área de Consulta (figura 25) que contiene los

cinco módulos.

Figura 25. Formulario de inicio para la identificación del usuario y Menú Principal del sistema de información.

» 4.1.3.1. Fichas

Una vez que hemos accedido a cualquiera de los módulos desde el Menú

Principal contamos con un menú desplegable en el margen superior izquierdo de la

pantalla, a través de su opción Ficha se abre un formulario emergente donde debemos

seleccionar la unidad (investigador, departamento, categoría,…) que deseamos

consultar, localizándola a través de diferentes posibilidades de búsqueda. (figura 26).

Tras escoger y confirmar la elección se genera un cuadro combinado en la parte

superior central del interfaz, encabezado por el nombre o la denominación del agente

Figura 26. Interior de un módulo y acceso a los agentes evaluados y sus fichas en el sistema de información.

Page 187: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

183

evaluado, donde están disponibles las diferentes Fichas. Una Ficha es un objeto

basado en cuadros de texto que contienen las etiquetas y los valores de los diferentes

indicadores presentados en el apartado 3.5 u otras informaciones de carácter

descriptivo relacionadas con la actividad científica. Se han diseñado un total de diez

Fichas, cada una de ellas correspondientes con un bloque de indicadores:

» Publicación. » Impacto. » Firmas. » Financiación. » Actividad. » Autoría. » Colaboración. » Palabras clave. » Investigadores colaboradores. » Premios.

Page 188: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

184

Las Fichas tienen una estructura de navegación propia de carácter jerárquico que

permite ir accediendo progresivamente a información cada vez más detallada a través

de tres niveles:

» Ficha Principal (Nivel 1): Contiene el valor de los indicadores global para

todos los años que cubre la base de datos. A través de las flechas situadas en

su margen izquierda se despliegan la Fichas Secundarias de los diferentes

subconjuntos de indicadores y en la zona inferior se sitúa un cuadro combinado

que abre otros dos nuevos objetos: Gráficos y Referencias (figura 27).

» Ficha Secundaria (Nivel 2): Desglosa la información del subconjunto de

indicadores seleccionado en la Ficha Principal. Presenta en el margen superior

izquierdo un nuevo cuadro combinado donde se va presentado la información

por clases, manteniendo en todo momento la misma ventana. Por ejemplo se

ofrece para los indicadores de producción ISI las categorías temáticas JCR

donde se está publicando, las tipologías documentales, las revistas, etc.…

Desde este nivel además accedemos a la Ficha detalle. (figura 27).

» Ficha Detalle (Nivel 3): Para la información presentada en la Ficha

Secundaria por clases podemos obtener más detalles seleccionando alguna de

sus filas (revistas, categoría, organismo financiador,…) y acceder a sus datos

organizados a través gráficos o tablas. Por ejemplo se pueden consultar una

revista y su evolución, la descripción detallada de la producción científica de un

investigador en una categoría concreta, etc... (figuras 28, 29 y 30)

Page 189: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

185

Figura 27. Descripción de una Ficha Principal y una Ficha Secundaria del sistema de información.

Page 190: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

186

Figura 28. Ficha Secundaria para la producción por categorías JCR y acceso a su Ficha Detalle en el sistema de información.

Page 191: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

187

Figura 29. Ficha Secundaria para los datos de impacto y visibilidad por categorías JCR y acceso a su Ficha Detalle y sus pestañas de consulta en el sistema de información.

Page 192: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

188

Figura 30. Ficha Secundaria para los datos de financiación por entidades por y acceso a su Ficha Detalle y sus pestañas de consulta en el sistema de información.

Page 193: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

189

Además de los tres niveles de consulta anteriores la Ficha Principal contiene otros

dos nuevos objetos: Gráficos Dinámicos y Referencias

» Gráficos dinámicos: desde un cuadro combinado situado en la zona inferior

de la Ficha Principal los indicadores de ésta se presentan en gráficos

dinámicos generados automáticamente pudiéndose abrir todos ellos

simultáneamente. Su formato está preconfigurado pero no su tamaño de modo

que el usuario puede cambiarlo hasta ocupar toda la pantalla (figura 31).

Figura 31. Acceso al objeto Gráficos Dinámicos desde la Ficha Principal en el sistema de información

Page 194: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

190

»Referencias: A través de otro cuadro combinado desde la Ficha Principal para

las diferentes tipologías documentales existentes se puede acceder a su listado

abreviado de referencias y en un segundo paso a una ficha con la descripción

completa del documento (publicaciones en revistas, congresos, proyectos de

investigación, etc...) (figura 32).

Figura 32. Acceso al objeto Referencias desde la Ficha Principal en el sistema de información

Page 195: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

191

En función del tipo información que contienen y manteniendo todas ellas la

estructura lógica descrita en los párrafos anteriores podemos clasificar las Fichas en

diez categorías:

» Ficha Publicación: Se ofrecen los datos correspondientes a los diferentes

indicadores de producción en revistas científicas, aportaciones a congresos,

libros y monografías, capítulos y obras colectivas. A través de las Fichas

Secundarias podemos consultar la producción por años, por categorías JCR,

por revistas, por los países de celebración de los congresos, etc. (figuras 27 y

28).

» Ficha Impacto: Es la ficha donde se ofrecen los indicadores de visibilidad

(cuartiles, Top3, indicadores basados en el Impact Factor), impacto (citas,

promedio de citas, documentos citados y no citados) y la caracterización de los

citantes (UNAV, review, 1º C y Top3). Con las Fichas Secundarias podemos

acceder a los indicadores por años y por categoría JCR. (figuras 29 y 31).

» Ficha Firmas: A través de esta ficha se analiza los hábitos de firma de los

investigadores según aparezcan en los trabajos en posición Inicial, Media,

Final e Individual. Se realiza dos análisis: uno para todos los documentos y otro

para los ítems citables (ISItemCit). En las Fichas Secundarias se presentan por

años a través de su valor absoluto y porcentual. (figura 33)

» Ficha Financiación: Contiene la información relativa a los Contratos y

Proyectos de Investigación. Los Proyectos pueden ser desglosados por años,

por Organismo Financiador, por Programa de Investigación, etc... (figura 30)

» Ficha Actividad: En esta ficha se han incluido diferentes categorías que

comprenden el resto de la actividad investigadora como direcciones de tesis

doctorales, patentes y otras categorías como los cargos en congresos,

estancias en otros centros, pertenencia a comités editoriales, etc... En las Ficha

Secundarias estas actividades se describen con un mayor nivel de detalle.

Page 196: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

192

» Ficha autoría: comprende los Índices de Coautoría y los Patrones de

Colaboración así como el número de autores y el de instituciones que firman

los trabajos, todos ellos pueden ser desglosados por años.

» Investigadores Colaboradores: en esta Ficha tenemos información relativa a

los miembros de la UNAV que han colaborado con un determinado investigador,

nos ofrece para la pareja sus datos conjuntos de de publicación/producción e

impacto/visibilidad, categorías JCR y revistas en las que publican.

» Ficha Colaboración: muestra la información sobre la colaboración con las

diferentes regiones del mundo y sus países. Para cada país se puede

consultar una serie de Fichas Secundarias donde se detalla las instituciones

nacionales e internacionales con las se que se están colaborando y las

categorías JCR donde se publica con sus correspondientes indicadores

conjuntos de publicación/producción e impacto/visibilidad. (figura 34).

» Ficha Palabras Clave: describe la frecuencia de los unitérminos que

aparecen en los títulos de los trabajos dándonos diferentes datos como sus

frecuencias absolutas y relativas, palabras históricas y recientes, parejas de

términos y series temáticas (figura 35).

Page 197: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

193

Figura 33. Ficha Principal y dos gráficos para la opción de análisis de la posición firmante de los investigadores en el sistema de información

Page 198: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

194

Figura 34. Ficha Principal, Ficha Secundaria y Ficha Detalle para la colaboración en el sistema de Información.

Page 199: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

195

Figura 35. Ficha Principal, Ficha Secundaria y gráficas para la opción palabras clave en el sistema de información

Page 200: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

196

Las diez fichas descritas se han implementado cuando la información de las

mismas se adaptaba a las características de los módulos, en la tabla 25 se específica

exactamente donde nos podemos encontrar cada una de ellas.

Tabla 25. Implementación de las diferentes Fichas en los 5 módulos del sistema de información

Módulos Fichas según indicador Universidad Departamento Grupos Investigador Cat. JCR

Publicación O O O O O Impacto O O O O O Firmas ― ― ― O ― Financiación O O O O ― Actividad O O ― O ― Autoría O O O O ― Colaboración O O O O O Palabras clave O O O O O Investigadores colaboradores ― ― ― O ― Premios O O ― O ―

» 4.1.3.2. Resumen General.

Desde el cuadro combinado que se genera al seleccionar una determinada unidad

de un agregado tenemos acceso al Resumen General (figura 36). Este objeto es una

tabla donde se presenta los principales indicadores de forma anual agrupados en

cuatro bloques: Producción, Impacto, Financiación y Actividad. De este modo se

puede consultar con rapidez la evolución anual de una unidad sin necesidad de

recurrir a las Fichas. Este objeto se ha implementado en todos lo módulos

exceptuando el de Categoría JCR. (tabla 26).

Page 201: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

197

Figura 36. Objeto Resumen General para un departamento en el sistema de información

Tabla 26.Módulos donde han sido implementados el objeto Resumen General.

Módulos Universidad Departamento Grupos Investigador Cat. JCR

O O O O ―

Page 202: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

198

» 4.1.3.3. Rankings

La opción de selección para el objeto Rankings se encuentra situada en el menú

desplegable situado a la derecha de los distintos módulos (figura 37). Un Ranking es

una tabla donde se listan las unidades de un determinado nivel de agregación

ofreciéndonos, para cada una de ellas, una serie de indicadores significativos a partir

de los cuales dichas unidades pueden ser ordenadas de mayor a menor. Estos

Rankings son parametrizados a través de un menú donde se escoge determinadas

agrupaciones; si son investigadores podemos filtrar por departamento, y los años.

Existen dos tipos de rankings uno para los indicadores de publicación y otro para los

indicadores de impacto. Otra opción interesante es la posibilidad de generar gráficos

multivariados utilizando como puntos las unidades presentes en los Rankings y los

diferentes indicadores como ejes de abscisas y ordenadas. Este objeto ha sido

implementado para los departamentos, los investigadores y las categorías JCR (tabla

27)

Tabla 27. Módulos donde ha sido implementados el objeto Ranking.

Módulos Indicadores Universidad Departamento Grupos Investigador Cat. JCR

Publicación ― O ― O O Impacto ― O ― O O

Page 203: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

199

Figura 37. El objeto Rankings para el Módulo Investigadores en el sistema de información

Gráficos multivariados generados a partir de las variables del ranking

Page 204: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

200

» 4.1.3.4. Informes

Desde el cuadro combinado que se crea al seleccionar una determinada unidad de

un agregado tenemos acceso al menú del objeto Informes (figura 38). Este objeto

genera una colección de tablas y gráficos para los distintos indicadores

estructurándolos en secciones y páginas dispuestas para ser impresas, pudiéndose

realizar una visualización previa antes de la impresión.

Figura 38. El objeto Informes para el Módulo Investigadore en el sistema de información

Page 205: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

201

Se han implementado tres tipos de informes en función de la cantidad, el nivel de

detalle, la presentación y el tipo de la información (figura 29):

» Informes Básicos. Constan de 5 páginas y presentan conjuntamente lo

valores globales para el período ingresado en la base de datos de los

indicadores de publicación, impacto colaboración y financiación

» Informes Avanzados. Con una extensión entre 4 y 6 páginas son informes

detallados e independientes para cada uno de los cuatro bloques de los

indicadores anteriores pudiéndose incluir a elección del usuario gráficos

dinámicos y presentándose el desglose y evolución anual.

» Informes de Referencias. Permite obtener los listados de las referencias

completas para las publicaciones en revistas y los contratos y proyectos de

investigación.

» Otras opciones para la exportación de datos. Existe en todo el sistema la

posibilidad de exportar selectivamente los datos que se presentan en las

Fichas Secundarias y Detalle. Esta opción se representa mediante una flecha

en la parte superior de cada una de las tablas indicándonos que los datos

pueden exportarse, al pulsarse se abre un menú donde el usuario puede

escoger los dos formatos predeterminados de exportación: html y txt. (figura 40)

En la tabla 28 se específica en que módulos se han implementado los informes y

la opción de exportación de datos.

Tabla 28. Módulos donde han sido implementados los informes y la exportación a txt y html.

Módulos Salida Universidad Departamento Grupos Investigador Cat. JCR

Informes O O ― O ― Exportación de datos O O O O O

Page 206: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

202

Figura 39. Páginas extraídas de los tres tipos de informes disponibles

Page 207: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

203

Figura 40. La opción para Exportar los datos de las tablas de las Fichas Secundarias y Detalle.

» 4.1.4. Aplicaciones específicas: creación de grupos

» 4.1.4.1. Descripción general del Módulo Grupos

De los cinco módulos implementados en el sistema en cuatro de ellos las

diferentes unidades de los niveles de agregación (Universidad , Investigadores,

Departamentos y Categorías JCR) están predeterminados por defecto y definidos por

los gestores de la propia universidad. Ellos deciden de antemano los investigadores y

departamentos que estarán dispuestos para su consulta. Sin embargo, la investigación

frecuentemente es interdisciplinar y la colaboración entre científicos traspasa las

Page 208: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

204

fronteras de sus propios departamentos y estructuras académicas Por ello, en

ocasiones puede ser necesario conocer la producción conjunta y comparada de dos o

más investigadores de diferentes departamentos o de grupos formales e informales de

investigación que no han sido definidos previamente. Para superar estás limitaciones

se ha creado un módulo con características singulares: el Módulo Grupos. Para crear

un grupo debemos acceder al módulo desde el Menú Principal, una vez dentro

escogemos el nivel ya que se ofrecen dos posibilidades: Grupo de Investigadores y

Grupos de Departamentos. Decidida una de las opciones se introducen los miembros

en cada uno de los 36 cuadros combinados, que es el tamaño máximo de un grupo, y

se les da un nombre que los defina. De esta forma el grupo queda almacenado y

podremos consultar sus Fichas y todos sus objetos del mismo modo que con los

módulos anteriores. (figura 41)

Figura 41. Navegación y creación de grupos de investigadores a través del Módulo Grupos en el sistema de información

Page 209: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

205

Este módulo cumple, al menos, dos funciones, por un lado calcula los indicadores

conjuntos que genera el grupo presentados en fichas idénticas a las descritas en

apartados anteriores, y por otro, realiza comparaciones entre los miembros del grupo

mediante gráficos dinámicos convencionales y multivariados. De esta forma se pueden

contrastar de manera rápida, selectiva y sin necesidad de cambiar de unidad la

producción y el impacto de diferentes investigadores y departamentos (figura 42). El

Módulo Grupos también permite movernos en un entorno de simulación ya que se

pueden generar grupos artificiales, no establecidos, o estudiar cuando aporta una

unidad al total de un indicador global

Figura 42. Gráficos del Módulo Grupos obtenidos desde la Fichas Principal

Page 210: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | El sistema de información _CIENTIFICA

206

» 4.1.4.2. Comparaciones entre distintos grupos

Dentro de la opción investigadores del módulo grupos se ha facilitado la

capacidad de poder comparar la producción, el impacto y la financiación de tres

grupos de investigadores diferentes. Los grupos se generan en un formulario de

entrada continuo donde se van introduciendo los nombres que los forman y a

continuación consultamos la tabla donde se reflejan los diferentes valores

recogidos en cuatro bloques. Esta misma información también puede ser

visualizada a través de gráficos donde se muestran conjuntamente los

indicadores de cada grupo (figura 43).

Figura 43. Creación de comparaciones entre tres Grupos.

Page 211: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Contexto de la producción científica…

207

» 4.2. CONTEXTO DE LA PRODUCCIÓN DE LA UNIVERSIDAD DE NAVARRA.

La Universidad de Navarra tiene la mayor parte de sus centros en la Comunidad

Foral de Navarra (CFN) aunque algunos de ellos como el Tecnun o el IESE se

localizan en San Sebastián, Madrid o Barcelona. Por ello su producción no se tendrá

en cuenta ni para las contabilizaciones de la comunidad ni para las de la propia UNAV.

Respecto a la CFN recientes estudios ponen de manifiesto como ésta se sitúa a la

cabeza nacional respecto al número de patentes EPO por millón de habitantes y la

segunda respecto al número de publicaciones por millón de habitantes, tan solo

adelantada para este último indicador por la Comunidad de Madrid (Gómez, Sancho,

et. al., 2006, p. 299) (gráfica 6). Nos encontramos, por tanto, ante una de las CCAA

más especializada en ciencia y tecnología y forma parte del grupo de cabeza nacional.

De hecho la CFN destinó para el período 1995-2001 en torno al 1% de su PIB a I+D

tan solo por detrás de Madrid, el País Vasco y Cataluña.

Gráfica 6. Especialización de las Comunidades Autónomas en Ciencia y Tecnología.

NAVARRA

Cataluña

MadridPaís Vasco

AragónC. Valenciana

CanariasCantabria

MurciaAndalucía

Rioja

C la Mancha

Baleares

Galicia

C León

AsturiasExtremadura

0

10

20

30

40

50

60

70

0 200 400 600 800 1000 1200 1400 1600 1800

Nº de Publicaciones (anual) / 106 hab

Nº d

e pa

tent

es E

PO (a

nual

) / 1

06 hab

Page 212: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Contexto de la producción científica…

208

Al ser una comunidad uniprovincial con dos universidades y tres complejos

hospitalarios importantes la CFN no destaca por aportar un gran número de

documentos ISI al total español. Siguiendo la gráfica 7 observaremos que en la

aproximación para los años 2001-2003 la producción científica española supuso un 2,4

de la producción mundial, justamente la misma cifra que representa la CFN respecto a

España. Es una producción científica con un crecimiento regular ya que todos los años

aumenta pasándose de los 505 ítems citables del año 1999 a los 728 del año 2005,

sumando para todo el período un total de 4380 (figura 44). Si consideramos los

ISItems, donde el abanico de tipologías es más amplio, la cifra se eleva a 5253. Este

conjunto se caracteriza por una presencia predominante de artículos (75%) y por la

publicación de los trabajos en lengua inglesa (92%).

Gráfica 7. Porcentajes de ISItems de la CF de Navarra respecto a España y el Mundo para los años centrales 2001-2003.

Page 213: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Contexto de la producción científica…

209

La UNAV juega un papel importante dentro de la CFN ya que tiene un gran peso

sobre el total de la producción ISI al firmar el 53% de los documentos citables, cifra

que se mantiene casi constante a lo largo del tiempo si exceptuamos el año 2004

donde sus 398 ISItemCit supusieron el 56%, el mayor porcentaje para todo el período

Figura 44. Número de Ítems (ISItem), Número de ítems citables (ISItemCit), tipologías documentales e idioma de publicación para la Comunidad Foral de Navarra y número y porcentaje de items citables firmados por la Universidad de Navarra.1999-2005.

Producción CF Navarra %ISItemCit firmados por la UNAV

Año ISItem ISITemCit

1999 581 505 2000 697 594 2001 683 589 2002 732 620 2003 748 627 2004 894 717 2005 918 728

Totales 5253 4380

2080; 47%2300; 53%

Resto CF Navarra Unav

Porcentaje y Número de ISItemCit firmados por la UNAV

266317 302 317 318

398 38253%

53% 51% 51% 51%

56% 52%

0

100

200

300

400

500

600

700

800

1999 2000 2001 2002 2003 2004 2005

Año publicación

Nº I

SITe

mC

it

48

49

50

51

52

53

54

55

56

Otros datos: Tipologías documentales e idioma de la producción ISI de la CF de Navarra

Article; 76

Meeting Abstract;

13

Review; 3

Letter; 4

Editorial ; 2

Book Review; 1

English; 92

Spanish; 8

Resto; 1

Page 214: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Contexto de la producción científica…

210

Otra de las características de la CFN es su alta especialización en el campo de la

Medicina que alcanza el 52% con sus 2657 ítems citables, de los cuales la UNAV ha

firmado el 75%. La UNAV también obtiene cifras significativas en Química donde firma

61% de los ISTemCit. Otros de los campos importantes de la CFN son la Ingeniería-

Tecnología y la Física con un 12% y el 11% respectivamente sobre el total de la

producción (figura 45). Estos datos también quedan reflejados en las categorías JCR

donde publican al menos 100 ISItemCit ya que de las diecinueve categorías presentes

en el listado doce están relacionadas con las ciencias de la salud (figura 46).

Figura 45. Número y porcentaje de ítems citables (ISItemCit) distribuidos por grandes campos del conocimiento para la Comunidad Foral de Navarra y aportación de la UNAV en cada uno de ellos.1999-2005.

Universidad de Navarra Comunidad Foral de Navarra %ISItemCit de la CFN firmados por la UNAV ISItemCit totales producidos por la CFN

100% |------------------------------------------- 0% Nº Campos de la Ciencia Nº 0%----------------------------------| 50%

75% |■■■■■■■■■■■■■■■■■■■■| 1986 Medicina 2657 |■■■■■■■■■■■■■■■■■| 52%

14% |■■■■■■■■■■■■■■■■■■■■| 183 Ingeniería, Tecnología 596 |■■■■| 12%

12% |■■■■■■■■■■■■■■■■■■■■| 69 Física 582 |■■■■| 11%

42% |■■■■■■■■■■■■■■■■■■■■| 228 Agricul., Biolog. y Medio Amb. 548 |■■■■| 12%

56% |■■■■■■■■■■■■■■■■■■■■| 183 Química 327 |■■| 6%

23% |■■■■■■■■■■■■■■■■■■■■| 48 Matemáticas 208 |■| 4%

40% |■■■■■■■■■■■■■■■■■■■■| 74 Ciencias Sociales 184 |■| 4%

61% |■■■■■■■■■■■■■■■■■■■■| 23 Multidisciplinar 38 |■| 0,7%

25% |■■■■■■■■■■■■■■■■■■■■| 1 Humanidades 4 |■| 0,08%

.

Page 215: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Contexto de la producción científica…

211

Figura 46.Número de ítems citables (ISItemCit) e ítems (ISItem) distribuidos por categorías JCR con más de 99 ítems citables para la Comunidad Foral de Navarra. 1999-2005.

Categoría JCR ISItemCit ISItem Bioquímica y Biología Molecular ■■■■■■■■■■■■■■■■■■■■■■■| 229 257 Oncología ■■■■■■■■■■■■■■■■■■■■■| 211 270 Ingeniería Eléctrica y Electrónica ■■■■■■■■■■■■■■■■■■■| 195 197 Física, Multidisciplinar ■■■■■■■■■■■■■■■■■| 176 176 Neurología Clínica ■■■■■■■■■■■■■■■■■| 174 221 Farmacología y Farmacia ■■■■■■■■■■■■■■■■| 167 180 Ciencia y Tecnología de Alimentos ■■■■■■■■■■■■■■■■| 166 166 Inmunología ■■■■■■■■■■■■■■■■| 166 190 Cirugía ■■■■■■■■■■■■■■■■| 157 171 Neurociencias ■■■■■■■■■■■■■■■■| 157 189 Física, Partículas y Campos ■■■■■■■■■■■■■■■■| 150 151 Matemáticas Aplicadas ■■■■■■■■■■■■■■| 129 132 Medicina Interna y General ■■■■■■■■■■■■■■| 122 152 Óptica ■■■■■■■■■■■■■■| 121 122 Microbiología ■■■■■■■■■■■| 110 112 Hematología ■■■■■■■■■| 108 184 Corazón y Sistema Cardiovascular ■■■■■■■■■| 103 153 Gastroenterología y Hepatología ■■■■■■■■■| 101 253 Nutrición y Dietética ■■■■■■■■■| 100 127

Comparada con otros centros de su entorno regional la UNAV es la institución más

productiva de la CFN (gráfica 8). La segunda institución en producción de ISItemCit es

la Universidad Pública de Navarra con 1159 trabajos, casi la mitad que la UNAV. Muy

lejanas de ambas cifras están los hospitales del Sistema Sanitario de Navarra, el

Hospital de Navarra y el Hospital Virgen del Camino, que conjuntamente suman 332

ISItemCit.

Gráfica 8. Número de ítems citables (ISItemCit) para la Universidad de Navarra, la Universidad Pública de Navarra, el Hospital Virgen del Camino y el Hospital de Navarra. Evolución anual 1999-2005.

382398

318317302317

266

211185197

157164135

110

UNAV: R2 = 0,7795

UPN: R2 = 0,9019

0

50

100

150

200

250

300

350

400

450

1999 2000 2001 2002 2003 2004 2005

Año publicación

Nº I

SIte

mC

it

UNAV HN HVC UPN

Page 216: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

212

» 4.3. INDICADORES DE PRODUCCIÓN CIENTÍFICA » 4.3.1. Producción en revistas científicas

La UNAV ha publicado contabilizando la producción en revistas ISI, NdocISI, y en

revistas no indizadas por el ISI, NdocNOISI, un total de 3753 documentos en el

período 1999-2005. (figura 47). La producción ISI representa la mayoría ya que suma

2424 documentos lo que significa un 65% con una tendencia positiva en cuanto a su

crecimiento bruto y porcentual. En el último año analizado el indicador NdocISI

alcanzaba ya el 72% del total. La situación opuesta nos la encontramos con la

producción no cubierta por el ISI; se registra un descenso progresivo de la misma ya

que obtiene para el indicador NdocNOISI el valor mínimo de 133 documentos, 28%, en

el año 2005. Los resultados, demuestran el alto grado de internacionalización

alcanzado por la UNAV.

Figura 47. Número y porcentaje de documentos no ISI (NdocNoISI), documentos ISI (NdocISI) y total de documentos (Ndoc) para la Universidad de Navarra. 1999-2005.

0

50

100

150

200

250

300

350

400

450

1999 2000 2001 2002 2003 2004 20050

50

100

150

200

250

300

350

400

450

1999 2000 2001 2002 2003 2004 2005

NdocNOISI NdocISI Ndoc

Año Nº % Nº % Total

1999 216 41 305 59 521 2000 232 39 358 61 590 2001 209 39 322 61 531 2002 193 34 367 66 560 2003 169 33 339 67 508 2004 177 32 384 68 561 2005 133 28 349 72 482

2424; 65%

1329; 35%

NdocNOISI NdocISI

Totales 1329 35 2424 65 3753

Page 217: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

213

Figura 48. Número y porcentaje de documentos no ISI (NdocNOISI), documentos ISI (NdocISI) y total de documentos (Ndoc), para los departamentos ordenados según el total de documentos ISI. 1999-2005.

NdocNOISI NdocISI Ndoc %NdocISI Departamento Nº % Nº % Total %NdocNOISIMEDICINA INTERNA 55 14 327 86 382 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 113 34 219 66 332 NEUROLOGIA Y NEUROCIRUGIA 73 23 247 77 320 AREA NEUROCIENCIAS 49 15 265 85 314 AREA TERAPIA GENICA 44 15 250 85 294 FISIOLOGIA Y NUTRICION 87 32 182 68 269 AREA CARDIOVASCULAR 65 26 182 74 247 AREA ONCOLOGIA 43 18 199 82 242 HISTOLOGIA ANATOMIA PATOLOGICA 54 23 178 77 232 HEMATOLOGIA Y HEMATOTERAPIA 56 27 151 73 207 FARMACIA Y TECNOLOGIA FARMACEUTICA 34 20 137 80 171 MEDICINA PREVENTIVA Y SALUD PUBLICA 50 31 110 69 160 ONCOLOGIA 51 32 105 68 156 FARMACOLOGIA CLINICA 84 55 68 45 152 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 100 69 44 31 144 BIOQUIMICA Y BIOLOGIA MOLECULAR 21 15 120 85 141 CIRUGIA GENERAL Y DIGESTIVA 72 51 68 49 140 GENETICA 16 13 111 87 127 RADIOLOGIA 58 46 67 54 125 QUIMICA ORGANICA Y FARMACEUTICA 38 31 86 69 124 PEDIATRIA 41 34 80 66 121 ANATOMIA 63 53 57 47 119 MICROBIOLOGIA Y PARASITOLOGIA 33 29 81 71 114 ENDOCRINOLOGIA Y NUTRICION 46 41 65 59 111 INVESTIGACION Y DESARROLLO DE MEDICAMENTOS 36 33 74 67 110 ALERGOLOGIA E INMUNOLOGIA CLINICA 52 48 57 52 109 QUIMICA Y EDAFOLOGIA 22 22 80 78 102 BROMATOLOGIA, TECNOLOGIA DE LOS ALIMENTOS Y TOXICOLOGIA 14 14 85 86 99 OFTAMOLOGIA 65 68 31 32 96 DERMATOLOGIA 36 39 57 61 93 MEDICINA NUCLEAR 40 48 43 52 83 GINECOLOGIA Y OBSTETRICIA 35 44 44 55 78 OTORRINOLARINGOLOGIA Y PATOLOGIA CERVICO FACIAL 37 49 39 51 76 FARMACOLOGIA 1 1 70 99 71 PSIQUIATRIA Y PSICOLOGIA MEDICA 16 24 52 76 68 INMUNOLOGIA 18 30 42 70 60 ANESTESIOLOGIA Y REANIMACION 37 70 16 30 53 HUMANIDADES BIOMEDICAS 42 86 7 14 49 UROLOGIA 39 89 5 11 44 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 10 24 31 76 41 DIGESTIVO 14 34 27 66 41 UNIDAD MORFOLOGIA E IMAGEN 8 20 32 80 40 UNIDAD PROTEOMICA , GENOMICA Y BIOINFORMATICA 1 3 31 97 32 NEFROLOGIA 2 7 26 93 28 FARMACIA CLINICA 7 26 20 74 27 ENFERMERIA DE LA PERSONA ADULTA 17 89 2 11 19 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 12 86 2 14 14 DIETETICA Y DIETOTERAPIA 6 60 4 40 10 BIOLOGIA DE TUMORES CEREBRALES 0 0 8 100 8 SERVICIO ANIMALARIO 0 0 3 100 3

Page 218: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

214

En cuanto a los cincuenta departamentos analizados cuatro de ellos superan los

300 Ndocs con porcentajes de documentos ISI superiores al 65%; son los

departamentos de Medicina Interna, Cardiología y Cirugía Cardiovascular, Neurología

y Neurocirugía y Área de Neurociencias. Si tenemos en cuenta la producción ISI,

NdocISI, los tres departamentos más productivos son Medicina Interna, Área de

Neurociencias y el Área de Terapia Génica. Es también reseñable el hecho de que los

departamentos con mayor producción suelen ser también los que más porcentaje de

producción tienen. Conforme nos acercamos a las zonas bajas del ranking disminuye

considerablemente este valor, es el caso de Humanidades Biomédicas, Urología,

Enfermería de la Persona Adulta, Enfermería Comunitaria con porcentajes de

NdocNoISI superiores al 80% (figura 48).

Los artículos producidos por la UNAV se han publicado en 1081 revistas

científicas diferentes, de las cuales 715 están indizadas en el Journal Citation Reports.

En la tabla 29 se presentan las 65 revistas en las que se han superado la cantidad de

10 documentos, comprendiendo este pequeño grupo de publicaciones el 39% del total

de la producción. De este conjunto de revistas 38 son españolas, 41 están indexadas

en el JCR y de éstas 21 lo hacen en el primer cuartil de su categoría y 10 en el TOP3

(véase apartado 3.5.3.2). Las revistas científicas en las que más se produce están

muy vinculadas al entorno de la UNAV, de hecho la primera de ellas es la Revista de

Medicina de la Universidad de Navarra y la segunda los Anales del Sistema Sanitario

de Navarra. La primera revista que nos encontramos del JCR en el ranking es

Medicina Clínica de Barcelona una revista nacional que se situaba en el segundo

cuartil en el año 2005 y en la cual la UNAV ha publicado un total de 64 Ndocs. Desde

esta tercera posición hasta la octava todas son revistas JCR en su mayoría del cuarto

cuartil exceptuando Neurology que es la primera revista que hallamos del primer cuartil.

Las revistas TOP3 con un mayor número de documentos son Allergy y Hepatology

con 16 y 15 respectivamente.

Page 219: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

215

Tabla 29. Número y porcentaje de documentos (Ndoc), nacionalidad y datos de impacto del Journal Citation Reports para las revistas con más de 10 documentos ordenadas por producción. 1999-2005.

Datos de la revista* Indicadores

Título de la revista Esp* JCR ‘05* Q '05* Top3* Nº Ndoc % Ndoc %Acum REVISTA DE MEDICINA DE LA UNIVERSIDAD DE NAVARRA O X X X 118 3,15 3 ANALES DEL SISTEMA SANITARIO DE NAVARRA O X X X 83 2,21 5MEDICINA CLINICA O O 2º X 64 1,71 7REVISTA DE NEUROLOGIA O O 4º X 61 1,63 9JOURNAL OF PHYSIOLOGY AND BIOCHEMISTRY X O 4º X 50 1,33 10NEUROLOGIA O O 4º X 50 1,33 11REVISTA ESPANOLA DE CARDIOLOGIA O O 2º X 44 1,17 13NEUROLOGY X O 1º X 42 1,12 14REVISTA DE ORTOPEDIA Y TRAUMATOLOGIA O X X X 41 1,09 15MEDICINE (ESPAÑA) O X X X 39 1,04 16ARCHIVOS DE LA SOCIEDAD ESPANOLA DE OFTALMOLOGIA O X X X 34 0,91 17HAEMATOLOGICA X X X X 31 0,83 18ACTAS UROLOGICAS ESPAÑOLAS O X X X 26 0,69 18REVISTA ESPANOLA DE ANESTESIOLOGIA Y REANIMACION O X X X 24 0,64 19TRANSPLANTATION PROCEEDINGS X O 3º / 4º X 24 0,64 19CIRUGIA ESPANOLA O X X X 20 0,53 20REVISTA CLINICA ESPANOLA O O 4º X 20 0,53 21REVISTA ESPANOLA DE PATOLOGIA O X X X 20 0,53 21JOURNAL OF HEPATOLOGY X O 1º X 19 0,51 22RADIOLOGIA O X X X 18 0,48 22REVISTA ESPANOLA DE QUIMIOTERAPIA O X X X 18 0,48 23ACTA OTORRINOLARINGOLOGICA ESPANOLA O X X X 17 0,45 23ENFERMEDADES INFECCIOSAS Y MICROBIOLOGIA CLINICA O O 4º X 17 0,45 23INTERNATIONAL JOURNAL OF OBESITY X O 1º X 17 0,45 24JOURNAL OF INVESTIGATIONAL ALLERGOLOGY & CLINICAL IMMUNOLOGY X O 3º / 4º X 17 0,45 24PLASTIC AND RECONSTRUCTIVE SURGERY X O 2º X 17 0,45 25ALLERGY X O 1º O 16 0,43 25AMERICAN COLLEGE OF RADIOLOGY ACR X X X X 16 0,43 26HYPERTENSION X O 1º X 16 0,43 26HEPATOLOGY X O 1º O 15 0,40 27INMUNOLOGIA O X X X 15 0,40 27OPHTALMOLOGY CAPSULE AND COMMENT X X X X 15 0,40 27ALLERGOLOGIA ET IMMUNOPATHOLOGIA X X X X 14 0,37 28BIOCHEMICAL AND BIOPHYSICAL RESEARCH COMMUNICATIONS X O 2º X 14 0,37 28BRITISH JOURNAL OF DERMATOLOGY X O 1º O 14 0,37 28CANCER GENETICS AND CYTOGENETICS X O 3º X 14 0,37 29INTERNATIONAL JOURNAL OF PHARMACEUTICS X O 2º X 14 0,37 29JOURNAL OF AGRICULTURAL AND FOOD CHEMISTRY X O 1º O 14 0,37 30REVISTA ESPANOLA DE MEDICINA NUCLEAR O X X X 14 0,37 30ACTAS ESPANOLAS DE PSIQUIATRIA O O 4º X 13 0,35 30ANALES ESPANOLES DE PEDIATRIA O X X X 13 0,35 31CARDIOVASCULAR AND INTERVENTIONAL RADIOLOGY X O 4º X 13 0,35 31CLINICAL CANCER RESEARCH X O 1º X 13 0,35 31DRUGS OF THE FUTURE X O 4º X 13 0,35 32GASTROENTEROLOGY X O 1º O 13 0,35 32JOURNAL OF CHROMATOGRAPHY A X O 1º X 13 0,35 32LEUKEMIA X O 1º X 13 0,35 33NUTRICION HOSPITALARIA O X X X 13 0,35 33ALERGOLOGIA E INMUNOLOGIA CLINICA O X X X 12 0,32 33BLOOD X O 1º O 12 0,32 34CANCER RESEARCH X O 1º X 12 0,32 34CIRCULATION X O 1º O 12 0,32 34EUROPEAN RADIOLOGY X O 2º X 12 0,32 34GENES, CHROMOSOMES & CANCER X O 2º X 12 0,32 35JOURNAL OF BIOLOGICAL CHEMISTRY X O 1º O 12 0,32 35JOURNAL OF CONTROLLED RELEASE X O 1º O 12 0,32 36MAPFRE MEDICINA O X X X 12 0,32 36ACTA OTOLARYNGOLOGICA X O 3º X 11 0,29 36DRUG DATA REPORT X X X X 11 0,29 37FASEB JOURNAL X O 1º O 11 0,29 37GASTROENTEROLOGIA Y HEPATOLOGIA O X X X 11 0,29 37INTERNATIONAL JOURNAL OF CANCER X O 1º X 11 0,29 37MOLECULAR THERAPY X O 1º X 11 0,29 38NEFROLOGIA O O 4º X 11 0,29 38ONCOGENE X O 1º X 11 0,29 38PRESION ARTERIAL O X X X 11 0,29 39otras 1015 revistas diferentes 2307 61,44 100

Totales 3753 100,00 100

*Títulos de las columnas: Esp: Indica si la revista es española ; JCR ‘05: indica si la revista esta indizada en el Journal Citation Reports (JCR) en el año 2005 ; Q ‘05: indica el cuartil en que se sitúa la revista dentro de su categoría JCR en el año 2005; Top3: Indica si se sitúa entre las primeras revistas de su categoría JCR.

Page 220: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

216

» 4.3.2. Producción en revistas científicas de la WoS.

Figura 49. Número de ítems (ISItem), Número y porcentaje de items citables (ISItemCit) y tipologías documentales utilizadas para la universidad. Evolución anual.

Evolución anual de los indicadores ISItem y ISItemCIT

Año ISItem ISItemCit

1999 362 299 83% 2000 426 343 81% 2001 385 305 79% 2002 436 349 80% 2003 427 320 75% 2004 474 357 75% 2005 461 326 71% 0

50100150200250300350400450500

1999 2000 2001 2002 2003 2004 20056466687072747678808284

ISItems ISItemCit %ISItemCit

Totales 2971 2299 77%

Tipología documentales utilizadas

Ítems Citables (ISITemCit) Año Article Letter Review

1999 272 17 10 2000 286 37 20 2001 270 18 17 2002 322 17 10 2003 273 24 23 2004 308 27 22 2005 280 15 31

32; 1%

2; 0%

547; 18%

89; 3%

133; 4%

2011; 69%

155; 5%

2; 0%

ARTICLE BOOK REVIEW CORRECTIONEDITORIAL MATERIAL LETTER MEETING ABSTRACTOTHERS REVIEW

Totales 2011 155 133

La UNAV en el área de ciencias de la salud ha producido un total de 2971

documentos en la bases de datos de Thomson-ISI de los cuales 2299, el 77%, son

citables (article, letter, review y note) y por tanto producción científica relevante (figura

49). La producción ISI muestra una tendencia anual de crecimiento pasándose de los

362 ISItems del año 1999 a los 474 y 461 de los años 2004 y 2005. Esta tendencia se

produce igualmente para los ítems citables aunque de forma más atenuada e irregular,

además éstos pierden peso sobre el porcentaje total ya que en 2005 representa solo el

71% del total frente al 83% del año 1999. La tipología documental que más ISItem

tiene es la de los artículos (articles) con el 69%, le siguen los meetings abstracts, una

tipología no citable que abarca el 18%. Del resto de tipologías hay que destacar el

Page 221: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

217

crecimiento de los reviews que sumaban en 2005 un total de 31 ítems, el triple que en

1999. En cuanto a los idiomas predomina el inglés con el 91% de los documentos

seguido muy de lejos por el español con el 9,2 %, porcentaje que desciende aún más

para los dos últimos años (figura 50). El resto de los idiomas no tienen una presencia

relevante.

Figura 50.Número y porcentaje de trabajos ISI (ISItems) distribuidos por idioma de publicación para la universidad. Evolución anual.

2691; 91%

273; 9%

2; 0%4; 0%1; 0%

Inglés

Español

Francés

Alemán

Italiano

Inglés Francés Alemán Italiano Español

Año Nº % Nº % Nº % Nº % Nº %

1999 321 88,7 0 0,3 1 0,3 0 0,0 40 11,0 2000 393 92,3 0 0,0 0 0,0 0 0,0 33 7,7 2001 347 90,1 0 0,0 0 0,0 2 0,5 36 9,4 2002 391 89,7 0 0,2 1 0,2 0 0,0 44 10,1 2003 369 86,4 0 0,0 0 0,0 0 0,0 58 13,6 2004 442 93,2 0 0,4 2 0,4 0 0,0 30 6,1 2005 428 92,8 1 0,0 0 0,0 0 0,0 32 6,9

Totales 2691 91,0 1 0,1 4 0,1 2 0,03 273 9,2

Page 222: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

218

Quince de los departamentos evaluados consigue publicar más de 100 ítems

citables durante el período estudiado (figura 51). De este grupo encabezado por

Medicina Interna (313), Área de Neurociencias (241) y Área de Terapia Génica (240)

tan solo cinco superan los 200. Estos departamentos se caracterizan además por

tener un porcentaje de ítems no citables cercano al 30%, cifra que suele disminuir

conforme nos acercamos a las zonas bajas del ranking. Respecto a sus valores

anuales Medicina Interna ha sido la más productiva en todos los años excepto en el

2000 que fue superada por Neurología y Neurocirugía y desde el año 2003 despunta

el Área de Oncología que consigue en los tres últimos alguna de las tres primeras

posiciones de producción. Veintinueve de los departamentos presenta un crecimiento

positivo en su producción especialmente acentuado en el caso del Área de Oncología

ya que en tan solo siete años ha pasado de 7 a 40 ítems citables, también destaca en

este aspecto el Área de Cardiovascular. Otros departamentos con un crecimiento en

su producción igual o superior al 0,70 son el Área de Terapia Génica, Medicina Interna

y Psiquiatría y Psicología Medica. De los cincuenta departamentos nueve se han

mantenido estables sin un incremento o descenso significativo. En el plano negativo

once presentan una tendencia a la caída de su producción entre los que destacamos

Fisiología y Nutrición, octavo en el ranking de producción.

Respecto a las categorías JCR la UNAV publica en 87 categorías diferentes, en

cincuenta de las cuales se producen más de nueve ítems Citables (figura 52). Un total

de nueve, el 18%, superan los 100 ISItemCit siendo las más productivas Bioquímica y

Biología Molecular (238), Oncología (197) y Neurología Clínica (189). Se caracteriza

este grupo, sobre todo en las primeras posiciones, por tener un porcentaje de ítems

citables cercano al 90%. El fenómeno contrario nos lo encontramos en

Gastroenterología y Hepatología y en Enfermedad Vascular y Periférica cuyos

porcentajes para el mismo indicador se sitúan en torno al 40%

Page 223: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

219

Figura 51. Número y porcentaje de ítems citables (ISItemCit), número de trabajos ISI (ISItem) y tendencia de la producción citable para los departamentos ordenados según el número de ítems citables. 1999-2005.

ISItemcit* ISItem %ISItemCit CrecimientoDepartamento 99 00 01 02 03 04 05 Total % Nº %Resto de R2 ISItemCIT** MEDICINA INTERNA 29 42 39 51 50 48 54 313 61 516 0,70 + AREA NEUROCIENCIAS 20 47 31 28 26 42 47 241 84 287 0,22 +AREA TERAPIA GENICA 22 30 28 41 41 38 40 240 63 379 0,71 + NEUROLOGIA Y NEUROCIRUGIA 20 53 27 29 26 35 26 216 79 273 0,01 = CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 25 27 27 34 28 34 27 202 63 321 0,19 + AREA ONCOLOGIA 7 14 15 29 44 46 40 195 71 274 0,86 + HISTOLOGIA ANATOMIA PATOLOGICA 22 31 25 25 26 30 17 176 72 245 0,06 - FISIOLOGIA Y NUTRICION 27 25 33 33 18 19 20 175 79 221 0,34 - AREA CARDIOVASCULAR 18 14 20 23 28 37 30 170 62 274 0,77 + HEMATOLOGIA Y HEMATOTERAPIA 11 8 14 23 39 31 17 143 72 198 0,37 + FARMACIA Y TECNOLOGIA FARMACEUTICA 21 27 16 23 13 22 13 135 94 143 0,28 - BIOQUIMICA Y BIOLOGIA MOLECULAR 13 12 12 21 21 25 14 118 77 154 0,30 + GENETICA 6 13 20 17 21 17 16 110 73 150 0,35 + MEDICINA PREVENTIVA Y SALUD PUBLICA 6 16 12 22 19 14 17 106 88 120 0,28 + ONCOLOGIA 14 14 13 11 14 22 14 102 68 149 0,14 + BROMATOLOGIA, TECNOLOGIA DE LOS 7 10 13 12 8 20 15 85 94 90 0,45 + QUIMICA Y EDAFOLOGIA 13 15 6 10 9 13 14 80 99 81 0,00 = MICROBIOLOGIA Y PARASITOLOGIA 7 6 10 17 11 12 16 79 93 85 0,55 + PEDIATRIA 16 7 13 7 12 10 9 74 88 84 0,13 - QUIMICA ORGANICA Y FARMACEUTICA 5 9 8 13 7 17 15 74 83 89 0,60 + FARMACOLOGIA 11 8 9 9 7 12 14 70 92 76 0,22 + RADIOLOGIA 16 8 6 13 3 12 8 66 83 80 0,10 - CIRUGIA GENERAL Y DIGESTIVA 9 12 9 9 12 9 5 65 69 94 0,24 - FARMACOLOGIA CLINICA 11 7 7 6 7 16 11 65 79 82 0,14 + INVESTIGACION Y DESARROLLO DE 5 10 10 13 3 14 10 65 87 75 0,09 + ENDOCRINOLOGIA Y NUTRICION 6 6 13 10 8 11 6 60 73 82 0,01 + ALERGOLOGIA E INMUNOLOGIA CLINICA 11 11 7 4 8 6 8 55 87 63 0,29 - ANATOMIA 10 8 6 8 5 10 6 53 91 58 0,12 - PSIQUIATRIA Y PSICOLOGIA MEDICA 4 6 7 8 10 8 9 52 93 56 0,72 + DERMATOLOGIA 4 13 3 9 7 10 5 51 86 59 0,00 = CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 6 1 7 6 9 6 8 43 91 47 0,29 + GINECOLOGIA Y OBSTETRICIA 5 5 7 5 8 7 6 43 88 49 0,25 + MEDICINA NUCLEAR 5 4 2 10 5 6 10 42 58 72 0,32 + INMUNOLOGIA 5 9 5 6 2 8 5 40 80 50 0,02 - OTORRINOLARINGOLOGIA Y PATOLOGIA CERVICO 5 3 3 4 8 8 8 39 100 39 0,61 + CIRUGIA PLASTICA, REPARADORA Y ESTETICA 6 9 4 1 5 5 1 31 97 32 0,36 - OFTAMOLOGIA 2 3 2 6 8 2 7 30 83 36 0,31 + UNIDAD MORFOLOGIA E IMAGEN 2 5 4 3 4 7 5 30 91 33 0,39 + UNIDAD PROTEOMICA , GENOMICA Y 4 2 5 7 5 4 2 29 83 35 0,00 = DIGESTIVO 0 6 4 3 7 4 1 25 48 52 0,00 = NEFROLOGIA 9 3 0 5 4 1 3 25 71 35 0,22 - FARMACIA CLINICA 4 5 2 1 5 3 0 20 91 22 0,26 - ANESTESIOLOGIA Y REANIMACION 1 5 2 3 1 1 3 16 76 21 0,02 = BIOLOGIA DE TUMORES CEREBRALES 0 0 0 0 2 3 2 7 88 8 0,7 + HUMANIDADES BIOMEDICAS 1 1 3 0 1 0 1 7 100 7 0,09 = UROLOGIA 2 0 1 1 0 0 1 5 100 5 0,16 - DIETETICA Y DIETOTERAPIA 0 0 1 0 1 0 2 4 80 5 0,34 + SERVICIO ANIMALARIO 1 0 1 0 0 1 0 3 100 3 0,08 = ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 0 1 0 0 0 0 1 2 100 2 0,02 =

ENFERMERIA DE LA PERSONA ADULTA 0 0 0 1 0 1 0 2 100 2 0,1 +

*Color de las columnas ISItemCit por año: Rojo: Primer puesto en producción de ISItemCit del año ; Naranja: Segundo puesto en producción de ISItemCit del año ; Amarillo pálido: Tercer puesto en producción de ISItemCit del año ** R2 ISItemCIT**: el número representa el valor de la línea de tendencia de la producción anual de ISItemCit. El signo de la siguiente columna refleja la dirección de la pendiente, R2 (+ tendencia al crecimiento; - tendencia al descenso; = evolución estable). El color: Rojo: valores, independientemente de la tendencia, situados entre 1 y 0,66 ; Naranja: valores entre 0,59 y 0,33 ; Amarillo; valores entre 0,32 y 0,1 ; Gris: valores entre 0,09 y 0

Page 224: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

220

En cuanto a los valores anuales más altos Bioquímica y Biología Molecular

alcanza tres años el primer puesto siendo desplazada en el último año por

Neurociencias. También Oncología los tres últimos años se ha situado en alguno de

los tres primeros puestos, en el plano opuesto está Neurología Clínica que durante los

años 1999 y 2000 fue la categoría más productiva para pasar a figurar los tres últimos

años en la tercera posición. En cuanto al crecimiento 29 de las 50 categorías

presentan una tendencia positiva, entre las categorías más productivas sobresale

Oncología con un valor de R2 de 0,56. También presentan tendencias positivas de

crecimiento destacables Química Médica y Genética con valores de 0,68 y 0,66

respectivamente. Ocho categorías tienen valores estables de producción y trece

poseen una tendencia descendente, en general con valores pocos acusados

exceptuando Cirugía con 0,48 de R2 y Neurología Clínica con 0,46.

Si cruzamos los departamentos con las categorías JCR observamos que los

departamentos más productivos suelen tener bastante dispersa su producción entre

diferentes categorías como ocurre con Histología y Anatomía Patológica que publica

en 46 categorías diferentes, el Área de Terapia en Génica en 38 y Oncología en 35. La

excepción es Neurología y Neurocirugía que concentra el 70% de su producción en

dos categorías (Neurología Clínica y Neurociencias). En los departamentos con una

producción media-baja si es frecuente encontrar una concentración de la publicación

en una o dos categorías, Cirugía, Oftalmología y Dermatología son algunos ejemplos

(tabla 30).

Page 225: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

221

Figura 52. Número y porcentaje de ítems citables (ISItemCit), número de trabajos ISI (ISItem) y tendencia de la producción citable para las categorías temáticas del Journal Citation Report ordenadas según el número de ítems citables. 1999-2005.

ISItemcit* ISItem %ISItemCit Crecimiento

Departamento 99 00 01 02 03 04 05 Total % Nº %Resto de R2 ISItemCIT**BIOQUIMICA Y BIOLOGIA MOLECULAR 31 32 32 41 40 37 25 238 89 267 0,0 = ONCOLOGIA 12 21 25 31 35 46 27 197 82 241 0,56 +NEUROLOGIA CLINICA 35 47 24 17 22 28 16 189 84 226 0,46 - FARMACIA Y FARMACOLOGIA 29 30 25 36 16 26 18 180 92 195 0,30 - NEUROCIENCIAS 20 22 18 17 17 27 39 160 90 179 0,41 + INMUNOLOGIA 23 26 15 19 22 18 28 151 92 165 0,01 = CIRUGIA 25 26 16 20 21 21 12 141 90 156 0,48 -HEMATOLOGIA 14 13 23 20 24 21 19 134 66 202 0,34 + SISTEMA CARDIOVASCULAR 17 15 14 21 13 22 12 114 77 148 0,00 - MEDICINA GENERAL E INTERNA 11 14 13 13 19 16 13 99 79 126 0,22 + BIOLOGIA CELULAR 10 17 11 15 16 15 9 93 80 116 0,00 = GASTROENTEROLOGIA Y HEPATOLOGIA 10 19 17 8 14 12 13 93 38 242 0,02 = NUTRICION Y DIETETICA 7 10 12 20 13 18 10 90 76 119 0,18 + ENFERMEDAD VASCULAR PERIFERICA 9 12 12 13 18 14 11 89 46 195 0,19 + GENETICA 6 11 13 9 17 13 19 88 82 107 0,66 + RADIOLOGIA, MEDICINA NUCLEAR E IMAGEN 16 11 6 15 5 7 9 69 73 95 0,28 - ENDOCRINOLOGIA Y METABOLISMO 10 10 10 12 9 7 12 70 69 101 0,00 = CIENCIA Y TEC. DE LOS ALIMENTOS 6 4 11 10 9 16 11 67 100 67 0,54 + QUIMICA MEDICA 6 4 10 11 9 13 12 65 97 67 0,68 + QUIMICA ANALITICA 13 12 8 6 4 13 6 62 98 63 0,22 - MEDICINA EXPERIMENTAL 6 13 8 9 7 5 13 61 58 106 0,00 = ALERGIA 10 11 7 4 8 6 7 53 87 61 0,34 - BIOTECNOLOGIA Y MICROBIOLOGIA APLICADA 6 7 7 5 9 6 13 53 76 70 0,36 + MICROBIOLOGIA 5 4 6 5 10 9 10 49 98 50 0,75 + TRASPLANTES 8 7 10 7 5 5 7 49 79 62 0,28 - PSIQUIATRIA 7 5 6 4 7 10 9 48 92 52 0,38 + METODOLOGIA INVEST. BIOQUIMICA 9 13 4 5 4 10 2 47 96 49 0,27 - QUIMICA MULTIDISCIPLINAR 0 8 5 10 5 11 4 43 98 44 0,13 + QUIMICA APLICADA 2 3 5 6 6 9 10 41 100 41 0,96 + DERMATOLOGIA Y ENFERMEDADES VENEREAS 2 8 4 7 5 9 5 40 87 46 0,14 + PEDIATRIA 10 3 7 1 8 4 7 40 100 40 0,02 = PATOLOGIA 4 9 4 4 4 8 2 35 46 76 0,06 - ENFERMEDADES INFECCIOSAS 5 2 2 5 10 4 6 34 97 35 0,17 + BIOFISICA 3 7 4 8 4 7 0 33 97 34 0,06 - OTORRINOLARINGOLOGIA 3 3 3 3 7 4 9 32 100 32 0,57 + ORTOPEDIA 6 1 7 3 6 6 2 31 94 33 0,00 = FISIOLOGIA 0 0 1 11 6 4 8 30 91 33 0,44 + OFTAMOLOGIA 2 2 2 7 8 3 6 30 77 39 0,34 + QUIMICA ORGANICA 3 1 2 3 4 7 8 28 100 28 0,75 + OBTESTRICIA Y GINECOLOGIA 3 4 5 2 5 4 2 25 96 26 0,03 - QUIMICA FISICA 4 4 1 3 2 5 5 24 100 24 0,09 + TOXICOLOGIA 1 1 1 6 3 4 8 24 96 25 0,66 + UROLOGIA Y NEFROLOGIA 3 1 7 3 3 3 4 24 73 33 0,01 + BIOLOGIA 1 3 3 7 1 3 3 21 54 39 0,02 + SALUD PUBLICA, MEDIAMBIENTAL Y LABORAL 0 6 3 3 3 3 3 21 91 23 0,01 + SISTEMA RESPITATORIO 2 0 0 2 6 5 3 18 69 26 0,40 + VIROLOGIA 2 1 3 2 3 3 2 16 100 16 0,16 + ANESTESIOLOGIA 1 4 2 4 1 1 1 14 78 18 0,14 - CIENCIAS MULTIDISCIPLINARES 0 1 1 3 3 1 2 11 85 13 0,29 + TECNOLOGIA DE LABORATORIOS MEDICOS 0 1 1 1 4 2 1 10 28 36 0,23 +

*Color de las columnas ISItemCit por año: Rojo: Primer puesto en producción de ISItemCit del año ; Naranja: Segundo puesto en producción de ISItemCit del año ; Amarillo pálido: Tercer puesto en producción de ISItemCit del año ** R2 ISItemCIT**: el número representa el valor de la línea de tendencia de la producción anual de ISItemCit. El signo de la siguiente columna refleja la dirección de la pendiente, R2 (+ tendencia al crecimiento; - tendencia al descenso; = evolución estable). El color: Rojo: valores, independientemente de la tendencia, situados entre 1 y 0,66 ; Naranja: valores entre 0,59 y 0,33 ; Amarillo; valores entre 0,32 y 0,1 ; Gris: valores entre 0,09 y 0

Page 226: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

222

Tabla 30. Número y porcentaje de ítems citables (ISITemCit) publicados en las dos primeras categorías temáticas del Journal Citation Reports con mayor producción para cada uno de los departamentos. 1999-2005.

1º Categoría 2º Categoría Resto categorías

Departamento Denominación Nº * %** Denominación Nº % Nº Categor. Nº %

ALERGOLOGIA E INMUNOLOGIA CLINICA ALERGIA 53 50 INMUNOLOGIA 52 49 2 2 2 ANATOMIA NEUROCIENCIAS 29 38 NEUROLOGIA CLINICA 11 14 12 37 48ANESTESIOLOGIA Y REANIMACION ANESTESIOLOGIA 12 67 6 6 33AREA CARDIOVASCULAR HEMATOLOGIA 58 24 ENFER. VASCULAR PERIFERICA 55 22 27 133 54AREA NEUROCIENCIAS NEUROCIENCIAS 105 31 NEUROLOGIA CLINICA 87 25 34 151 44AREA ONCOLOGIA ONCOLOGIA 79 25 BIOQUIM. Y BIOL. MOLECULAR 35 11 47 205 64AREA TERAPIA GENICA BIOQUIM. Y BIOL. MOLECULAR 56 14 GASTROENTER. Y HEPATOLOGIA 56 14 36 296 73BIOLOGIA DE TUMORES CEREBRALES ONCOLOGIA 5 50 BIOQUIM. Y BIOL. MOLECULAR 2 20 3 3 30BIOQUIMICA Y BIOLOGIA MOLECULAR BIOQUIM. Y BIOL. MOLECULAR 26 14 ONCOLOGIA 18 10 39 139 76BROMATOLOGIA, TEC. ALIMENTOS… CIENCIA Y TEC. DE LOS ALIMENTOS 52 33 QUIMICA APLICADA 32 20 17 73 46CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR SISTEMA CARDIOVASCULAR 84 30 ENFER. VASCULAR PERIFERICA 51 18 29 144 52CIRUGIA GENERAL Y DIGESTIVA CIRUGIA 41 39 GASTROENTER. Y HEPATOLOGIA 13 12 17 52 49CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA ORTOPEDIA 28 37 CIRUGIA 10 13 13 37 49CIRUGIA PLASTICA, REPARADORA Y ESTETICA CIRUGIA 27 69 11 12 31DERMATOLOGIA DERMATOLOGIA Y ENF. VENEREAS 37 57 CIRUGIA 8 12 11 20 31DIETETICA Y DIETOTERAPIA ONCOLOGIA 1 20 BIOQUIM. Y BIOL. MOLECULAR 1 20 3 3 60DIGESTIVO GASTROENTER. Y HEPATOLOGIA 19 54 CIRUGIA 5 14 7 11 31ENDOCRINOLOGIA Y NUTRICION BIOQUIM. Y BIOL. MOLECULAR 15 18 ENDOCRINOLOGIA Y METABOL. 12 14 18 56 67ENFER. COMUNITARIA Y MATERNO INFANTIL ENDOCRINOLOGIA Y METABOL. 1 50 ENFERMERIA 1 50 0 0 0 ENFER.DE LA PERSONA ADULTA ENFERMERIA 1 25 SERVICIOS SANITARIOS 1 25 2 2 50FARMACIA CLINICA FARMACIA Y FARMACOLOGIA 9 27 QUIMICA ANALITICA 5 15 10 19 58FARMACIA Y TECNOLOGIA FARMACEUTICA FARMACIA Y FARMACOLOGIA 93 41 QUIMICA ANALITICA 27 12 26 105 47FARMACOLOGIA NEUROCIENCIAS 34 29 FARMACIA Y FARMACOLOGIA 24 20 10 61 51FARMACOLOGIA CLINICA QUIMICA ANALITICA 22 21 FARMACIA Y FARMACOLOGIA 21 20 20 61 59FISIOLOGIA Y NUTRICION NUTRICION Y DIETETICA 66 27 BIOQUIM. Y BIOL. MOLECULAR 63 26 23 118 48GENETICA ONCOLOGIA 57 33 GENETICA 31 18 17 83 49GINECOLOGIA Y OBSTETRICIA OBTESTRICIA Y GINECOLOGIA 24 39 RADIOLOGIA, MED. NUCLEAR.. 19 31 8 19 31HEMATOLOGIA Y HEMATOTERAPIA HEMATOLOGIA 61 31 ENFER. VASCULAR PERIFERICA 29 15 24 110 55HISTOLOGIA ANATOMIA PATOLOGICA ONCOLOGIA 38 14 BIOLOGIA CELULAR 31 11 44 201 74HUMANIDADES BIOMEDICAS MEDICINA GENERAL E INTERNA 4 67 2 2 33INMUNOLOGIA HEMATOLOGIA 16 28 INMUNOLOGIA 10 17 14 32 55I+D DE MEDICAMENTOS QUIMICA MEDICA 38 33 FARMACIA Y FARMACOLOGIA 31 27 14 47 41MEDICINA INTERNA GASTROENTER. Y HEPATOLOGIA 70 14 BIOQUIM. Y BIOL. MOLECULAR 63 12 42 382 74MEDICINA NUCLEAR SISTEMA CARDIOVASCULAR 7 12 RADIOLOGIA, MED. NUCLEAR… 7 12 21 44 76MEDICINA PREVENTIVA Y SALUD PUBLICA NUTRICION Y DIETETICA 28 21 MEDICINA GENERAL E INTERNA 19 14 29 85 64MICROBIOLOGIA Y PARASITOLOGIA MICROBIOLOGIA 36 28 ENFERMEDADES INFECCIOSAS 20 15 21 74 57NEFROLOGIA TRASPLANTES 13 24 INMUNOLOGIA 13 24 9 28 52NEUROLOGIA Y NEUROCIRUGIA NEUROLOGIA CLINICA 122 46 NEUROCIENCIAS 66 25 24 75 29OFTAMOLOGIA OFTAMOLOGIA 28 67 CIRUGIA 11 26 3 3 7 ONCOLOGIA ONCOLOGIA 45 28 HEMATOLOGIA 24 15 33 89 56ORL Y PATOLOGIA CERVICO FACIAL OTORRINOLARINGOLOGIA 30 52 NEUROLOGIA CLINICA 7 12 10 21 36PEDIATRIA NEUROLOGIA CLINICA 26 25 PEDIATRIA 19 18 19 59 57PSIQUIATRIA Y PSICOLOGIA MEDICA PSIQUIATRIA 33 36 NEUROCIENCIAS 14 15 15 44 48QUIMICA ORGANICA Y FARMACEUTICA QUIMICA MEDICA 37 26 FARMACIA Y FARMACOLOGIA 30 21 17 76 53QUIMICA Y EDAFOLOGIA QUIMICA ANALITICA 25 22 QUIMICA FISICA 20 17 23 70 61RADIOLOGIA RADIOLOGIA, MED. NUCLEAR… 34 35 SISTEMA CARDIOVASCULAR 15 16 19 47 49SERVICIO ANIMALARIO NEUROCIENCIAS 2 50 4 2 50U. MORFOLOGIA E IMAGEN ONCOLOGIA 6 14 PEDIATRIA 6 14 14 32 73U. PROTEOMICA , GENOMICA Y BIOINFORMATICA BIOQUIM. Y BIOL. MOLECULAR 15 28 BIOLOGIA CELULAR 7 13 16 31 58UROLOGIA UROLOGIA Y NEFROLOGIA 2 33 4 4 67

* Nº: Número de ISItemCit publicados en la categorías ** %: Porcentaje de ISItemCit publicados en la categoría Color Columnas: Rojo: para porcentajes de ISItemCit publicados en la categoría entre 50-100 ; Naranja: porcentajes entre 25-50

Page 227: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

223

» 4.3.3. Aportaciones a congresos.

Se han realizado un total 5755 aportaciones a congresos con una tendencia anual

hacía el crecimiento ya que el primer año el total fue de 732 y el último año recopilado

completo, 2004 fue de 1041 (para el año de 2005 no tenemos los datos de las futuras

memorias 2005-2006) (figura 53). Según su difusión el 57% de las mismas fueron de

carácter nacional mientras que el 43% fueron internacionales, el año en que estas

últimas alcanzaron su valor más alto fue en 2000 con el 47%. Ambas categorías

tienden a incrementar su producción sobre todo desde el año 2002 cuando se produce

un despegue importante. Este crecimiento es más acusado para el caso de las

aportaciones nacionales (R2=0,76) que para las internacionales (R2=0,61). Por países

España es el país donde más aportaciones se han presentado, sumando 3860 que

suponen el 67%, de éstas el 84% fueron en congresos nacionales y el 16% en

congresos internacionales. El segundo país es Estados Unidos con 486 aportaciones,

un 8,4%. Solamente España, Estados Unidos, Italia y Francia y Alemania suman el

83% de las aportaciones.

En el caso de los departamentos (figura 54) nueve de ellos han superado las 200

aportaciones siendo el más productivo para este indicador el de Neurología y

Neurocirugía que ha sumado para todo el período 385. Dos departamentos de este

grupo presentan casi un 75% de aportaciones a congresos nacionales, son Cirugía

Ortopédica y Traumatología y Oftalmología presentan. Los departamentos que mayor

grado de internacionalización tienen son Farmacia y Tecnología Farmacéutica con el

74%, Química y Edafología 77% y Fisiología y Nutrición, 66%.

Page 228: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

224

Figura 53. Número y porcentaje de aportaciones a congresos nacionales e internacionales, número total de aportaciones a congresos y número y porcentaje de aportaciones a congresos distribuidos por país de celebración para la universidad. 1999-2005.

0

100

200

300

400

500

600

700

1 2 3 4 5 6 7 0

100

200

300

400

500

600

700

1 2 3 4 5 6 7

Internacionales Nacionales

Año Nº % Nº % Total

1999 287 39 445 61 732

2000 389 47 431 53 820

2001 310 42 430 58 740

2002 355 42 493 58 848

2003 390 40 593 60 983

2004 467 45 574 55 1041

2005 302 51 289 49 591

Total 2500 43 3255 57 5755

Países celebración ( > 10)

País Nº % ESPAÑA 3860 67,1 Difusión congresos general USA 486 8,4

ITALIA 182 3,2

FRANCIA 151 2,6

ALEMANIA 118 2,1

AUSTRIA 90 1,6

PORTUGAL 85 1,5

REINO UNIDO 78 1,4

HOLANDA 58 1,0

2500; 43%

3255; 57%

Internacionales Nacionales

SUECIA 54 0,9 Países celebración ARGENTINA 53 0,9

SUIZA 52 0,9

CANADA 43 0,7

CHEQUIA 40 0,7

BRASIL 31 0,5

GRECIA 31 0,5

CHILE 29 0,5

BELGICA 26 0,5

17%

67%8%

3%

3%

2%

España USA ItaliaFrancia Alemania Resto

DINAMARCA 23 0,4 Difusión congresos España MEXICO 20 0,3

FINLANDIA 19 0,3

VENEZUELA 17 0,3

HUNGRIA 13 0,2

NORUEGA 13 0,2

IRLANDA 11 0,2

Otros 37 países 172 3,0

Total 5755 100

605; 16%

3255; 84%

Internacionales Nacionales

Page 229: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

225

Figura 54. Número y porcentaje de aportaciones a congresos nacionales e internacionales y número total de aportaciones a congresos para los departamentos ordenados según el número total de aportaciones a congresos. 1999-2005.

Internacion. Nacionales Total % Int. Departamento Nº % Nº % Nº % Nac. NEUROLOGIA Y NEUROCIRUGIA 156 41 229 59 385 OTORRINOLARINGOLOGIA Y PATOLOGIA CERVICO FACIAL 140 48 154 52 294 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 74 27 201 73 275 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 112 41 162 59 274 MEDICINA INTERNA 149 58 109 42 258 OFTAMOLOGIA 56 23 192 77 248 RADIOLOGIA 143 58 105 42 248 AREA NEUROCIENCIAS 102 46 120 54 222 FARMACIA Y TECNOLOGIA FARMACEUTICA 156 74 56 26 212 AREA CARDIOVASCULAR 105 54 88 46 193 PSIQUIATRIA Y PSICOLOGIA MEDICA 73 39 116 61 189 AREA ONCOLOGIA 100 56 80 44 180 AREA TERAPIA GENICA 104 58 75 42 179 PEDIATRIA 64 36 112 64 176 HISTOLOGIA ANATOMIA PATOLOGICA 98 62 59 38 157 ONCOLOGIA 68 44 88 56 156 FISIOLOGIA Y NUTRICION 100 66 51 34 151 DERMATOLOGIA 34 24 109 76 143 ALERGOLOGIA E INMUNOLOGIA CLINICA 69 53 62 47 131 GENETICA 73 56 57 44 130 MEDICINA NUCLEAR 52 41 75 59 127 DIGESTIVO 27 22 97 78 124 GINECOLOGIA Y OBSTETRICIA 38 32 80 68 118 MICROBIOLOGIA Y PARASITOLOGIA 50 44 63 56 113 QUIMICA Y EDAFOLOGIA 86 77 25 23 111 HEMATOLOGIA Y HEMATOTERAPIA 41 38 67 62 108 MEDICINA PREVENTIVA Y SALUD PUBLICA 52 50 53 50 105 QUIMICA ORGANICA Y FARMACEUTICA 61 63 36 37 97 CIRUGIA GENERAL Y DIGESTIVA 17 18 78 82 95 ANESTESIOLOGIA Y REANIMACION 57 64 32 36 89 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 7 8 80 92 87 FARMACOLOGIA CLINICA 24 28 63 72 87 NEFROLOGIA 10 13 70 88 80 INVESTIGACION Y DESARROLLO DE MEDICAMENTOS 50 67 25 33 75 UROLOGIA 0 0 73 100 73 ENDOCRINOLOGIA Y NUTRICION 37 51 35 49 72 BROMATOLOGIA, TECNOLOGIA DE LOS ALIMENTOS Y TOXICOLOGIA 29 45 36 55 65 BIOQUIMICA Y BIOLOGIA MOLECULAR 34 56 27 44 61 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 24 41 34 59 58 ANATOMIA 26 47 29 53 55 ENFERMERIA DE LA PERSONA ADULTA 23 49 24 51 47 FARMACIA CLINICA 14 31 31 69 45 FARMACOLOGIA 12 30 28 70 40 UNIDAD MORFOLOGIA E IMAGEN 20 50 20 50 40 HUMANIDADES BIOMEDICAS 15 39 23 61 38 DIETETICA Y DIETOTERAPIA 3 13 21 88 24 INMUNOLOGIA 4 33 8 67 12 BIOLOGIA DE TUMORES CEREBRALES 5 56 4 44 9 UNIDAD PROTEOMICA , GENOMICA Y BIOINFORMATICA 2 40 3 60 5 SERVICIO ANIMALARIO 0 0 2 100 2

Page 230: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

226

» 4.3.4. Libros, monografías, capítulos de libros y aportaciones a obras colectivas.

La UNAV ha publicado un total de 195 libros de los cuales el 95% son nacionales

y solo el 5% internacionales con una producción que se ha situado entre los 33 de

2002 y los 26 de 2004 (para el año de 2005 no tenemos los datos de las futuras

memorias 2005-2006) (figura 55). El departamento más productivo es Cardiología y

Cirugía Cardiovascular tanto a nivel nacional como internacional, seguido de

Neurología y Neurocirugía. Doce de los departamentos no han publicado ningún libro.

(Conjunto III-13).

En el caso de los capítulos y las obras colectivas se han producido un total de 900

con un 81% de carácter nacional. Este grupo presenta una evolución bastante irregular

logrando su máximo en el año intermedio de 2002 con un valor de 176 (figura 56). Las

internacionales suponen el 19% con 172 y aunque su número es bajo presenta una

tendencia al crecimiento, alcanzándose en 2005, pese a estar incompleto, el máximo

con 35 ítems y representando el 38% del total. Por departamentos Neurología y

Neurocirugía ha sido el máximo productor global para las dos tipologías de difusión

seguida del Área de Neurociencias y Otorrinolaringología. (figura 56).

Page 231: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

227

Figura 55. Número y porcentaje de libros y monografías nacionales e internacionales, número total de libros y monografías, número y porcentaje de capítulos y aportaciones a obras colectivas nacionales e internacionales y número total de capítulos y aportaciones a obras colectiva para la universidad. Evolución anual.

Libros y monografías Capítulos de libros y aportaciones a obras colectivas

0

5

10

15

20

25

30

35

1 2 3 4 5 6 70

5

10

15

20

25

30

35

1 2 3 4 5 6 70

20

40

60

80

100

120

140

160

180

1 2 3 4 5 6 70

20

40

60

80

100

120

140

160

180

1 2 3 4 5 6 7 Internacionales Nacionales Internacionales Nacionales

Año Nº % Nº % Total Año Nº % Nº % Total

1999 5 16 27 84 32 1999 28 17 137 83 165

2000 2 7 27 93 29 2000 14 13 90 87 104

2001 3 11 24 89 27 2001 18 18 82 82 100

2002 1 3 32 97 33 2002 17 10 159 90 176

2003 1 3 29 97 30 2003 33 27 91 73 124

2004 2 8 24 92 26 2004 27 20 111 80 138

2005 4 22 14 78 18 2005 35 38 58 62 93

Total 18 9 177 91 195 Total 172 19 728 81 900

177; 95%

9; 5%

Internacionales Nacionales

728; 81%

172; 19%

Internacionales Nacionales

Page 232: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

228

Figura 56. Número y porcentaje de libros y monografías nacionales e internacionales, número total de libros y monografías, número y porcentaje de capítulos y aportaciones a obras colectivas nacionales e internacionales y número total de capítulos y aportaciones a obras colectiva para los departamentos.1999-2005.

Libros y monografías* Capítulos de libros y aportaciones a obras ddddd*****dd***** l i % libros Nac. Total Nacional Inter. Inter. Nacional Total % Capítulos Nac.

% libros Inter. Nº % Nº % Nº Departamento Nº % Nº % Nº % Capítulos Inter. ALERGOLOGIA E INMUNOLOGIA CLINICA 0 0 12 100 12

3 67 2 33 3 ANATOMIA 6 40 9 60 15 4 100 4 0 4 ANESTESIOLOGIA Y REANIMACION 3 60 2 40 5 4 100 4 0 4 AREA CARDIOVASCULAR 2 8 24 92 26 7 86 6 14 7 AREA NEUROCIENCIAS 28 53 25 47 53 AREA ONCOLOGIA 5 56 4 44 9 AREA TERAPIA GENICA 5 50 5 50 10

2 100 2 0 2 BIOQUIMICA Y BIOLOGIA MOLECULAR 1 25 3 75 4 8 100 8 0 8 BROMATOLOGIA, TEC DE LOS ALIMENTOS 6 22 21 78 27

29 93 27 7 29 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 7 15 40 85 47 2 100 2 0 2 CIRUGIA GENERAL Y DIGESTIVA 1 20 4 80 5 1 0 0 100 1 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 7 15 41 85 48 1 100 1 0 1 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 0 0 3 100 3 4 75 3 25 4 DERMATOLOGIA 10 34 19 66 29 3 67 2 33 3 DIETETICA Y DIETOTERAPIA 10 36 18 64 28 DIGESTIVO 0 0 10 100 10

2 100 2 0 2 ENDOCRINOLOGIA Y NUTRICION 2 29 5 71 7 ENFER COMUNITARIA Y MATERNO INFANTIL 0 0 9 100 9

3 100 3 0 3 ENFER DE LA PERSONA ADULTA 0 0 35 100 35 FARMACIA CLINICA 1 5 20 95 21

4 100 4 0 4 FARMACIA Y TECNOLOGIA FARMACEUTICA 5 25 15 75 20 FARMACOLOGIA 0 0 5 100 5

12 100 12 0 12 FARMACOLOGIA CLINICA 0 0 44 100 44 13 69 9 31 13 FISIOLOGIA Y NUTRICION 11 27 30 73 41 8 100 8 0 8 GENETICA 3 43 4 57 7 1 100 1 0 1 GINECOLOGIA Y OBSTETRICIA 0 0 8 100 8 5 80 4 20 5 HEMATOLOGIA Y HEMATOTERAPIA 1 3 28 97 29 1 100 1 0 1 HISTOLOGIA ANATOMIA PATOLOGICA 4 24 13 76 17 4 100 4 0 4 HUMANIDADES BIOMEDICAS 4 12 30 88 34 3 100 3 0 3 I+D DE MEDICAMENTOS 4 29 10 71 14 1 0 0 100 1 MEDICINA INTERNA 5 31 11 69 16 MEDICINA NUCLEAR 0 0 13 100 13

13 100 13 0 13 MEDICINA PREVENTIVA Y SALUD PUBLICA 1 5 21 95 22 6 67 4 33 6 MICROBIOLOGIA Y PARASITOLOGIA 10 71 4 29 14 NEFROLOGIA 0 0 5 100 5

18 89 16 11 18 NEUROLOGIA Y NEUROCIRUGIA 30 26 85 74 115 2 100 2 0 2 OFTAMOLOGIA 0 0 11 100 11 2 100 2 0 2 ONCOLOGIA 16 57 12 43 28 5 100 5 0 5 ORL Y PATOLOGIA CERVICO FACIAL 3 6 45 94 48

13 85 11 15 13 PEDIATRIA 5 17 24 83 29 6 100 6 0 6 PSIQUIATRIA Y PSICOLOGIA MEDICA 3 9 29 91 32 4 100 4 0 4 QUIMICA ORGANICA Y FARMACEUTICA 4 29 10 71 14 3 100 3 0 3 QUIMICA Y EDAFOLOGIA 13 59 9 41 22 2 50 1 50 2 RADIOLOGIA 2 17 10 83 12 U. MORFOLOGIA E IMAGEN 0 0 1 100 1 U. PROTEOMICA , GENOMICA Y BIOINFORMATICA 0 0 1 100 1

6 100 6 0 6 UROLOGIA 0 0 9 100 9 *Color de las Columnas Nº: Rojo: Primer departamento con mayor producción ; Naranja: Segundo departamento con mayor producción ; Amarillo: Tercer departamento con mayor producción

Page 233: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de producción científica

229

» 4.3.5. Direcciones de tesis.

Para todo el período la Universidad de Navarra ha producido un total de 423 tesis,

el curso más productivo ha sido el 2003-2004 donde se leyeron un total de 83 tesis

doctorales (figura 57). Veinticinco departamentos han leído al menos diez tesis

doctorales siendo el más productivo Medicina Interna con 51 seguida del Área de

Terapia Génica (39) y el Área de Oncología (28).

Figura 57. Número de tesis doctorales leídas por curso para la universidad y número de tesis doctorales leídas por departamento 1999-2005.

Curso Nº Tesis

1999-2000** 100 2000-2001 54 2001-2002 65 2002-2003 61 2003-2004 87 2004-2005*** 56

Total 423

0

20

40

60

80

100

120

1999-2000 2000-2001 2001-2002 2002-2003 2003-2004 2004-2005

Curso académico

Nº d

e te

sis

leíd

as

**Incluidas tesis del curso 1998-1999 *** Pendiente producción curso 2005-2006

Direcciones y codirecciones por departamento*** Departamento Nº MEDICINA INTERNA 51 QUIMICA Y EDAFOLOGIA 11 AREA TERAPIA GENICA 39 PEDIATRIA 9 AREA ONCOLOGIA 28 ALERGOLOGIA E INMUNOLOGIA CLINICA 8 FARMACIA Y TECNOLOGIA FARMACE. 27 FARMACIA CLINICA 8 AREA NEUROCIENCIAS 26 OTORRINOLARINGOLOGIA Y PATOLOGIA CERVICO FACIAL 8 HISTOLOGIA ANATOMIA PATOLOGICA 26 NEFROLOGIA 7 BIOQUIMICA Y BIOLOGIA MOLECULAR 22 ANESTESIOLOGIA Y REANIMACION 6 CARDIOLOGIA Y CIRUGIA CARDIOV. 22 OFTAMOLOGIA 6 ONCOLOGIA 22 BIOLOGIA DE TUMORES CEREBRALES 5 FISIOLOGIA Y NUTRICION 21 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 5 AREA CARDIOVASCULAR 20 FARMACOLOGIA CLINICA 5 MICROBIOLOGIA Y PARASITOLOGIA 19 GINECOLOGIA Y OBSTETRICIA 5 QUIMICA ORGANICA Y FARMACEUTICA 19 HUMANIDADES BIOMEDICAS 5 CIRUGIA GENERAL Y DIGESTIVA 18 INMUNOLOGIA 5 CIRUGIA ORTOPEDICA Y TRAUM. 15 MEDICINA NUCLEAR 5 HEMATOLOGIA Y HEMATOTERAPIA 15 UROLOGIA 5 MED. PREVENTIVA Y SALUD PUBLICA 14 DIGESTIVO 4 NEUROLOGIA Y NEUROCIRUGIA 14 ENDOCRINOLOGIA Y NUTRICION 4 BROMATOLOGIA, TECNOLOGIA DE 12 RADIOLOGIA 4 FARMACOLOGIA 12 UNIDAD MORFOLOGIA E IMAGEN 3 GENETICA 12 DERMATOLOGIA 2 ANATOMIA 11 ENFERMERIA DE LA PERSONA ADULTA 1 I+D DE MEDICAMENTOS 11 UNIDAD PROTEOMICA , GENOMICA Y BIOINFORMATICA 1 PSIQUIATRIA Y PSICOLOGIA MEDICA 11

Page 234: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

230

» 4.4. INDICADORES DE VISIBILIDAD E IMPACTO DE LA PRODUCCIÓN WEB OF SCIENCE (WoS)

» 4.4.1. Impact Factor normalizado por Cuartiles.

La producción de la UNAV se caracteriza por publicar mayoritariamente en

revistas JCR del primer cuartil (1ºC) (figura 58). En total se han producido 1065 ítems

citables en el 1ºC, un 41% de su producción. El segundo cuartil (2ºC) también ocupa

un lugar significativo con 708 ISItemCit que suponen el 27%, entre ambos abarcan el

68% del total. En el análisis de los cuartiles se pueden distinguir dos claras tendencias,

en primer lugar existe una tendencia positiva de crecimiento de los documentos

publicados en el 1ºC, y 2ºC. Para el primer año de estudio la producción del 1ºC y el

2ºC sumaba el 51% mientras que para el último año analizado esta cifra aumentaba

hasta el 65%, sin que sea este el valor más alto del período. En segundo lugar se

observar una tendencia a publicar cada vez menos en revistas del 3ºC y 4ºC.

En el análisis de la visibilidad de las revistas destacan especialmente cinco

departamentos que producen más de 100 de ISItemCit en el 1ºC: Medicina Interna,

Área de Terapia Génica, Área de Neurociencias, Área de Oncología y Neurología y

Neurocirugía. (figura 59). También se pone de manifiesto como 35 departamentos

publican predominantemente sus trabajos citables en el primer cuartil, de este

conjunto además 16 obtienen porcentajes superiores al 50%. Respecto a este

porcentaje de documentos en el 1ºC, si exceptuamos dos departamentos poco

productivos como la Unidad de Protenómica y el Servicio Animalario, hay que señalar

Medicina Interna y el Área de Terapia Génica con el 64% y el 67% respectivamente

como las secciones con mayor visibilidad. Existen otros dos conjuntos de

departamentos; en primer lugar aquellos que publican mayoritariamente en el 2ºC, un

total de siete, como es el caso de Fisiología y Nutrición y Farmacia y Tecnología

Page 235: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

231

Figura 58. Número y porcentaje de ítems citables (ISItemCit) distribuidos por cuartiles para la universidad. Evolución anual 1999-2005.

Nº ISItemCit indizados por cuartil y líneas de tendencias proyectadas 1º Cuartil 2º Cuartil 3º Cuartil 4º Cuartil

Año Nº % Nº % Nº % Nº %

1999 101 30 72 21 81 24 86 25 2000 162 42 106 27 65 17 55 14 2001 150 44 102 30 44 13 48 14 2002 156 41 107 28 66 17 52 14 2003 164 44 101 27 56 15 50 13 2004 185 45 123 30 51 12 51 12 2005 147 39 97 26 85 23 47 13

Total 1065 41 708 27 448 17 389 15

1ºC

2ºC

3ºC

4ºC

0

20

40

60

80

100

120

140

160

180

200

1999 2000 2001 2002 2003 2004 2005 2006 2007 2008

Nº ISItemCit indizados por cuartil durante 1999-2005 %ISItemCit indizados por cuartil. Evoluación anual.

1065; 41%

448; 17%

389; 15%

708; 27%

0%10%20%30%40%50%60%70%80%90%

100%

1999 2000 2001 2002 2003 2004 2005

Farmacéutica ambos con el 33%. En segundo lugar un grupo de ocho departamentos

que publican en el 3ºC y el 4ºC de los que destacan negativamente, por ser

departamentos con una producción media-alta, Pediatría y Química Orgánica y

Farmacéutica y Radiología.

En cuanto a las tendencias anuales sobresale un grupo de departamentos que

muestra una tendencia al crecimiento bruto anual del número de ISItemCit en el 1ºC.

La tendencia más positiva la encontramos en Oncología que pasa de los 4 trabajos de

1999 a los 22 de 2005 y Neurociencias que pasa de 8 a 23, también creciendo, pero

más moderadamente, se encuentran Medicina Interna y Terapia Génica. De los

departamentos que decaen en la producción de ISItemCit en el 1ºC reseñamos de

nuevo Fisiología y Nutrición que desciende de de un valor máximo 11 logrado en el

año 2000 a los 3 de 2005.

Page 236: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

232

Figura 59. Evolución anual del número de ítems citables publicados en el primer cuartil y número y porcentaje de ítems citables distribuidos por cuartil para los departamentos ordenados según el número total de ítems publicados en el primer cuartil. 1999-2005.

Nº ISItemCit 1ºC Nº y % ISItemCit por cuartil % ISItem en el 1ºC

Departamento 99 00 01 02 03 04 05 1º % 2º % 3º % 4º % 0------------| 50%------- MEDICINA INTERNA 19 26 26 33 39 27 40 210 64 63 19 31 9 23 7 |▪▪▪▪▪▪▪▪▪▪▪▪▪► AREA TERAPIA GENICA 16 21 20 30 33 22 29 171 67 49 19 20 8 17 7 |▪▪▪▪▪▪▪▪▪▪▪▪▪► AREA NEUROCIENCIAS 8 36 17 12 13 24 23 133 52 64 25 31 12 30 12 |▪▪▪▪▪▪▪▪▪▪► AREA ONCOLOGIA 4 4 9 20 24 29 22 112 55 51 25 28 14 13 6 |▪▪▪▪▪▪▪▪▪▪▪► NEUROLOGIA Y NEUROCIRUGIA 5 40 13 11 9 20 11 109 53 43 21 12 6 43 21 |▪▪▪▪▪▪▪▪▪▪▪► AREA CARDIOVASCULAR 5 4 14 14 17 22 17 93 49 43 23 23 12 30 16 |▪▪▪▪▪▪▪▪▪▪► CARDIOLOGIA Y CIRUGIA CARDIOVASC. 6 9 16 14 11 16 13 85 39 51 24 38 18 42 19 |▪▪▪▪▪▪▪▪► HEMATOLOGIA Y HEMATOTERAPIA 2 2 9 15 24 19 10 81 54 34 23 18 12 18 12 |▪▪▪▪▪▪▪▪▪▪▪► HISTOLOGIA ANATOMIA PATOLOGICA 10 14 8 13 11 14 10 80 42 58 30 30 16 23 12 |▪▪▪▪▪▪▪▪► BIOQUIMICA Y BIOLOGIA MOLECULAR 5 4 8 16 12 15 9 69 54 40 31 10 8 8 6 |▪▪▪▪▪▪▪▪▪▪▪► GENETICA 4 6 11 9 13 12 8 63 55 23 20 19 17 9 8 |▪▪▪▪▪▪▪▪▪▪▪► FISIOLOGIA Y NUTRICION 7 11 11 8 8 6 3 54 28 64 33 22 11 56 29 |▪▪▪▪▪► FARMACIA Y TECNOLOGIA FARMACEUTICA 2 13 4 5 9 13 3 49 32 50 33 37 25 15 10 |▪▪▪▪▪► BROMATOLOGIA, TECNOLOGIA DE LOS 3 2 9 10 5 13 5 47 41 35 31 25 22 7 6 |▪▪▪▪▪▪▪▪► MEDICINA PREVENTIVA Y SALUD PUBLICA 3 6 7 5 11 7 8 47 41 42 37 16 14 9 8 |▪▪▪▪▪▪▪▪► ONCOLOGIA 7 4 10 6 6 10 4 47 42 34 30 18 16 14 12 |▪▪▪▪▪▪▪▪► MICROBIOLOGIA Y PARASITOLOGIA 5 1 6 7 4 9 9 41 48 21 24 22 26 2 2 |▪▪▪▪▪▪▪▪▪► ENDOCRINOLOGIA Y NUTRICION 3 5 8 2 6 9 2 35 57 17 28 4 7 5 8 |▪▪▪▪▪▪▪▪▪▪▪► FARMACOLOGIA 5 3 3 5 4 7 8 35 41 27 32 15 18 8 9 |▪▪▪▪▪▪▪▪► ALERGOLOGIA E INMUNOLOGIA CLINICA 4 7 6 1 8 5 1 32 34 22 23 22 23 19 20 |▪▪▪▪▪▪► CIRUGIA GENERAL Y DIGESTIVA 0 5 7 1 5 7 3 28 36 23 30 18 23 8 10 |▪▪▪▪▪▪▪► DERMATOLOGIA 3 7 0 4 4 7 2 27 48 17 30 8 14 4 7 |▪▪▪▪▪▪▪▪▪▪► QUIMICA Y EDAFOLOGIA 4 5 1 3 3 5 4 25 29 24 28 28 33 8 9 |▪▪▪▪▪▪► U PROTEOMICA , GENOMICA Y BIOINFOR. 4 2 5 6 4 2 1 24 75 5 16 3 9 0 0 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪► OFTAMOLOGIA 1 1 1 6 5 1 7 22 58 13 34 2 5 1 3 |▪▪▪▪▪▪▪▪▪▪▪► ANATOMIA 3 2 3 3 2 6 2 21 38 13 23 9 16 13 23 |▪▪▪▪▪▪▪▪► PSIQUIATRIA Y PSICOLOGIA MEDICA 1 3 4 4 3 2 3 20 34 15 26 6 10 17 29 |▪▪▪▪▪▪► FARMACOLOGIA CLINICA 0 5 1 0 4 6 3 19 27 22 31 15 21 14 20 |▪▪▪▪▪► GINECOLOGIA Y OBSTETRICIA 2 3 5 1 3 3 2 19 35 15 27 14 25 7 13 |▪▪▪▪▪▪▪► MEDICINA NUCLEAR 1 2 1 4 2 1 8 19 38 11 22 12 24 8 16 |▪▪▪▪▪▪▪► PEDIATRIA 1 1 3 2 5 5 2 19 22 19 22 22 25 27 31 |▪▪▪▪► RADIOLOGIA 1 1 3 1 1 6 4 17 21 21 26 30 38 12 15 |▪▪▪▪► DIGESTIVO 0 4 1 2 6 2 1 16 57 4 14 1 4 7 25 |▪▪▪▪▪▪▪▪▪▪▪► INMUNOLOGIA 0 1 3 4 2 6 0 16 39 11 27 5 12 9 22 |▪▪▪▪▪▪▪▪► QUIMICA ORGANICA Y FARMACEUTICA 1 1 1 2 1 7 3 16 17 23 25 32 35 21 23 |▪▪▪► CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 1 0 2 3 3 2 3 14 24 16 27 18 31 11 19 |▪▪▪▪▪► I+D DE MEDICAMENTOS 0 1 1 2 1 5 3 13 15 21 24 28 32 25 29 |▪▪▪► ORL Y PATOLOGIA CERVICO FACIAL 1 1 1 4 2 2 1 12 23 16 31 17 33 7 13 |▪▪▪▪► UNIDAD MORFOLOGIA E IMAGEN 0 0 0 2 2 3 2 9 25 8 22 15 42 4 11 |▪▪▪▪▪► ANESTESIOLOGIA Y REANIMACION 1 1 1 3 1 0 1 8 47 3 18 5 29 1 6 |▪▪▪▪▪▪▪▪▪► FARMACIA CLINICA 0 0 0 0 4 1 0 5 22 9 39 6 26 3 13 |▪▪▪▪► CIRUGIA PLASTICA, REPARADORA Y ESTET. 0 2 0 0 1 1 0 4 12 18 53 10 29 2 6 |▪▪► BIOLOGIA DE TUMORES CEREBRALES 0 0 0 0 1 1 1 3 43 2 29 0 0 2 29 |▪▪▪▪▪▪▪▪► HUMANIDADES BIOMEDICAS 1 1 1 0 0 0 0 3 50 1 17 0 0 2 33 |▪▪▪▪▪▪▪▪▪▪► SERVICIO ANIMALARIO 1 0 1 0 0 1 0 3 75 0 0 1 25 0 0 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪► DIETETICA Y DIETOTERAPIA 0 0 0 0 0 0 2 2 50 1 25 1 25 0 0 |▪▪▪▪▪▪▪▪▪▪► NEFROLOGIA 1 0 0 1 0 0 0 2 6 5 14 12 34 16 46 |▪► ENFER COMUNITARIA Y MATERNO INFAN. 0 1 0 0 0 0 0 1 50 1 50 0 0 0 0 |▪▪▪▪▪▪▪▪▪▪► UROLOGIA 0 0 1 0 0 0 0 1 20 2 40 0 0 2 40 |▪▪▪▪► ENFER DE LA PERSONA ADULTA 0 0 0 0 0 0 0 0 0 1 50 0 0 1 50 |►

Formato de la tabla: se ha marcado para cada uno de los departamentos el cuartil que tiene un mayor porcentaje de ISItemcit

Page 237: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

233

» 4.4.2. Factor de Impacto Comparado. Categorías JCR.

Para analizar la visibilidad por Categorías JCR hemos utilizado los indicadores de

Factor de Impacto Esperado distinguiéndose claramente tres grupos en función de su

valor de Factor Impacto Comparado (FIC) (figura 60):

» Grupo1. Valores de FIC elevados, situados entre 5 y 1,50. Formado por 14

categorías que superan considerablemente el valor de referencia. La que más

valor alcanza es Ciencias Multidisciplinares con 4,57 y 11 ISItemCit, por ser las

más productivas de este conjunto hay que reseñar Hematología y Sistema

Cardiovascular y Medicina General e Interna.

» Grupo2. Valores de FIC medios, situados entre 1,49 y 1,10 y cercanos a la

media de la categoría. Lo componen un total de 23 categorías. En este grupo

se encuentra las categorías más productivas como es el caso de Bioquímica y

Biología Molecular, Neurología Clínica y Neurociencias.

» Grupo2. Valores de FIC bajos y negativos, situados entre 1,09 y 0,50. Son 13

categorías caracterizadas en general por su baja producción si exceptuamos

Farmacia y Farmacología y Inmunología.

Si analizamos la evolución anual del FIC (tabla 31) se observa que 19 categorías

para todos los años presentan valores positivos superiores a 1, el resto en alguno de

los años ha mostrado un valor negativo inferior a 1. Además en este último grupo una

serie de categorías con valores de producción importantes tienen una evolución

negativa ya que en los tres últimos no logran superar la media son: Biología Celular e

Inmunología. Debemos apuntar también que el año en el que se han obtenido el

mayor número de categorías con valores de FIC positivos fue el 2000 en el que tan

solo 6 estaban por debajo de la media, en el lado contrario nos encontramos el año

2005 con el fenómeno opuesto ya que 15 categorías están por debajo de la media.

Page 238: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

234

Figura 60. Factor de Impacto Comparado (FIC), Factor de Impacto Esperado de la Categoría (FIEC) y Promedio de la Categoría (PC) para las categorías temáticas del Journal Citation Reports. 1999-2005.

Categoría JCR ISITemCit FIC

Categorías JCR con valores altos de Factor de Impacto Comparado. Categorías por encima de la media CIENCIAS MULTIDISCIPLINARES 11 4,57 BIOLOGIA 21 3,91 MEDICINA GENERAL E INTERNA 99 2,71 BIOTECNOLOGIA Y MICROBIOLOGIA APLI. 53 2,36 GASTROENTEROLOGIA Y HEPATOLOGIA 93 2,28 MEDICINA EXPERIMENTAL 61 2,13 ENFERMEDAD VASCULAR PERIFERICA 89 1,99 HEMATOLOGIA 134 1,95 CIENCIA Y TEC.DE LOS ALIMENTOS 67 1,81 DERMATOLOGIA Y ENFER.VENEREAS 40 1,70 OFTAMOLOGIA 30 1,67 SISTEMA CARDIOVASCULAR 114 1,63 PATOLOGIA 35 1,61 QUIMICA APLICADA 41 1,50

1,981,66

1,96 1,86

2,56 2,48 2,392,30

0,801,31 1,36

1,891,73

0,97

9,05

6,48

4,39

5,26 5,444,93 4,67

5,29

1,452,21 2,27

3,082,78

1,45

CIE

-MU

L

BIO

LGIA

MED

-GEN

BIO

-MIC

GA

S-H

EP

MED

-EXP

ENF-

VAS

HEM

ATO

L

TEC

-ALI

DER

-EN

F

OFT

AM

OL

SIS-

CA

R

PATO

LOG

QU

I-APL

I 0,00

1,00

2,00

3,00

4,00

5,00

6,00

7,00

8,00

9,00

10,00

Categorías JCR con valores medios de Factor de Impacto Comparado. Categorías cercanas a la media

GENETICA 88 1,49 NEUROLOGIA CLINICA 189 1,48 SISTEMA RESPITATORIO 18 1,47 ANESTESIOLOGIA 14 1,46 OBTESTRICIA Y GINECOLOGIA 25 1,45 NEUROCIENCIAS 160 1,43 ALERGIA 53 1,40 TECNOLOGIA DE LABORATORIOS MEDICOS 10 1,36 CIRUGIA 141 1,31 ONCOLOGIA 197 1,29 VIROLOGIA 16 1,29 NUTRICION Y DIETETICA 90 1,25 SALUD PUBLICA, MEDIAMBIENTAL Y LAB. 21 1,24 QUIMICA ANALITICA 62 1,23 PEDIATRIA 40 1,22 BIOLOGIA CELULAR 93 1,21 UROLOGIA Y NEFROLOGIA 24 1,16 ENFERMEDADES INFECCIOSAS 34 1,13 BIOQUIMICA Y BIOLOGIA MOLECULAR 238 1,12 ENDOCRINOLOGIA Y METABOLISMO 70 1,11 MICROBIOLOGIA 49 1,11 OTORRINOLARINGOLOGIA 32 1,11 METODOLOGIA INVESTIGACION BIOQUIMICA 47 1,10

3,36

1,792,05

1,43

2,78

1,64 1,581,35 1,24

3,09

2,72

1,69

1,51

1,53

2,78 2,582,13

0,941,16

1,68

2,33

3,94

3,27

5,01

2,65

2,09 1,96

3,97

2,30 2,15

3,01

1,63

3,99

3,50

2,11

1,88

1,882,33

1,041,42

1,94

2,63

4,76

3,67

3,092,88

GEN

ETIC

NEU

-CLI

SIS-

RES

AN

ESTE

S

OB

S-G

IN

NEU

RO

CIE

ALE

RG

I

TEC

-LA

B

CIR

UG

IA

ON

CO

LIA

VIR

OLO

G

NU

T-D

IE

SAL-

PUB

QU

I-AN

A

PED

IATR

BIO

-CEL

UR

O-N

EF

ENF-

INF

BIO

-BIO

END

-MET

MIC

RO

BI

OTO

RR

IN

MER

-INV

0,00

1,00

2,00

3,00

4,00

5,00

6,00

Categorías JCR con valores bajos de Factor de Impacto Comparado. Categorías por debajo de la media

TOXICOLOGIA 24 1,09 BIOFISICA 33 1,08 PSIQUIATRIA 48 1,08 ORTOPEDIA 31 1,06 RADIOLOGIA, MED NUCLEAR E IMAGEN MED 69 1,05 QUIMICA ORGANICA 28 1,01 QUIMICA MULTIDISCIPLINAR 43 1,01 QUIMICA MEDICA 65 1,00 QUIMICA FISICA 24 0,95 FARMACIA Y FARMACOLOGIA 180 0,90 TRASPLANTES 49 0,89 INMUNOLOGIA 151 0,83 FISIOLOGIA 30 0,50

1,81

2,79

2,11

0,93

1,891,63

1,931,68

2,11 2,212,07

3,42

2,38

1,98

3,02

0,99

1,761,92

1,651,93

2,28

2,00 1,991,83

2,84

1,19

TOXI

CO

L

BIO

FISI

PSIQ

UIA

OR

TOPE

D

RA

D-M

ED

QU

I-OR

G

QU

I-MU

L

QU

I-MED

QU

I-FIS

FAR

-FA

R

TRA

SPLA

N

INM

UN

OL

FISI

OLG

0,00

0,50

1,00

1,50

2,00

2,50

3,00

3,50

4,00

Formato de las gráficas: Puntos Rojos: Factor de Impacto Esperado de la Categoría (FIEC). Es el valor alcanzado por la Universidad de Navarra en la Categoría Puntos Azules: PC: Promedio de la Categoría. Es el valor promedio de la categoría temática que se toma como referencia

Page 239: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

235

Tabla 31. Factor de impacto comparado (FIC), factor de impacto esperado de la categoría (FIEC) para las categorías temáticas del Journal Citation Reports. Evolución anual 1999-2005.

1999 2000 2001 2002 2003 2004 2005 Categoría JCR FIEC FIC FIEC FIC FIEC FIC FIEC FIC FIEC FIC FIEC FIC FIEC FIC

ALERGIA 1,27 1,04 1,84 1,35 2,47 1,52 1,69 1,05 3,81 2,26 4,04 2,16 1,43 0,68

ANESTESIOLOGIA 4,27 3,28 1,29 1,02 2,26 1,70 2,68 1,95 2,37 1,58 1,16 0,74 1,13 0,65BIOQUIMICA Y BIOLOGIA MOLECULAR 2,97 0,97 4,22 1,35 3,11 0,96 3,70 1,17 3,82 1,15 3,56 1,03 4,44 1,24BIOLOGIA CELULAR 5,67 1,60 5,53 1,49 4,14 1,04 6,57 1,67 3,73 0,91 3,79 0,91 3,49 0,84BIOFISICA 2,45 1,01 3,06 1,08 2,91 1,03 3,09 1,12 3,03 1,12 3,19 1,09 BIOLOGIA 2,89 1,73 6,77 3,81 8,82 4,98 4,55 3,17 7,17 5,18 5,44 3,17 10,37 5,46BIOTECNOLOGIA Y MICROBIOLOGIA APLICADA 3,81 2,58 5,25 3,35 3,36 1,97 3,52 2,03 5,38 2,65 4,79 2,24 4,21 1,79CIENCIAS MULTIDISCIPLINARES 10,79 6,20 10,90 5,62 13,78 6,75 10,27 4,81 1,79 0,80 1,97 0,94CIRUGIA 1,15 1,03 1,78 1,55 1,89 1,58 1,31 1,07 1,75 1,39 1,93 1,45 1,72 1,24DERMATOLOGIA Y ENFERMEDADES VENEREAS 2,23 1,89 2,31 1,85 1,41 1,10 2,14 1,69 2,58 1,88 2,32 1,84 2,24 1,48ENDOCRINOLOGIA Y METABOLISMO 3,86 1,58 3,74 1,49 2,36 0,85 2,45 0,89 2,88 0,98 2,23 0,75 3,84 1,25ENFERMEDADES INFECCIOSAS 3,09 1,58 2,77 1,28 2,94 1,26 2,18 0,99 2,38 1,09 2,33 0,88 3,07 1,11ENFERMEDAD VASCULAR PERIFERICA 2,48 1,10 4,43 1,88 6,49 2,49 4,53 1,96 3,90 1,63 7,12 2,73 5,16 1,84FARMACIA Y FARMACOLOGIA 1,36 0,73 1,85 0,96 2,07 1,05 1,53 0,72 2,63 1,10 2,76 1,09 2,34 0,90FISIOLOGIA 1,39 0,81 0,88 0,35 0,84 0,31 0,76 0,27 2,08 0,70GASTROENTEROLOGIA Y HEPATOLOGIA 4,88 2,56 3,59 1,75 3,95 1,77 8,26 3,43 6,75 2,76 5,86 2,35 5,67 2,20GENETICA 5,75 1,88 5,10 1,64 5,19 1,56 3,97 1,15 4,68 1,36 4,62 1,34 5,64 1,54HEMATOLOGIA 2,29 1,10 3,74 1,68 4,47 2,05 5,14 2,18 4,05 1,66 6,46 2,46 5,61 1,98INMUNOLOGIA 1,73 0,60 3,00 0,98 3,17 0,96 2,93 0,83 3,21 0,89 2,93 0,78 3,00 0,79MEDICINA EXPERIMENTAL 7,20 3,29 6,75 2,85 3,63 1,48 7,64 2,89 4,47 1,65 3,32 1,22 4,24 1,49MEDICINA GENERAL E INTERNA 9,54 6,22 5,51 3,25 5,99 3,45 4,27 2,27 3,11 1,47 5,68 2,49 4,50 1,80METODOLOGIA INVESTIGACION BIOQUIMICA 1,61 0,94 2,06 1,22 1,85 1,01 1,79 0,95 3,12 1,32 3,16 1,26 3,94 1,48MICROBIOLOGIA 3,55 1,38 2,72 1,22 2,33 0,94 2,91 1,19 2,31 0,90 3,09 1,12 3,30 1,08NEUROLOGIA CLINICA 2,18 1,29 3,85 2,34 2,05 1,25 1,96 1,14 1,52 0,83 3,12 1,61 2,49 1,20NEUROCIENCIAS 3,89 1,60 7,24 2,86 3,34 1,20 3,00 1,09 3,45 1,18 3,55 1,21 3,41 1,11NUTRICION Y DIETETICA 1,99 1,39 2,48 1,64 1,95 1,26 1,99 1,21 2,25 1,27 2,13 1,15 2,06 1,02OBTESTRICIA Y GINECOLOGIA 1,49 1,42 1,96 1,70 2,09 1,56 1,48 1,09 1,82 1,28 1,86 1,30 3,38 1,98OFTAMOLOGIA 1,56 1,39 1,91 1,58 1,53 1,14 2,92 2,18 1,79 1,23 2,13 1,49 2,81 1,75ONCOLOGIA 3,18 1,34 3,16 1,23 3,45 1,25 4,22 1,45 4,11 1,22 4,02 1,11 5,03 1,32ORTOPEDIA 1,16 1,45 0,37 0,45 1,12 1,29 0,93 1,02 0,77 0,81 0,91 0,90 1,27 1,07OTORRINOLARINGOLOGIA 0,78 0,90 1,17 1,23 1,13 1,18 1,35 1,60 1,01 1,13 1,05 1,03 0,96 0,91PATOLOGIA 2,12 1,40 3,08 1,94 3,35 2,06 3,25 1,78 1,92 1,04 2,79 1,55 2,36 1,23PEDIATRIA 0,98 1,02 2,02 1,97 1,37 1,22 2,51 2,10 1,37 1,11 1,63 1,31 1,59 1,18PSIQUIATRIA 1,98 1,10 4,16 2,14 2,10 1,03 1,73 0,84 1,12 0,51 3,40 1,54 1,47 0,60QUIMICA ANALITICA 1,53 1,04 1,97 1,30 1,62 1,17 1,14 0,76 1,61 1,03 2,72 1,64 1,86 1,17QUIMICA APLICADA 1,45 1,76 1,06 1,17 1,47 1,58 1,61 1,67 1,42 1,44 1,42 1,36 1,52 1,36QUIMICA FISICA 2,34 1,18 2,25 1,16 2,96 1,44 1,85 0,91 1,13 0,57 2,12 0,91 1,66 0,71QUIMICA MEDICA 1,43 0,93 1,76 1,03 1,88 0,97 1,41 0,69 2,12 1,10 2,14 1,04 2,42 1,08QUIMICA MULTIDISCIPLINAR 1,33 0,86 1,35 0,89 1,38 0,89 1,73 1,06 2,31 1,35 1,44 0,80QUIMICA ORGANICA 1,54 0,87 0,18 0,09 1,27 0,65 2,44 1,36 2,30 1,22 2,36 1,27 1,68 0,81RADIOLOGIA, MEDICINA NUCLEAR E IMAGEN MEDICA 1,75 1,18 1,63 1,13 1,92 1,18 1,78 1,07 1,89 1,07 0,98 0,52 2,36 1,27SALUD PUBLICA, MEDIAMBIENTAL Y LABORAL 1,48 1,10 1,32 0,94 2,48 1,65 3,69 2,37 1,17 0,73 1,52 0,85SISTEMA CARDIOVASCULAR 1,11 0,77 2,13 1,23 3,87 2,20 2,09 1,12 3,44 1,71 5,27 2,51 3,49 1,56SISTEMA RESPITATORIO 2,65 1,58 1,97 0,97 3,43 1,53 2,07 0,93 4,68 1,97CIENCIA Y TECNOLOGIA DE LOS ALIMENTOS 0,81 1,11 1,13 1,54 1,41 1,80 1,49 1,90 1,56 1,95 1,63 1,92 1,54 1,67TECNOLOGIA DE LABORATORIOS MEDICOS 1,43 1,01 3,93 2,49 1,72 1,04 1,74 1,05 2,69 1,61 2,06 1,23TOXICOLOGIA 0,70 0,46 1,73 1,03 1,05 0,58 1,73 0,95 1,61 0,87 2,56 1,31 2,32 1,13TRASPLANTES 0,59 0,36 3,05 1,50 2,87 1,62 0,48 0,22 1,68 0,77 1,95 0,91 1,94 0,79UROLOGIA Y NEFROLOGIA 1,83 1,30 1,29 0,79 1,76 1,05 2,32 1,39 0,74 0,43 1,33 0,78 3,56 1,87VIROLOGIA 2,62 1,12 3,29 1,33 3,03 1,10 3,94 1,44 4,74 1,67 3,58 1,22 2,79 0,91

x Categoría cuyo Factor de Impacto de la Categoría es en todos los años superior a la media y por tanto con Factor de Impacto Comparado superiores a 1 (+)

Categoría con Factor de Impacto de la Categoría por encima de la media y por tanto con un Factor de Impacto Comparado superior a 1 (+)

Categoría con Factor de impacto de la Categoría por debajo de la media y por tanto con un Factor de Impacto Comparado inferior a 1 (-)

Categorías que ese año no han publicado ningún documento y no cuentan con indicadores de Impact Factor

Page 240: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

236

» 4.4.3. Indicador Top3

Se han producido un total de 280 documentos citables que han aparecido

indexados en revistas TOP3 de algunas de las categorías JCR (figura 61). Este valor

implica un 12,2% del total de la producción citable lográndose el máximo en los años

2000 y 2002 con 46 TOP3, un 13% respectivamente. El indicador a lo largo del tiempo

presenta una leve tendencia favorable (R2 = 0,1). Del total de departamentos 43 han

publicado al menos un trabajo TOP3 durante el período de siete años analizado, la

distribución de la producción se puede observar en la figura 62 donde se aprecia como

18 departamentos han producido más de diez TOP3. Los más destacados son

Medicina Interna con 73 y el Área de Terapia Génica con 61. En cuanto a las

categorías JCR solo 10 categorías tienen más de 9 TOP3, por lo que parecen estar

más distribuidos que para los departamentos. Las más productivas para este indicador

son Gastroenterología y Hepatología con 32 TOP3 pero hay que reseñar a Alergia

donde el 47% de los documentos son TOP3 y Biología donde se llega al 62%. Si

atendemos a las revistas científicas se sitúa en primer lugar Hepatology de

Gastroenterología y Hepatología con 15 y Allergy de Alergia con 13. Es destacable

asimismo la publicación de 9 trabajos en el New England of Journal of Medicine,

revista que suele figurar en el primer lugar en la categoría de Medicina General e

Interna y una de las más prestigiosas del ámbito médico.

Figura 61. Número y porcentaje de ítems citables (ISItemCit) publicados en revistas TOP3. Evolución anual. Año Top3 %Top3*

1999 28 9

2000 46 13

2001 39 13

2002 46 13

2003 38 12

2004 40 11

2005 43 13

Total 280 12,2

9,4

13,4 12,8 13,211,9 11,2

13,2

434038

46

39

46

28

05

101520253035404550

1999 2000 2001 2002 2003 2004 20050

5

10

15

20

25

%Top3 Top3

* Porcentaje respecto al total de ítems citables producidos

Page 241: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

237

Figura 62. Distribución y evolución anual del indicador TOP3 para los departamentos, evolución anual del indicador TOP3 para las categorías temáticas del Journal Citation Reports y revistas con los valores más elevados del indicador TOP3. 1999-2005.

Distribución de la producción de ISItemCit TOP3 según Departamentos

Departamentos y Categorías JCR con más de 9 TOP3, número y % sobre el total de ISITemCit. Top10 Revistas

Departamento 99 00 01 02 03 04 05 Total 0----------------------| 25%----------

MEDICINA INTERNA 4 7 12 13 15 8 14 73 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪► 23 % AREA TERAPIA GENICA 4 5 8 13 14 8 9 61 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪► 25 % AREA NEUROCIENCIAS 3 12 5 2 3 3 7 35 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15 % NEUROLOGIA Y NEUROCIRUGIA 2 14 4 2 3 1 5 31 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪►14 % ALERGOLOGIA E INMUNOLOGIA CLINICA 1 7 4 1 6 5 1 25 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪/…/▪▪▪▪▪▪▪▪▪▪▪▪►45 % HISTOLOGIA ANATOMIA PATOLOGICA 3 4 2 8 4 2 2 25 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪►14 % AREA ONCOLOGIA 1 1 1 4 6 4 6 23 |▪▪▪▪▪▪▪▪▪▪▪▪►12 % BIOQUIMICA Y BIOLOGIA MOLECULAR 0 1 1 6 5 5 2 20 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►17 % CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 2 4 5 1 1 6 1 20 |▪▪▪▪▪▪▪▪▪▪►10 % AREA CARDIOVASCULAR 0 1 2 3 1 7 2 16 |▪▪▪▪▪▪▪▪▪►9 % DERMATOLOGIA 1 1 0 4 3 4 2 15 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪► 29 % MEDICINA PREVENTIVA Y SALUD PUBLICA 2 1 1 1 4 3 3 15 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪►14 % ANATOMIA 2 1 1 1 1 2 3 11 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►21 % GENETICA 1 1 0 4 0 2 3 11 |▪▪▪▪▪▪▪▪▪▪►10 % CIRUGIA GENERAL Y DIGESTIVA 0 2 4 0 2 1 1 10 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15 % ENDOCRINOLOGIA Y NUTRICION 1 2 2 0 1 3 1 10 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►17 % ONCOLOGIA 2 1 3 0 2 2 0 10 |▪▪▪▪▪▪▪▪▪▪►10 % PSIQUIATRIA Y PSICOLOGIA MEDICA 0 2 2 2 1 1 2 10 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►19 % Categoría JCR

GASTROENTEROLOGIA Y HEPATOLOGIA 3 3 3 7 6 5 5 32 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►34 % HEMATOLOGIA 1 2 4 6 3 8 3 27 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►20 % ALERGIA 1 7 4 1 6 5 1 25 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪/…/▪▪▪▪▪▪▪▪▪▪▪▪►47 % SISTEMA CARDIOVASCULAR 1 2 4 2 2 7 0 18 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►16 % MEDICINA GENERAL E INTERNA 4 3 2 2 1 2 2 16 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►16 % NEUROLOGIA CLINICA 3 7 2 0 2 0 2 16 |▪▪▪▪▪▪▪▪▪►8 % ENFERMEDAD VASCULAR PERIFERICA 0 2 4 2 2 5 0 15 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►17 % DERMATOLOGIA Y ENFERMEDADES VENEREAS 0 1 0 4 3 4 2 14 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►35 % TRASPLANTES 0 4 7 0 1 1 1 14 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►29 % BIOLOGIA 0 2 3 3 1 2 2 13 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪/…/▪▪▪▪▪▪▪▪▪▪▪▪►62 % Top 10 Revistas

HEPATOLOGY 15 FASEB JOURNAL 11ALLERGY 13 BRAIN 9

BLOOD 12 NEW ENGLAND OF JOURNAL OF MEDICINE 9 CIRCULATION 12 CLINICAL AND EXPERIMENTAL ALLERGY 7

GASTROENTEROLOGY 12 JOURNAL OF COMPARATIVE NEUROLOGY 7

Page 242: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

238

» 4.4.4. Indicadores de citación para la UNAV

En las bases de datos del ISI la UNAV ha recibido un total de 19716 citas lo que

significa que ha obtenido un promedio de citas por ítem citable de 8,5. En el caso de la

otra fuente de información utilizada, Scopus, estas cifras son mayores ya que se

recuperaron un 14% más de citas sumando 22618 dando lugar a un promedio de

citación de 9,8. Las curvas de citación para ambas bases de datos dibujan un perfil

clásico descendiendo conforme se agota la ventana de citación, siendo el año 2000 el

más citado (figura 63).

Figura 63. Número de citas ISI y número de citas Scopus para la universidad. Evolución anual 1999-2005.

Año ISI Scopus Número de citas total: ISI Vs Scopus

1999 3537 3978 2000 5134 6342 2001 3676 4074 2002 3278 3629 2003 1999 2311 2004 1496 1677 2005 596 607

Total 19716 22618

22618

19715

0 5000 10000 15000 20000 25000

ISI

Scopus

Evolución anual del número de citas: ISI Vs Scopus

5951496

1999

32783676

5134

3537

607

16772311

36294074

6342

3978

0

1000

2000

3000

4000

5000

6000

7000

1999 2000 2001 2002 2003 2004 2005

ISI Scopus

Page 243: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

239

Si analizamos exclusivamente las citas ISI según su origen observamos (figura 64)

que la tasa autocitación doméstica (aquellas que provienen de la propia UNAV) es del

14% aumentando conforme se avanza cronológicamente, en el último año registrado

fue del 18%. Respecto a la visibilidad de las revistas los resultados muestran que el

54% de las citas provienen de revistas que están indexadas en el 1ºC. y si nos

limitamos tan solo las TOP3 el porcentaje desciende al 14%. En cuanto a las citas

provenientes de la tipología documental review éstas abarcan el 21%, porcentaje que

parece incrementarse a lo largo del tiempo.

Figura 64. Número y porcentaje de citas recibidas desde la UNAV (citación doméstica), desde la tipología documental review, desde revistas TO3 y desde revistas del primer cuartil para la universidad. 1999-2005.

UNAV / domésticas Review Top3 1ºC

Año Nº % Nº % Nº % Nº % 1999 474 13 662 19 475 13 1799 51 2000 591 12 1027 20 728 14 2775 54 2001 509 14 727 20 524 14 2053 56 2002 450 14 740 23 493 15 1826 56 2003 311 16 499 25 274 14 1075 54 2004 280 19 369 25 165 11 790 53 2005 111 18 161 27 75 13 315 53

Totales 2725 14 4185 21 2734 14 10633 54

16990 15530 16981

9082

1ºC1063354%

Top3273414%

Review418521%

Unav272514%

0%10%20%30%40%50%60%70%80%90%

100%

Unav Review Top3 1ºC

Page 244: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

240

Si atendemos al origen geográfico de la citación (figura 65) se observa que las

citas llegan principalmente desde la Unión Europea, 48% y los Estados Unidos y

Canadá, 32%. Ambas regiones abarcan conjuntamente casi el 80% del total de la

citación. Si desglosamos estos datos por países veremos que Estados Unidos es el

país que más citas ha emitido a la UNAV sumando 6592, el 26%, de las que el 6%

eran domésticas. Le sigue en emisión de citas España con 4340, 17%, sin embargo

gran parte de las mismas, 63%, provienen de la propia UNAV por lo que la citación

nacional parece estar muy condicionada por la autocitación doméstica. Otros países

con un porcentaje significativo, pero lejano a los anteriores son, Alemania (7%) y

Francia (6%). En total son 78 países los que han citado en alguna ocasión a la UNAV,

27 de los cuales lo que han hecho al menos en 100 ocasiones.

En la tabla 32 presentamos las instituciones internacionales y nacionales que han

citado a la UNAV al menos en 100 ocasiones. En total el conjunto lo constituyen 68

instituciones donde existe un predomino de las estadounidenses que suman 47, éstas

además ocupan las cinco primeras posiciones del ranking que encabeza Harvard

University que ha citado a la UNAV 729 veces, University of Texas con 426 y

University of California, Los Angeles con 394. España es el segundo país con 6

instituciones, las primeras que nos encontramos son el Consejo Superior de

Investigaciones Científicas con 249 citas y la Universitat de Barcelona con 235. Otros

países representados en la tabla 32 son Italia con 5 instituciones como la Universita di

Milano con 167 citas o la Universita di Padua con 128, Alemania con 3 instituciones

encabezadas por la University of Heidelberg con 139 citas y Francia y Canadá ambas

con dos instituciones. El resto de los países solo aparecen representados en una

ocasión, fuera del ámbito de Estados Unidos y la Unión Europea podemos señalar de

este grupo Malasia (National University of Singapore), Brasil (University of Sao Paulo)

y Japón (Osaka University).

Page 245: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

241

Figura 65. Número y porcentaje de citas y citas domésticas distribuidas por país de emisión y número de citas emitidas por regiones del mundo para la universidad. 1999-2005.

Citas emitidas Citas Domést. Emisión de las citas según regiones del mundo

País citante Nº % Nº % **

Estados Unidos 6592 26,50 373 6 España 4340 17,44 2713 63 Alemania 1749 7,03 107 6 Francia 1409 5,66 101 7 Inglaterra 1370 5,51 45 3 Italia 1315 5,29 61 5 Japón 968 3,89 11 1 Canadá 962 3,87 32 3 Países Bajos 556 2,23 38 7 Suecia 491 1,97 20 4 China 424 1,70 38 9 Suiza 365 1,47 16 4 Australia 357 1,43 0 0

EEUU y Canadá32%

Unión Europea48%

África2%

Asia8%

Amér. del sur3%

Oriente Próx.2%

Resto de Euro3%

Pacífico Sur2%

Bélgica 334 1,34 15 4 Emisión de las citas por países con más 1000 citas emitidas Austria 284 1,14 14 5 Israel 243 0,98 2 1 Dinamarca 213 0,86 6 3 Finlandia 193 0,78 12 6 Brasil 192 0,77 10 5 Polonia 186 0,75 1 1 Corea del Sur 181 0,73 4 2 Turquía 176 0,71 0 0 Escocia 163 0,66 3 2 India 158 0,64 0 0 Grecia 143 0,57 5 3 Argentina 122 0,49 25 20 México 100 0,40 5 5 Resto 51 países 1294 5,20 142 11

Estados Unidos26%

España17%

Alemania7%

Francia6%

Inglaterra6%

Italia5%

Resto 72 Países

33%

** Porcentaje calculado contra Nº total de citas emitidas por un país

Page 246: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

242

Tabla 32. Número de citas distribuidas por instituciones citantes que han emitido al menos 100 citas a la universidad.

Institución País Nº Cit.

Harvard University Estados Unidos 729 University of California San Diego Estados Unidos 135 University of Texas Estados Unidos 426 Institute Sanite et la recherche Medicale Francia 132 University of California, Los Angeles Estados Unidos 394 Baylor College Medicine Estados Unidos 131 Mayo Clinic & Mayo Foundation Estados Unidos 392 University of Chicago Estados Unidos 131 University of California, San Francisco Estados Unidos 335 University of Helsinki Finlandia 129 University of Toronto Canadá 317 University of Cambridge Estados Unidos 129 NIH. National Cancer Institute Estados Unidos 295 University of Padua Italia 128 University of Southern California Estados Unidos 294 University of Minnesota Estados Unidos 126 University of Washington (Saint Louis) Estados Unidos 275 Consiglio Nazionale delle Richerche Italia 125 CSIC España 249 University of Colorado Estados Unidos 124 Washington University (Seatle) Estados Unidos 240 University of Munich Alemania 124 Universitat Barcelona España 235 University of Roma, La Sapienza Italia 123 Johns Hopkins University Estados Unidos 229 University of Florida Estados Unidos 122 University of Pittsburgh Estados Unidos 223 University of Vienna Austria 122 University of Penn Estados Unidos 200 Yale University Estados Unidos 119 Emory University Estados Unidos 194 National University of Singapore Malasia 117 Ohio State University Estados Unidos 190 Cornell University Estados Unidos 117 Duke University Estados Unidos 184 Cleveland Clinical Foundation Estados Unidos 116 Universidad Complutense España 180 Columbia University Estados Unidos 116 Stanford University Estados Unidos 177 Indiana University Estados Unidos 116 McGill University Estados Unidos 176 University of Florence Italia 114 University of California, Davis Estados Unidos 175 University of Oxford Inglaterra 114 Memorial Sloan Kettering Cancer Centre Estados Unidos 168 University of Illinois Estados Unidos 113 University of Milan Italia 167 University of Maryland Estados Unidos 112 University of Alabama Estados Unidos 165 Centre Nationale Recherche Scientifique Francia 111 University of Michigan Estados Unidos 165 University of North Carolina Estados Unidos 110 Universidad Autónoma Madrid España 161 University of Sao Paulo Brasil 109 Karolinska Institute Suecia 159 Osaka University Japón 108 Northwestern University Estados Unidos 155 Vanderbilt University Estados Unidos 108 Universitat Valencia España 152 University of Cincinnati Estados Unidos 106 Hopital La Pitie Salpetriere Francia 150 Boston University Estados Unidos 105 New York University Estados Unidos 143 University of Kiel Alemania 104 University of Heidelberg Alemania 139 Hospital Clinic Barcelona España 100 University of Laval Canadá 136 … … …

Page 247: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

243

En la figura 66 ofrecemos los indicadores de documentos citados y no citados para

las dos bases de datos, ISI y Scopus. En la primera de ellas el porcentaje de

documentos citados es del 74% con 1711 ISItemCit mientras que en la segunda la

cifra es mayor y alcanza el 77% de los documentos con 1774. Respecto a su evolución

cronológica la tasa de documentos citados se va reduciendo conforme nos acercamos

al último año analizado debido a que no a transcurrido el tiempo suficiente para que

los documentos sean citados; así el último año en ISI el porcentaje de documentos era

del 52% siendo solo un punto más alto para Scopus.

Figura 66. Número y porcentaje de ítems citables (ISItemCit) citados y no citados en ISI y en Scopus para la universidad. Evolución anual.

ISI Scopus

Citados No citados Citados No citados

Año Nº % Nº % Nº % Nº %

1999 233 78 66 22 242 81 57 19

2000 268 78 75 22 279 81 64 19 2001 244 80 61 20 255 84 50 16 2002 275 79 74 21 283 81 66 19 2003 244 76 76 24 259 81 61 19 2004 276 77 81 23 282 79 75 21 2005 171 52 155 48 174 53 152 47

Totales 1711 74 588 26 1774 77 525 23

Evolución anual del % Citados y No Citados en ISI y Scopus

Page 248: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

244

» 4.4.5. Indicadores de citación para los departamentos

De los 50 departamentos 13 de ellos han superado las 1.000 citas brutas en las

bases de datos del ISI, en el lado contrario nos encontramos con 12 departamentos

que no han llegado a 100 citas. Destaca un grupo de cuatro departamentos

especialmente citado; a la cabeza del mismo hallamos a Neurología y Neurocirugía

con 4240 citas seguido de Medicina Interna (3273 citas), Área de Neurociencias (2929

citas) y Terapia Génica (2839 citas) (gráfica 9). Con un número menor pero importante

están Cardiología y Cirugía Cardiovascular y Oncología con 1930 y 1880 citas

respectivamente. Todos los departamentos referenciados además de encontrarse

entre los más citados son también los más productivos de la UNAV. En general el

número de citas de los departamentos se correlaciona con el número de ISItemCit con

un valor de R2 igual a 0,88.

Gráfica 9. Número de ítems citables (ISItemCit) VS Número de citas para los departamentos. 1999-2005.

Med PreventivaOncologia Genética

Hematologia y ..Bioquimica y ... Fisiologia y ...

A Cardiovascular

Farmacia y ...

A OncologiaHistologia y ... Cardiologia y...

A Terapia Génica

A Neurociencias

Medicina Interna

NeurologiaR2 = 0,8856

0

500

1000

1500

2000

2500

3000

3500

4000

4500

0 50 100 150 200 250 300 350

Nº ISItemCit

Nº d

e C

itas

Page 249: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

245

Tabla 33. Puesto ocupado por los departamentos en los rankings de citación para ISI y Scopus

Departamento Puesto

ISI Puesto Scopus

NEUROLOGIA Y NEUROCIRUGIA 1 1 = CIRUGIA GENERAL Y DIGESTIVA 26 28 ▼MEDICINA INTERNA 2 2 = PSIQUIATRIA Y PSICOLOGIA MEDICA 27 26 ▲AREA NEUROCIENCIAS 3 3 = MEDICINA NUCLEAR 28 32 ▼AREA TERAPIA GENICA 4 4 = FARMACOLOGIA CLINICA 29 30 ▼CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 5 5 = RADIOLOGIA 30 27 ▲AREA ONCOLOGIA 6 7 = PEDIATRIA 31 29 ▲HISTOLOGIA ANATOMIA PATOLOGICA 7 6 ▲ GINECOLOGIA Y OBSTETRICIA 32 31 ▲AREA CARDIOVASCULAR 8 8 = DERMATOLOGIA 33 33 = BIOQUIMICA Y BIOLOGIA MOLECULAR 9 11 ▼ DIGESTIVO 34 34 = HEMATOLOGIA Y HEMATOTERAPIA 10 9 ▲ INMUNOLOGIA 35 35 = FISIOLOGIA Y NUTRICION 11 10 ▲ OFTAMOLOGIA 36 36 = GENETICA 12 12 = UNIDAD MORFOLOGIA E IMAGEN 37 39 ▼ONCOLOGIA 13 13 = CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 38 37 ▲FARMACIA Y TECNOLOGIA FARMACEUTICA 14 14 = FARMACIA CLINICA 39 38 ▲MICROBIOLOGIA Y PARASITOLOGIA 15 17 ▼ NEFROLOGIA 40 41 ▼MEDICINA PREVENTIVA Y SALUD PUBLICA 16 15 ▲ ORL Y PATOLOGIA CERVICO FACIAL 41 40 ▲ENDOCRINOLOGIA Y NUTRICION 17 16 ▲ UROLOGIA 42 42 = FARMACOLOGIA 18 18 = ANESTESIOLOGIA Y REANIMACION 43 43 = BROMATOLOGIA, TEC DE LOS ALIMENTOS 19 19 = HUMANIDADES BIOMEDICAS 44 45 ▼UNIDAD PROTEOMICA , GENOMICA Y 20 20 = CIRUGIA PLASTICA, REPARADORA Y EST. 45 44 ▲I+D DE MEDICAMENTOS 21 22 ▼ SERVICIO ANIMALARIO 46 46 = QUIMICA ORGANICA Y FARMACEUTICA 22 24 ▼ BIOLOGIA DE TUMORES CEREBRALES 47 48 ▼ANATOMIA 23 21 ▲ ENFER COMUNITARIA Y MATERNO INFANTIL 48 47 ▲QUIMICA Y EDAFOLOGIA 24 25 ▼ DIETETICA Y DIETOTERAPIA 49 50 ▼ALERGOLOGIA E INMUNOLOGIA CLINICA 25 23 ▲ ENFER DE LA PERSONA ADULTA 50 49 ▲

Si comparamos el número de citas en ISI y Scopus (figura 67) para todos los

departamentos obtenemos, exceptuando dos casos, siempre valores superiores para

Scopus. Para algunos departamentos el número de citas en Scopus es

significativamente mayor incrementando un 30% los valores ISI, es el caso de

Otorrinolaringología (38 citas más, 51%), Alergología e Inmunología Clínica (127 citas

más, 40%) o Cirugía Plástica, Reparadora y Estética (16 citas más, 26%). Para los

departamentos más productivos la diferencia ISI-Scopus alcanza porcentajes que

rondan el 26% de Neurología y Neurocirugía y el caso extremo de Oncología con el

1%. En el ranking comparado (tabla 33) para las dos bases de datos se observa que si

empleamos el número de citas de Scopus en lugar de las de ISI 19 departamentos se

mantienen en la misma posición, 17 suben su posición y 14 bajan. Desde la primera

posición hasta la séptima se mantendría el mismo ranking, normalmente además las

Page 250: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

246

variaciones solo afectan una o dos posiciones, solo Medicina nuclear y Radiología

presentan movimientos en su puesto más acusados.

Figura 67. Número de citas ISI y Scopus, número y porcentaje de citas domésticas, promedio de citas ISI y Scopus y porcentaje de items citables (ISItemCit) citados y no citados para los departamentos. 1999-2005.

% ISItemCit Citados Número citas Citas domésticas

Promedio citas

ISItemCit Citados % ISItemCit No Cita.

Departamento Scop* ISI Nº % Scop* ISI Nº % | 0%------------| 50%--------

ALERGOLOGIA E INMUNOLOGIA CLINICA 446 319 52 16 8,1 5,8 35 64

ANATOMIA 512 402 44 11 9,7 7,6 45 85

ANESTESIOLOGIA Y REANIMACION 67 50 3 6 4,2 3,1 10 63 AREA CARDIOVASCULAR 1759 1507 236 16 10,3 8,9 129 76

AREA NEUROCIENCIAS 3572 2939 266 9 14,8 12,2 197 82

AREA ONCOLOGIA 1906 1880 178 9 9,8 9,6 161 83 AREA TERAPIA GENICA 3149 2839 674 24 13,1 11,8 207 86

BIOLOGIA DE TUMORES CEREBRALES 24 25 3 12 3,4 3,6 7 100

BIOQUIMICA Y BIOLOGIA MOLECULAR 1373 1266 254 20 11,6 10,7 102 86 BROMATOLOGIA, TEC DE LOS ALIMENTOS 522 493 143 29 6,1 5,8 72 85

CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 2235 1930 358 19 11,1 9,6 157 78

CIRUGIA GENERAL Y DIGESTIVA 338 289 32 11 5,2 4,4 43 66 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 131 101 11 11 3,0 2,3 27 63

CIRUGIA PLASTICA, REPARADORA Y ESTETICA 60 44 4 9 1,9 1,4 18 58

DERMATOLOGIA 293 230 12 5 5,7 4,5 43 84 DIETETICA Y DIETOTERAPIA 9 8 0 0 2,3 2,0 2 50

DIGESTIVO 288 221 26 12 11,5 8,8 14 56

ENDOCRINOLOGIA Y NUTRICION 829 648 106 16 13,8 10,8 47 78 ENFER COMUNITARIA Y MATERNO INFANTIL 28 24 2 8 14,0 12,0 1 50

ENFER DE LA PERSONA ADULTA 10 8 0 0 5,0 4,0 2 100

FARMACIA CLINICA 122 94 10 11 6,1 4,7 14 70 FARMACIA Y TECNOLOGIA FARMACEUTICA 999 855 150 18 7,4 6,3 114 84

FARMACOLOGIA 565 565 101 18 8,1 8,1 61 87

FARMACOLOGIA CLINICA 326 270 53 20 5,0 4,2 38 58 FISIOLOGIA Y NUTRICION 1378 1166 360 31 7,9 6,7 131 75

GENETICA 1090 1074 120 11 9,9 9,8 94 85

GINECOLOGIA Y OBSTETRICIA 320 256 38 15 7,4 6,0 38 88 HEMATOLOGIA Y HEMATOTERAPIA 1429 1200 132 11 10,0 8,4 104 73

HISTOLOGIA ANATOMIA PATOLOGICA 1934 1735 184 11 11,0 9,9 152 86

HUMANIDADES BIOMEDICAS 51 49 4 8 7,3 7,0 4 57 INMUNOLOGIA 210 193 20 10 5,3 4,8 24 60

I+D DE MEDICAMENTOS 459 413 90 22 7,1 6,4 51 78

MEDICINA INTERNA 3664 3273 766 23 11,7 10,5 263 84 MEDICINA NUCLEAR 309 273 34 12 7,4 6,5 33 79

MEDICINA PREVENTIVA Y SALUD PUBLICA 998 801 188 23 9,4 7,6 86 81

MICROBIOLOGIA Y PARASITOLOGIA 814 803 108 13 10,3 10,2 66 84 NEFROLOGIA 97 93 5 5 3,9 3,7 17 68

NEUROLOGIA Y NEUROCIRUGIA 4249 3365 171 5 19,7 15,6 166 77

OFTAMOLOGIA 196 187 18 10 6,5 6,2 21 70 ONCOLOGIA 1042 987 38 4 10,2 9,7 72 71

ORL Y PATOLOGIA CERVICO FACIAL 112 74 17 23 2,9 1,9 19 49

PEDIATRIA 331 259 22 8 4,5 3,5 48 65 PSIQUIATRIA Y PSICOLOGIA MEDICA 357 284 21 7 6,9 5,5 37 71

QUIMICA ORGANICA Y FARMACEUTICA 433 410 95 23 5,9 5,5 54 73

QUIMICA Y EDAFOLOGIA 391 357 74 21 4,9 4,5 59 74 RADIOLOGIA 345 263 42 16 5,2 4,0 42 64

SERVICIO ANIMALARIO 47 42 3 7 15,7 14,0 3 100

UNIDAD MORFOLOGIA E IMAGEN 120 122 23 19 4,0 4,1 21 70 UNIDAD PROTEOMICA , GENOMICA Y 519 442 121 27 17,9 15,2 26 90

UROLOGIA 79 67 11 16 15,8 13,4 5 100

Celdas coloreadas en gris y fuente en negrita: Para la columna % de citas domésticas: departamentos cuyo Nº de citas domésticas superan a la media de la UNAV del 14% Para la columna Promedio de citas ISI: departamentos que superan el promedio de citas general de la UNAV del 8,5 Para la columna % de ISItemCit Citados: departamentos que superan el %de ISItemCit general de la UNAV del 74%

Page 251: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

247

Respecto a la autocitación doméstica existe un grupo de 22 departamentos con

una tasa de citación superior al 14%, media general de la UNAV. De éstos es

Fisiología y Nutrición la que tiene una tasa más elevada con el 31%. También

Medicina Interna y Área de Terapia Génica, que se encuentran entre los cuatro

departamentos más citados, tienen valores altos para este indicador con el 23% y

24% respectivamente. Otro grupo de 28 departamentos están por debajo del 14%;

reseñamos de este conjunto a Neurología y Neurocirugía y el Área de Neurociencias

que pese a ser el primero en el ranking de citación solo tienen una tasa de

autocitación doméstica del 5% un valor similar al de Oncología. En cuanto al otro

indicador importante, el porcentaje de ISItemCit citados, hemos de reseñar como 27

de los departamentos consigue superar el porcentaje general de la UNAV situado en el

74%. Sin embargo algunos de los importantes como Oncología y Hematología y

Hematoterapia no logran sobrepasar este valor de referencia

En el figura 68 hemos representado a los departamentos en función de tres

indicadores clasificándolos en cuatro cuadrantes diferentes. En el cuadrante número

uno se encuentran aquellos departamentos con un porcentaje de ISItemCit publicados

en el 1ºC igual o superior al 40% y con un promedio de citas superior a 8, son un total

de 16 y destaca por su elevado promedio de citas Neurología y Neurocirugía.

Asimismo en este mismo cuadrante se posicionan casi todos los departamentos más

productivos de la UNAV. En el cuadrante dos están los departamentos que pese a

indexar la mayor parte de su producción en el 1ºC no obtienen buenos promedios de

citas, son en general departamentos poco productivos. En el cuadrante tres se sitúan

tres departamentos, Cardiología y Cirugía Cardiovascular que se acerca más al perfil

de primer cuadrante y dos pequeños departamentos con menos del 25% de ISITemCit

en el 1ºC pero con promedios de citas elevados. El cuarto cuadrante es el que más

población presenta con los valores más bajos para los indicadores de visibilidad e

impacto, son un total de 22 departamentos de los cuales Fisiología y Nutrición y

Page 252: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

248

Farmacia y Tecnología Farmacéutica son los mayores en cuanto a número de trabajos

publicados

Figura 68. Porcentaje de ítems citables (ISItemCit) publicados en el primer cuartil VS promedio de citas por ítem citable para los departamentos. 1999-2005.

Cuadrante 3. + - Departamentos con un elevado promedio de citas por documento y un porcentaje bajo de ISItemCit en el 1ºC.

Cuadrante 1. ++ Departamentos con un elevado promedio de citas por documento y un porcentaje alto de ISItemCit en el 1ºC.

Cardio

Urolo

U prote

8

9

10

11

12

13

14

15

16

17

0 5 10 15 20 25 30 35 40

S Anim

Farma

His Anat

Oncol

GenetA Onco

DigestHemat

Bio BioMic Par

A Neuro

Neu Neu

Med Int

A TeraGEnd Nut

A Cardio

8

9

10

11

12

13

14

15

16

17

40 45 50 55 60 65 70 75 80

2: - +

1: + +3: + -

4: - -

0

8

16

0 40 80

% ISItem Cit en el 1º Cuartil

Prom

edio

de

cita

s

Cuadrante 4. - - Departamentos con un bajo promedio de citas por documento y un porcentaje bajo de ISItemCit en el 1ºC

Cuadrante 2. - + Departamentos con un bajo promedio de citas por documento y un porcentaje alto de ISItemCit en el 1ºC.

Anato

Fis Nut Far Tec

Qui Org

I+D Med

Cir GenNefrol

Cir Pla ORL PatCir Ort

Pedia

Radiol

Far Clin

Farma Clin

Qui Eda PsiquGin ObsAlerg

Med Nuc

Inmun

Enf Per

1

2

3

4

5

6

7

8

0 5 10 15 20 25 30 35 40

U Morfo

Dietet

Anes Rea

Oftamo

Hum Bio

Dermat

Bromat

Med Prev

Bio Tum

1

2

3

4

5

6

7

8

40 45 50 55 60 65 70 75 80

Formato del gráfico: Tamaño Departamento (burbuja) es proporcional al Nº de ISItemCit. Máximo = Medicina Interna 313

Page 253: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

249

» 4.4.6. Indicadores de citación para las categorías JCR.

De las categorías JCR diez han conseguido más de 1000 citas en las base de

datos de Thomsom-ISI mientras que solo seis han obtenido menos de 100. En la

gráfica 10 podemos observar que existen dos grupos a la cabeza. El primero se

corresponde con las categorías que son simultáneamente las más productivas y

citadas: Neurología Clínica, Bioquímica y Biología Celular, Neurociencias y Oncología.

En el segundo grupo, con características similares pero con valores inferiores, se

encuentran Hematología, Inmunología y Farmacia y Farmacología, aunque esta última

con pocas citas en relación a su producción. Destaca por otra parte Enfermedad

Vascular y Periférica que sobresale por su número de citas si tenemos en cuenta su

número de ISItemCit. La correlación entren el indicador Nº de citas y Nº de ISItemCit

es alta aunque inferior a los departamentos con R2 = 0,82.

Gráfica 10. Número de ítems citables (ISItemCit) VS Número de citas para las categorías temáticas del Journal Citation Reports. 1999-2005.

Neurociencias

Neurologia Clin

Farmacia y Farm

Cirugia

Hematologia

Genetica Med General

Bioquimica y Bio

InmunologiaGastroentorología y ..

Endocrinologia y ...

Enf. Vascular

Sist Cardiovascular

Oncologia

Med Experimental Biol CelularBiotecnologia y... Nutrición y Die

R2 = 0,8249

0

500

1000

1500

2000

2500

3000

0 50 100 150 200 250

Nº ISItemCit

Nº d

e C

itas

Page 254: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

250

Tabla 34. Puesto ocupado por las categorías temáticas del Journal Citation Reports en los rankings de citación para ISI y Scopus

Categoría JCR Puesto

ISI Puesto Scopus

NEUROLOGIA CLINICA 1 1 = ALERGIA 26 20 ▲BIOQUIMICA Y BIOLOGIA MOLECULAR 2 2 = PSIQUIATRIA 27 25 ▲NEUROCIENCIAS 3 3 = BIOFISICA 28 29 ▼ONCOLOGIA 4 4 = BIOLOGIA 29 28 ▲HEMATOLOGIA 5 6 ▼ CIENCIAS MULTIDISCIPLINARES 30 31 ▼ENFERMEDAD VASCULAR PERIFERICA 6 5 ▲ ENFERMEDADES INFECCIOSAS 31 35 ▼INMUNOLOGIA 7 7 = TRASPLANTES 32 30 ▲FARMACIA Y FARMACOLOGIA 8 8 = OFTAMOLOGIA 33 36 ▼GASTROENTEROLOGIA Y HEPATOLOGIA 9 9 = QUIMICA MULTIDISCIPLINAR 34 34 = GENETICA 10 14 ▼ PEDIATRIA 35 33 ▲MEDICINA GENERAL E INTERNA 11 11 = DERMATOLOGIA Y ENF. VENEREAS 36 32 ▲SISTEMA CARDIOVASCULAR 12 10 ▲ VIROLOGIA 37 37 = ENDOCRINOLOGIA Y METABOLISMO 13 12 ▲ QUIMICA APLICADA 38 40 ▼BIOLOGIA CELULAR 14 13 ▲ QUIMICA ORGANICA 39 43 ▼MEDICINA EXPERIMENTAL 15 15 = SALUD PUB, MEDIAMBIENTAL Y LABORAL 40 38 ▲BIOTECNOLOGIA Y MICROBIOLOGIA APL. 16 17 ▼ UROLOGIA Y NEFROLOGIA 41 41 = NUTRICION Y DIETETICA 17 16 ▲ OBTESTRICIA Y GINECOLOGIA 42 39 ▲CIRUGIA 18 18 = QUIMICA FISICA 43 44 ▼MICROBIOLOGIA 19 19 = TOXICOLOGIA 44 42 ▲QUIMICA ANALITICA 20 22 ▼ FISIOLOGIA 45 48 ▼QUIMICA MEDICA 21 23 ▼ SISTEMA RESPITATORIO 46 47 ▼PATOLOGIA 22 24 ▼ ORTOPEDIA 47 45 ▲CIENCIA Y TEC. DE LOS ALIMENTOS 23 26 ▼ OTORRINOLARINGOLOGIA 48 46 ▲RADIOLOGIA, MED NUCLEAR E … 24 21 ▲ TEC. DE LABORATORIOS MEDICOS 49 50 ▼METODOLOGIA INVEST. BIOQUIMICA 25 27 ▼ ANESTESIOLOGIA 50 49 ▲

Comparando el rendimiento de las dos bases de datos para las Categorías JCR

obtenemos que a excepción de tres de ellas en todos los caso se recupera un mayor

número en Scopus (figura 69). Los casos más llamativos son Genética donde en ISI se

obtienen 47 citas más y Química Orgánica donde la cifra es de 39. Hay seis categorías

JCR para las que Scopus ofrece un 30% de citas más, especialmente destaca

Otorrinolaringología con un incremento del 60% y Alergia con el 40%. Para las

categorías con mayor producción el incremento en Scopus se mueve entre el 4% de la

Oncología y el 28% de la Neurología Clínica donde se rescatan 707 citas más. En el

Ranking comparado de la tabla 34 catorce categorías se mantienen en la misma

posición, 18 suben y 18 bajan. El ranking se mantiene igualado hasta la cuarta

posición a partir de la cual se empiezan a producir los cambios, la mayor variación la

presenta Genética que en ISI ocupa la 10ª posición y en Scopus la 14ª.

Page 255: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

251

Figura 69. Número de citas ISI y Scopus, número y porcentaje de citas domésticas, promedio de citas ISI y Scopus y porcentaje de items citables (ISItemCit) citados y no citados para los departamentos. 1999-2005.

% ISItemCit Citados Número citas Citas domésticas

Promedio citas

ISItemCit Citados % ISItemCit No Cita.

Departamento Scop* ISI Nº % Scop* ISI Nº % 0%| ------------| 50%--------

ALERGIA 421 301 52 17 7,9 5,7 34 64 ANESTESIOLOGIA 64 50 1 2 4,6 3,6 9 64 BIOFISICA 316 281 67 24 9,6 8,5 31 94 BIOLOGIA 324 243 66 27 15,4 11,6 16 76 BIOLOGIA CELULAR 1087 961 164 17 11,7 10,3 78 84 BIOQUIMICA Y BIOLOGIA MOLECULAR 2386 2224 412 19 10,0 9,3 195 82 BIOTECNOLOGIA Y MICROBIOLOGIA APL. 747 691 173 25 14,1 13,0 46 87 CIENCIA Y TEC. DE LOS ALIMENTOS 340 337 90 27 5,1 5,0 56 84 CIENCIAS MULTIDISCIPLINARES 248 235 38 16 22,5 21,4 10 91 CIRUGIA 671 570 46 8 4,8 4,0 89 63 DERMATOLOGIA Y ENF. VENEREAS 240 189 8 4 6,0 4,7 35 88 ENDOCRINOLOGIA Y METABOLISMO 1158 977 144 15 16,5 14,0 54 77 ENFERMEDAD VASCULAR PERIFERICA 1659 1496 264 18 18,6 16,8 77 87 ENFERMEDADES INFECCIOSAS 228 225 34 15 6,7 6,6 27 79 FARMACIA Y FARMACOLOGIA 1321 1166 197 17 7,3 6,5 145 81 FISIOLOGIA 85 85 18 21 2,8 2,8 22 73 GASTROENTEROLOGIA Y HEPATOLOGIA 1290 1105 218 20 13,9 11,9 78 84 GENETICA 1017 1064 206 19 11,6 12,1 78 89 HEMATOLOGIA 1649 1511 170 11 12,3 11,3 104 78 INMUNOLOGIA 1388 1203 197 16 9,2 8,0 112 74 MEDICINA EXPERIMENTAL 911 833 190 23 14,9 13,7 56 92 MEDICINA GENERAL E INTERNA 1177 986 74 8 11,9 10,0 63 64 METODOLOGIA INVEST. BIOQUIMICA 331 318 41 13 7,0 6,8 40 85 MICROBIOLOGIA 503 498 38 8 10,3 10,2 42 86 NEUROCIENCIAS 2360 1902 196 10 14,8 11,9 132 83 NEUROLOGIA CLINICA 3232 2525 110 4 17,1 13,4 137 72 NUTRICION Y DIETETICA 789 660 213 32 8,8 7,3 74 82 OBTESTRICIA Y GINECOLOGIA 176 127 19 15 7,0 5,1 21 84 OFTAMOLOGIA 224 217 19 9 7,5 7,2 22 73 ONCOLOGIA 1806 1735 200 12 9,2 8,8 174 88 ORTOPEDIA 100 77 5 6 3,2 2,5 20 65 OTORRINOLARINGOLOGIA 97 61 15 25 3,0 1,9 14 44 PATOLOGIA 374 359 21 6 10,7 10,3 25 71 PEDIATRIA 231 191 11 6 5,8 4,8 28 70 PSIQUIATRIA 343 287 26 9 7,1 6,0 33 69 QUIMICA ANALITICA 402 378 52 14 6,5 6,1 51 82 QUIMICA APLICADA 170 160 44 28 4,1 3,9 32 78 QUIMICA FISICA 115 120 26 22 4,8 5,0 21 88 QUIMICA MEDICA 400 370 96 26 6,2 5,8 56 86 QUIMICA MULTIDISCIPLINAR 230 199 55 28 5,3 4,6 31 72 QUIMICA ORGANICA 119 158 34 22 4,3 5,6 23 82 RADIOLOGIA, MED NUCLEAR E … 403 320 31 10 5,8 4,6 45 65 SALUD PUB, MEDIAMBIENTAL Y LABORAL 179 133 21 16 8,5 6,3 18 86 SISTEMA CARDIOVASCULAR 1179 979 157 16 10,3 8,6 84 74 SISTEMA RESPITATORIO 96 78 11 14 5,3 4,3 14 78 TEC. DE LABORATORIOS MEDICOS 62 53 4 8 6,2 5,3 10 100 TOXICOLOGIA 123 107 9 8 5,1 4,5 18 75 TRASPLANTES 267 225 23 10 5,4 4,6 36 73 UROLOGIA Y NEFROLOGIA 153 133 8 6 6,4 5,5 17 71 VIROLOGIA 204 175 15 9 12,8 10,9 15 94

Celdas coloreadas en gris y fuente en negrita: Para la columna % de citas domésticas: departamentos cuyo Nº de citas domésticas superan a la media de la UNAV del 14% Para la columna Promedio de citas ISI: departamentos que superan el promedio de citas general de la UNAV del 8,5 Para la columna % de ISItemCit Citados: departamentos que superan el %de ISItemCit citados general de la UNAV del 74%

Page 256: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

252

En cuanto a la tasa de autocitación doméstica (figura 69) existe un grupo de 27

categorías que superan el 14% de la UNAV. De este grupo son Nutrición y Dietética y

las categorías relacionadas con química las que tienen un mayor número de citas

domésticas. Las 23 categorías restantes se sitúan por debajo del 14%, de éstas la

Neurología y las Neurociencias son las que presentan algunas de las tasas más bajas

con el 4% y el 10% respectivamente. En el porcentaje de documentos citados 31

categorías tienen más del 74%. De las categorías JCR que presentaban valores

importantes de impacto y citación solo Neurología Clínica no supera esta cifra con un

72% de documentos citados. Por otro lado existen categorías con porcentajes

elevados como Oncología con el 88%, Genética con el 89% y la Biofísica y la Medicina

Experimental con valores superiores en ambos casos al 90%.

En la figura 70 presentamos el promedio de citas relacionado con otros

indicadores. En el cuadrante uno, que representa los resultados más favorables, nos

encontramos con las categorías con los mejores promedios de citación y más

ISItemCit en el 1ºC. Destaca Ciencias Multidisciplinares con un promedio de citas de

22,5 y Enfermedad Vascular y Periférica con 16,8. En este cuadrante hay también un

grupo de tres categoría muy productivas (Genética, Gastroenterología y Hepatología y

Hematologia) con promedios que rondan las 11 y 12 citas por documento. En el

cuadrante dos nos encontramos con un conjunto de categorías con poca producción y

promedios de citas bajos, a excepción de Oncología que alcanza 8,8 de promedio y es

una de la más productivas globalmente. En el cuadrante 3 se sitúan aquellas con

menor visibilidad pero con promedios de citas elevados como es el caso de la

Neurología y la Neurología Clínica que obtienen valores superiores a 11. En el último

cuadrante quedarían el grupo más numeroso categorías entre las que se encuentran

algunas muy productivas que no alcanzan buenos indicadores de visibilidad e impacto

como la Farmacia y Farmacología, Nutrición y Dietética y Cirugía.

Page 257: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

253

Figura 70. Porcentaje de ítems citables (ISItemCit) publicados en el primer cuartil VS promedio de citas por ítem citable para las categorías temáticas del Journal Citation Reports. 1999-2005.

Cuadrante 3. + - Categoría JCR con un elevado promedio de citas por documento y con un porcentaje bajo de ISItemCit en el 1ºC.

Cuadrante 1. + + Categoría JCR con un elevado promedio de citas por documento y un porcentaje alto de ISItemCit en el 1ºC.

Neurocie

Neu-CliEnd-Met

11

13

15

17

19

21

0 10 20 30 40 50

Cie-Mul

Enf-Vas

Med-Exp

Genetic Gas-Hep

Hematol

Bio-Mic

Biolgia11

13

15

17

19

21

50 60 70 80 90 100

4: - -

3: + - 1: + +

2: - +

0,00

11,00

22,00

0 50 100% ISItem Cit en el 1º Cuartil

Prom

edio

de

cita

s

Cuadrante 4. - - Categoría JCR con un bajo promedio de citas por documento porcentaje y un bajo de ISItemCit en el 1ºC.

Cuadrante 2. - + Categoría JCR con un bajo promedio de citas por documento y un porcentaje alto de ISItemCit en el 1ºC.

Sal-PubQui-Ana

PsiquiaQui-Fis

Pediatr

Tec-LabQui-Med

Trasplan

Far-Far Met-Inv

BiofisiInmunol

Sis-Car

Enf-InfUro-NefQui-Mul

Sis-ResCirugia

OrtopedOtorrin

Rad-Med

Toxicol

Fisiolg

Qui-Org

Med-GenPatologMicrobi

Bio-Cel

Nut-Die

Bio-Bio

0

2

4

6

8

10

0 10 20 30 40 50

Oncolog

Virolog

Oftamol

Alergi

Der-Enf

Aneste Qui-Apli

Tec-Ali

Obs-Gin

0

2

4

6

8

10

50 60 70 80 90 100

Formato del gráfico: Tamaño Categoría JCR (burbuja) es proporcional al Nº de ISItemCit. Max = Bioquímica y Biología Molecular 238

Page 258: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

254

El mapa de cocitación (figura71) ofrece la dimensión estructural de las categorías

JCR. Se percibe el papel central la Bioquímica y la Biología Molecular en torno a la

cual se articulan un grupo de gran impacto que incluye la Genética y la Biología

Celular. Asimismo se perciben una serie de grupos de categorías menores, respecto al

tamaño y al impacto, que tienen como eje a la Farmacia y la Farmacología. Más

aislados de estos dos bloques centrales están las agrupaciones con promedios de

citas elevados dispuestos en torno la Neurología Clínica y las categorías relacionadas

con el corazón. Un último conjunto destacable con un menor impacto sería el

establecido alrededor de la Cirugía. Solo dos parejas de categorías quedan sin enlazar

al resto de la red, lideradas respectivamente por la Nutrición y Dietética y por la

Ciencia y Tecnología de los alimentos.

Figura 71. Mapa de cocitación, impacto y producción de las categorías temáticas del Journal Citation Reports. 1999-2005

Formato del Mapa Tamaño de la Categoría: Nº de ISItemCit. Max = Bioquímica y Biología Molecular 238 Color: Promedio de Citas. Rojo: promedio de citas entre 17 y 10; Naranja: entre 9,9 y 5,8 : Amarillo < 5,8 Grosor de la línea: Nº de veces que han sido cocitadas conjuntamente

Page 259: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

255

» 4.4.7. Análisis de los trabajos altamente citados

De total de ítems citables se han tomado el 20% que presentaba unos valores de

citación significativos, esto es, en nuestro contexto, los que superaban las 13 citas

(figura 72). Este conjunto ha sido denominado como trabajos altamente citados (TAC)

y son un total de 366 ISItemCit que concentran 12700 citas, es decir el 64% de las

19716 que alcanzó la UNAV. Asimismo hemos dividido los TAC en tres niveles para

los que se obtienen los siguientes resultados:

• Citación moderada (entre 15 y 42 citas por trabajo): son un total de 289

ISItemCit el 16% de la producción que concentra 6600 citas, el 33%.

• Citación elevada (entre 43 y 93 citas por trabajo): son un total de 61

ISItemCit el 3% de la producción que concentra 3719 citas, el 19%.

• Citación intensa (entre 94 y 299 citas por trabajo): son un total de 16

ISItemCit el 1% de la producción que concentra 2321 citas, el 12%.

Figura 72. Número y porcentaje de trabajos altamente citados (TAC) y su distribución en tres niveles de citación (moderada, elevada e intensa) para la universidad. 1999-2005.

Resto citadosentre 1 y 14 citas

80%

Citación intensa

Citación moderada

Citación elevada

TAC 20%

Datos de las diferentes los niveles TAC

Niveles TAC Nº de ISItemCIT

% ISItemCIt* Nº de citas % de citas

CI: Citación intensa = entre 94 y 299 citas por trabajo 16 1 2321 12 CE: Citación elevada = entre 43 y 93 citas por trabajo 61 3 3719 19 CM: Citación moderada = entre 15 y 42 citas por trabajo 289 16 6600 33 Total TAC: Trabajos altamente citados 366 20 12700 64

*Los porcentajes para las diferentes niveles, en esta tabla y en las siguientes, se han calculado sobre el total de ISItemCit producidos, por tanto incluyen los citados y los no citados.

Page 260: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

256

Nueve de los departamentos han publicado al menos 25 TAC y ocho de ellos no

tiene ninguno (figura 73). Los más productivos para este indicador han sido el Área de

Terapia Génica, Área de Neurociencias y Neurología y Neurocirugía. Para todos los

departamentos estos trabajos abarcan un gran porcentaje del total de las citas que

finalmente obtienen. Para 17 de ellos, pese a que no suelen suponer más del 25% de

su producción, atraen al menos un 64% de las citas; sobre todo en aquellos que se

encontraban entre los más citados. Esta situación se produce en todas las áreas del

Centro de Investigación Médica Aplicada. Respecto a los niveles de los TAC en el

caso de los trabajos con citación intensa (entre 94 y 299 citas) se reparten en 12

departamentos, especialmente Neurología y Neurocirugía con 5 y Oncología con 4.

Respecto a las categorías JCR seis de ellas tienen como mínimo 25 TAC

encabezadas por Bioquímica y Biología Molecular con 46, Neurociencias con 41 y

Hematología con 31 (figura 74). De las categorías que se han venido analizando cinco

de ellas no ha producido ningún TAC. Como ocurría con los departamentos las citas

se concentran en pocos trabajos como pone de manifiesto que para 17 de las

categorías JCR los TAC atraigan más del 64% de su citación global siendo

destacables los casos de Neurología Clínica, Medicina General e Interna, Enfermedad

Vascular y Periférica y Ciencias Multidisciplinares donde el porcentaje se eleva a más

del 80%. Por Categorías el nivel de Citación Intensa aparece distribuido por 12 de

ellas destacándose Neurología Clínica y Medicina General e Interna, ambas con 3.

Page 261: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

257

Figura 73. Número de trabajos altamente citados (TAC), porcentaje de trabajos altamente citados en el total de la producción de ítems citables, porcentaje y número de citas que acumulan los trabajos altamente citados y número y porcentaje de trabajos altamente citados distribuidos en tres niveles de citación (intensa, elevada y moderada) para los departamentos. 1999-2005.

TAC *% TAC total y por Nivel CITAS CI CE CM

Departamento Nº 0-----------------------------| 25%-------- %* Nº Nº %* Nº %* Nº %*ALERGOLOGIA E INMUNOLOGIA CLINICA 7 |▪▪▪▪▪▪▪▪▪▪▪▪▪►13% 57% 182 0 0 1 1,8 6 11 ANATOMIA 7 |▪▪▪▪▪▪▪▪▪▪▪▪▪►13% 60% 240 0 0 2 3,8 5 9 AREA CARDIOVASCULAR 25 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 67% 1005 3 1,8 2 1,2 20 12 AREA NEUROCIENCIAS 55 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪► 23% 75% 2207 3 1,2 10 4,1 42 17 AREA ONCOLOGIA 30 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 65% 1229 4 2,1 2 1,0 24 12 AREA TERAPIA GENICA 59 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►25% 68% 1933 1 0,4 13 5,4 45 19 BIOQUIMICA Y BIOLOGIA MOLECULAR 29 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►25% 65% 827 0 0 6 5,1 23 19 BROMATOLOGIA, TECNOLOGIA DE LOS… 8 |▪▪▪▪▪▪▪▪▪►9% 32% 157 0 0 0 0 8 9 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 36 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►18% 69% 1333 1 0,5 11 5,4 24 12 CIRUGIA GENERAL Y DIGESTIVA 5 |▪▪▪▪▪▪▪▪►8% 46% 132 0 0 1 1,5 4 6 DERMATOLOGIA 4 |▪▪▪▪▪▪▪▪►8% 31% 71 0 0 0 0 4 8 DIGESTIVO 6 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►24% 77% 171 0 0 0 0 6 24 ENDOCRINOLOGIA Y NUTRICION 9 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 64% 414 2 3,3 1 1,7 6 10 ENF COMUNITARIA Y MATERNO INFANTIL 1 |▪▪▪▪▪▪▪▪▪▪▪▪/-- /▪▪▪▪▪▪▪▪▪▪▪▪▪►50% 100% 24 0 0 0 0 1 50 FARMACIA CLINICA 2 |▪▪▪▪▪▪▪▪▪▪►10% 56% 53 0 0 0 0 2 10 FARMACIA Y TECNOLOGIA FARMACEUTICA 17 |▪▪▪▪▪▪▪▪▪▪▪▪▪►13% 37% 316 0 0 0 0 17 13 FARMACOLOGIA 14 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►20% 58% 327 0 0 1 1,4 13 19 FARMACOLOGIA CLINICA 5 |▪▪▪▪▪▪▪▪►8% 43% 115 0 0 0 0 5 8 FISIOLOGIA Y NUTRICION 27 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 54% 624 0 0 1 0,6 26 15 GENETICA 21 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►19% 65% 697 1 0,9 3 2,7 17 15 GINECOLOGIA Y OBSTETRICIA 4 |▪▪▪▪▪▪▪▪▪►9% 44% 113 0 0 1 2,3 3 7 HEMATOLOGIA Y HEMATOTERAPIA 18 |▪▪▪▪▪▪▪▪▪▪▪▪▪►13% 64% 773 3 2,1 2 1,4 13 9 HISTOLOGIA ANATOMIA PATOLOGICA 34 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►19% 68% 1172 1 0,6 5 2,8 28 16 HUMANIDADES BIOMEDICAS 2 |▪▪▪▪▪▪▪▪▪▪▪▪/-- /▪▪▪▪▪▪▪▪▪▪▪▪► 29% 73% 36 0 0 0 0 2 29 INMUNOLOGIA 5 |▪▪▪▪▪▪▪▪▪▪▪▪▪►13% 54% 105 0 0 0 0 5 13 I+D DE MEDICAMENTOS 8 |▪▪▪▪▪▪▪▪▪▪▪▪►12% 39% 161 0 0 0 0 8 12 MEDICINA INTERNA 67 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►21% 65% 2132 1 0,3 14 4,5 52 17 MEDICINA NUCLEAR 5 |▪▪▪▪▪▪▪▪▪▪▪▪►12% 49% 133 0 0 1 2,4 4 10 MEDICINA PREVENTIVA Y SALUD PUBLICA 17 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►16% 53% 427 0 0 2 1,9 15 14 MICROBIOLOGIA Y PARASITOLOGIA 17 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►22% 56% 453 0 0 2 2,5 15 19 NEUROLOGIA Y NEUROCIRUGIA 53 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►25% 83% 2796 5 2,3 14 6,5 34 16 OFTAMOLOGIA 2 |▪▪▪▪▪▪▪►7% 60% 112 0 0 1 3,3 1 3 ONCOLOGIA 13 |▪▪▪▪▪▪▪▪▪▪▪▪▪► 13% 73% 718 3 2,9 1 1,0 9 9 PEDIATRIA 3 |▪▪▪▪►4% 28% 72 0 0 0 0 3 4 PSIQUIATRIA Y PSICOLOGIA MEDICA 4 |▪▪▪▪▪▪▪▪►8% 50% 141 0 0 1 1,9 3 6 QUIMICA ORGANICA Y FARMACEUTICA 7 |▪▪▪▪▪▪▪▪▪►9% 35% 145 0 0 0 0 7 9 QUIMICA Y EDAFOLOGIA 5 |▪▪▪▪▪▪►6% 30% 106 0 0 0 0 5 6 RADIOLOGIA 4 |▪▪▪▪▪▪►6% 37% 96 0 0 0 0 4 6 SERVICIO ANIMALARIO 1 |▪▪▪▪▪▪▪▪▪▪▪▪/-- /▪▪▪▪▪▪▪▪▪▪▪▪►33% 93% 39 0 0 0 0 1 33 UNIDAD MORFOLOGIA E IMAGEN 2 |▪▪▪▪▪▪►7% 34% 41 0 0 0 0 2 7 U PROTEOMICA , GENOMICA Y 7 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►24% 72% 317 0 0 5 17,2 2 7 UROLOGIA 2 |▪▪▪▪▪▪▪▪▪▪▪▪/-- /▪▪▪▪▪▪▪▪▪▪▪▪▪▪►40% 76% 51 0 0 0 0 2 40

*Los porcentajes para el número de ISItemCit se calculan sobre el total de ISItemCit del departamento independientemente de hayan sido citados o no. En gris se marcan: Para el Nº de TAC, aquellos departamentos que han producido al menos 25 Para el % de citas obtenidas por los TAC cuando suponen más del 64% (valor general alcanzado por la UNAV )

Page 262: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de visibilidad e impacto

258

Figura 74. Número de trabajos altamente citados (TAC), porcentaje de trabajos altamente citados en el total de la producción de ítems citables, porcentaje y número de citas que acumulan los trabajos altamente citados y número y porcentaje de trabajos altamente citados distribuidos en tres niveles de citación (intensa, elevada y moderada) para las categorías temáticas del Journal Citation Reports.1999-2005.

TAC *% TAC total y por nivel CITAS CI CE CE

Departamento Nº 0-----------------------------| 25%-------- %* Nº Nº %* Nº % Nº %*

ALERGIA 6 |▪▪▪▪▪▪▪▪▪▪▪► 11% 54% 164 0 0,0 1 1,9 6 9 BIOFISICA 5 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 36% 102 0 0,0 0 0,0 5 15BIOLOGIA 5 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►24% 61% 149 0 0,0 1 4,8 5 19BIOLOGIA CELULAR 25 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►27% 70% 673 0 0,0 3 3,2 25 24BIOQUIMICA Y BIOLOGIA MOLECULAR 46 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►19% 64% 1416 2 0,8 7 2,9 46 16BIOTECNOLOGIA Y MICROBIOLOGIA APL. 14 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►26% 76% 527 0 0,0 4 7,5 14 19CIENCIA Y TECNOLOGIA DE LOS ALIMENTOS 4 |▪▪▪▪▪▪► 6% 20% 66 0 0,0 0 0,0 4 6 CIENCIAS MULTIDISCIPLINARES 6 |▪▪▪▪▪▪▪▪▪▪▪▪/-- /▪▪▪▪▪▪▪▪▪▪▪▪▪► 55% 88% 206 0 0,0 1 9,1 6 45CIRUGIA 11 |▪▪▪▪▪▪▪▪►8% 46% 263 0 0,0 1 0,7 11 7 DERMATOLOGIA Y ENFER.VENEREAS 3 |▪▪▪▪▪▪▪▪►8% 30% 56 0 0,0 0 0,0 3 8 ENDOCRINOLOGIA Y METABOLISMO 19 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►27% 79% 774 2 2,9 3 4,3 19 20ENFERMEDAD VASCULAR PERIFERICA 29 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►33% 81% 1209 2 2,2 9 10,1 29 20ENFERMEDADES INFECCIOSAS 4 |▪▪▪▪▪▪▪▪▪▪▪▪►12% 39% 88 0 0,0 0 0,0 4 12FARMACIA Y FARMACOLOGIA 22 |▪▪▪▪▪▪▪▪▪▪▪▪►12% 38% 447 0 0,0 0 0,0 22 12GASTROENTEROLOGIA Y HEPATOLOGIA 25 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►27% 70% 777 1 1,1 2 2,2 25 24GENETICA 23 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►26% 75% 793 1 1,1 4 4,5 23 20HEMATOLOGIA 31 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►23% 77% 1165 2 1,5 7 5,2 31 16INMUNOLOGIA 24 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►16% 65% 780 1 0,7 5 3,3 24 12MEDICINA EXPERIMENTAL 18 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►30% 76% 637 1 1,6 4 6,6 18 21MEDICINA GENERAL E INTERNA 8 |▪▪▪▪▪▪▪▪►8% 82% 809 3 3,0 0 0,0 8 5 METODOLOGIA INVESTIGACION BIOQUIMICA 8 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►17% 52% 165 0 0,0 0 0,0 8 17MICROBIOLOGIA 9 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►18% 65% 325 0 0,0 3 6,1 9 12NEUROCIENCIAS 41 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►26% 75% 1434 2 1,3 4 2,5 41 22NEUROLOGIA CLINICA 47 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►25% 85% 2147 3 1,6 14 7,4 47 16NUTRICION Y DIETETICA 15 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►17% 54% 356 0 0,0 1 1,1 15 16OBTESTRICIA Y GINECOLOGIA 2 |▪▪▪▪▪▪▪▪►8% 24% 30 0 0,0 0 0,0 2 8 OFTAMOLOGIA 3 |▪▪▪▪▪▪▪▪▪▪►10% 63% 137 0 0,0 1 3,3 3 7 ONCOLOGIA 30 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 53% 924 1 0,5 4 2,0 30 13PATOLOGIA 9 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►26% 74% 265 0 0,0 1 2,9 9 23PEDIATRIA 1 |▪▪▪►3% 32% 61 0 0,0 1 2,5 1 0 PSIQUIATRIA 6 |▪▪▪▪▪▪▪▪▪▪▪▪▪►13% 64% 185 0 0,0 1 2,1 6 10QUIMICA ANALITICA 9 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►15% 45% 171 0 0,0 0 0,0 9 15QUIMICA APLICADA 1 |▪▪►2% 11% 17 0 0,0 0 0,0 1 2 QUIMICA FISICA 1 |▪▪▪▪►4% 13% 16 0 0,0 0 0,0 1 4 QUIMICA MEDICA 7 |▪▪▪▪▪▪▪▪▪▪▪►11% 34% 126 0 0,0 0 0,0 7 11QUIMICA MULTIDISCIPLINAR 1 |▪▪►2% 11% 21 0 0,0 0 0,0 1 2 QUIMICA ORGANICA 2 |▪▪▪▪▪▪▪►7% 37% 58 0 0,0 1 3,6 2 4 RADIOLOGIA, MED. NUCLEAR E IMAGEN MED 5 |▪▪▪▪▪▪▪►7% 51% 164 0 0,0 1 1,4 5 6 SALUD PUBLICA, MEDIAMBIENTAL Y LABOR. 2 |▪▪▪▪▪▪▪▪▪▪►10% 40% 53 0 0,0 0 0,0 2 10SISTEMA CARDIOVASCULAR 22 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►19% 77% 750 0 0,0 8 7,0 22 12SISTEMA RESPITATORIO 1 |▪▪▪▪▪▪►6% 23% 18 0 0,0 0 0,0 1 6 TOXICOLOGIA 1 |▪▪▪▪►4% 20% 21 0 0,0 0 0,0 1 4 TRASPLANTES 4 |▪▪▪▪▪▪▪▪►8% 43% 96 0 0,0 0 0,0 4 8 UROLOGIA Y NEFROLOGIA 1 |▪▪▪▪►4% 22% 29 0 0,0 0 0,0 1 4 VIROLOGIA 4 |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪►25% 62% 109 0 0,0 1 6,3 4 19

*Los porcentajes para el número de ISItemCit se calculan sobre el total de ISItemCit de la categoría independientemente de hayan sido citados o no. En gris se marcan: Para el Nº de TAC, aquellos departamentos que han producido al menos 25 Para el % de citas obtenidas por los TAC cuando suponen más del 64% (valor general alcanzado por la UNAV )

Page 263: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

259

» 4.5. INDICADORES DE COLABORACIÓN CIENTÍFICA.

» 4.5.1. Autores firmantes: distribución e Índices de Coautoría.

Como se muestra en la figura 75 los trabajos firmados por tres autores son los que

predominan en la UNAV sumando 579, el 13,5% del total. Le siguen los trabajos de

cuatro autores con el 13,3% y a continuación con el mismo porcentaje, 11,8%, los de

5 y 6 autores. Todo este conjunto reseñado abarca el 50% de los trabajos. Conforme

aumenta el número de autores va descendiendo también el número de documentos

producidos. Estos indicadores se han obtenido teniendo en cuenta los trabajos de

cualquier tipo, sin embargo si nos limitamos a los ítems citables (producción ISI) los

resultados son ligeramente diferentes. Se reduce en primer lugar el número de

trabajos firmados por un autor que pasan del 10% al 4% y aumentan aquellos que se

sitúan entre 3 y 7 autores. Es interesante también analizar la visibilidad y el impacto

alcanzado por los ISItemCit en función del número de firmantes. Como se puede

observar en la figura 76 existe una tendencia muy marcada a que se aumente el

porcentaje de ISItemCit publicados en el 1ºC y el promedio de citas por documento

conforme se incrementan el número de autores firmantes. Es reseñable el punto de

inflexión que suponen los trabajos firmados por 8 autores, por encima de ellos todos

los grupos tienen más del 50% de la producción en el 1ºC (menos los trabajos con

22 autores) y promedios de de citas superiores a diez (menos los trabajos con 10

autores).

En total si consideramos todos los trabajos se suman un total 23204 autores que

dan lugar a un Índice de Coautoría de 5,4 autores por trabajo (figura 77). Este índice

es bastante estable a lo largo del período y solo en el 2005 se produce una

Page 264: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

260

Figura 75. Distribución del número de trabajos según el número autores firmantes para la universidad. Evolución anual 1999-2005.

Trabajos (Trabajos no indizados en el ISI y Trabajos ISI)

1999 2000 2001 2002 2003 2004 2005 1999-2005 NºFirmantes Nº % Nº % Nº % Nº % Nº % Nº % Nº % Nº %

1 55 9,5 64 9,7 73 12,3 66 10,5 68 11,4 62 9,5 43 7,2 431 10,0 2 67 11,6 56 8,5 41 6,9 55 8,7 61 10,1 57 8,4 39 6,6 373 8,7 3 85 14,7 88 13,4 81 13,6 72 11,4 76 12,8 97 14,9 80 13,5 579 13,5 4 79 13,7 91 13,8 76 12,8 94 14,9 69 11,6 92 14,1 72 12,1 573 13,3 5 76 13,1 86 13,1 83 14,0 77 12,2 58 9,7 64 9,8 62 10,4 506 11,8 6 81 14,0 72 10,9 81 13,6 73 11,6 64 10,7 68 10,4 67 11,3 506 11,8 7 47 8,1 52 7,9 55 9,3 58 9,2 58 9,7 68 10,4 59 9,9 397 9,2 8 32 5,5 51 7,8 30 5,1 45 7,2 45 7,6 39 6,0 42 7,1 284 6,6 9 28 4,8 26 4,0 22 3,7 27 4,3 29 4,9 38 5,8 31 5,2 201 4,7

10 14 2,4 24 3,6 19 3,2 25 4,0 34 5,7 25 3,8 28 4,7 169 3,9 11 3 0,5 17 2,6 5 0,8 15 2,4 10 1,7 12 1,8 14 2,4 76 1,8 12 1 0,2 13 2,0 10 1,7 8 1,3 7 1,2 16 2,5 12 2,0 67 1,6 13 1 0,2 10 1,5 2 0,3 4 0,6 4 0,7 3 0,5 9 1,5 33 0,8 14 3 0,5 1 0,2 3 0,5 1 0,2 3 0,5 3 0,5 9 1,5 23 0,5 15 1 0,2 0 0,0 3 0,5 3 0,5 3 0,5 0 0,0 9 1,5 19 0,4 16 1 0,2 0 0,0 1 0,2 0 0,0 2 0,3 0 0,0 1 0,2 5 0,1 17 0 0,0 3 0,5 1 0,2 2 0,3 2 0,3 2 0,3 1 0,2 11 0,3 18 0 0,0 1 0,2 1 0,2 0 0,0 0 0,0 2 0,3 5 0,8 9 0,2 19 0 0,0 1 0,2 0 0,0 2 0,3 0 0,0 2 0,3 3 0,5 8 0,2 20 0 0,0 0 0,0 2 0,3 0 0,0 0 0,0 0 0,0 2 0,3 4 0,1 21 1 0,2 0 0,0 1 0,2 0 0,0 2 0,3 0 0,0 0 0,0 4 0,1 22 2 0,3 1 0,2 1 0,2 1 0,2 1 0,2 0 0,0 2 0,3 8 0,2 23 1 0,2 0 0,0 2 0,3 0 0,0 0 0,0 0 0,0 1 0,2 4 0,1 24 0 0,0 1 0,2 1 0,2 1 0,2 0 0,0 1 0,2 1 0,2 5 0,1 29 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0 1 0,2 1 0,0 44 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0 0 0,0 1 0,2 1 0,0

Formato de la tabla: hemos marcado en escala de Rojo-Amarillo los valores más altos para cada año y para todo el período

Gráficas para el número de firmantes considerando todos los trabajos

Distribución del Nº de firmantes según el Nº de trabajos Porcentaje trabajos según el Nº de firmantes

0

100

200

300

400

500

600

700

0 5 10 15 20 25 30 35 40 45 50

Nº Firmantes

Nº d

e tr

abaj

os

2 Firmantes9%

3 Firmantes13%

4 Firmantes13%5 Firmantes

12%

6 Firmantes12%

7 Firmantes9%

8 Firmantes7%

9 Firmantes5%

1 Firmante10%

10 Firmantes4%

Otros Firmantes6%

Gráficas para el número de firmantes considerando solo los items citables (ISItemCit)

Distribución del Nº de firmantes según el Nº de ISItemCIt Porcentaje ISItemCit según el Nº de firmantes

0

50100

150

200

250300

350

400

0 5 10 15 20 25 30 35 40 45 50

Nº Firmantes

Nº d

e IS

ITem

Cit

2 Firmantes8%

3 Firmantes14%

4 Firmantes15%

5 Firmantes13%

6 Firmantes13%

7 Firmantes10%

8 Firmantes6%

9 Firmantes5%

1 Firmante4%

10 Firmantes4%

Otros Firmantes8%

Page 265: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

261

Figura 76. Porcentaje de ítems citables publicados en el primer cuartil y promedio de citas de la producción citable en función del número de autores firmantes para la universidad. 1999-2005.

% de ISItemCit en el 1ºC Nº Firmantes Promedio de citas

30% |▪▪▪▪▪▪ 1 ---| 5,2 29% |▪▪▪▪▪▪ 2 ---| 5,3

35% |▪▪▪▪▪▪▪ 3 ---| 5 30% |▪▪▪▪▪▪ 4 ---| 5,7

35% |▪▪▪▪▪▪▪ 5 ---| 6 39% |▪▪▪▪▪▪▪▪ 6 ----| 7,3

47% |▪▪▪▪▪▪▪▪▪▪ 7 -----| 9,8 50% |▪▪▪▪▪▪▪▪▪▪ 8 ------| 12,8 54% |▪▪▪▪▪▪▪▪▪▪ 9 -----| 10,8 52% |▪▪▪▪▪▪▪▪▪▪ 10 ------| 12,2

62% |▪▪▪▪▪▪▪▪▪▪▪▪ 11 ----------| 19,1 54% |▪▪▪▪▪▪▪▪▪▪ 12 -------| 14

66% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 13 -------| 14,2 72% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 14 ------------| 23,8 72% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 15 ---------| 19,6

50% |▪▪▪▪▪▪▪▪▪▪ 16 -------| 14,3 66% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 17 --------| 15,1

50% |▪▪▪▪▪▪▪▪▪▪ 18 -----| 9,2 71% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 19 ----------| 20,7

100% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 20 -----------| 21,7 100% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 21 ------------------| 37

33% |▪▪▪▪▪▪ 22 --------------| 29 100% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 23 ------------------[…]---| 142

60% |▪▪▪▪▪▪▪▪▪▪▪▪ 24 ----------| 20,8 100% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 29 -------| 14 100% |▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ 44 ------| 11

subida significativa que llega a los 6,3 autores por trabajo. Del total de autores 13811,

60%, eran investigadores de la UNAV el resto pertenece a instituciones diferentes.

Con este valor se ha calculado el Índice de Coautoría de la UNAV cuyo valor es de

3,2 y representa el promedio de investigadores de la UNAV que suelen firmar los

trabajos. Este índice si tiene un crecimiento más acentuado pasándose de los 2,9

autores del año 1999 a los 3,3 del 2005 (figura 77).

Page 266: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

262

Figura 77. Índice de Coautoría General, Índice de Coautoría UNAV y número y porcentaje de autores de la UNAV que firman los trabajos para la universidad. 1999-2005.

General UNAV

año Nº Aut ICO Nº Aut ICO % de autores adcritos a la UNAV que firman los trabajos

1999 2822 4,9 1696 2,9

2000 3533 5,4 1998 3,0

2001 3108 5,2 1819 3,1

2002 3340 5,3 2059 3,3

2003 3196 5,4 2034 3,4

2004 3476 5,3 2224 3,4

2005 3729 6,3 1981 3,3

Totales 23204 5,4 13811 3,2

RestoAutores

939340%

Autores UNAV

13811; 60%

Evolución anual general de los Índices de Coautoría

2,02,5

3,03,5

4,0

4,5

5,0

5,5

6,0

6,5

1999 2000 2001 2002 2003 2004 2005

ICO general ICO Unav

Entre los departamentos el Índice de Coautoría General (figura 78) varía

considerablemente. Para los departamentos que tienen las series anuales completas

el que más autores por trabajo presenta es Genética con 8,6 mientras que en el lado

contrario nos encontramos con las Humanidades Biomédicas con 1,5. Para lo

departamentos más productivos como Medicina Interna, Área de Neurociencias, Área

de Terapia Génica, Neurología y Cardiología el Índice de Coatoría se encuentra entre

6 y 7,3. Para los departamentos más clínicos como Anestesiología, las cirugías,

Otorrinolaringología u Oftalmología el índice suele situarse entre 3 y 4.

Page 267: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

263

Figura 78.Índice de Coautoría General (ICO) para los departamentos. Evolución anual 1999-2005.

Índice de Coatoría (ICO) ICO 1999-2005

Departamento 1999 2000 2001 2002 2003 2004 2005 1 2 3 4 5 6 7 8 9 10

ALERGOLOGIA E INMUNOLOGIA CLINICA 4,5 4,3 4,5 5,1 5,6 5 6,1 --------------| 4,9

ANATOMIA 2,7 4,4 3,9 3,1 2,9 3,9 6 ---------| 3,6 ANESTESIOLOGIA Y REANIMACION 4,1 3,1 3,6 3,5 3,7 2 9,7 ----------| 3,9 AREA CARDIOVASCULAR 5,2 5,1 5,5 6,5 6,6 6,1 6,4 -------------------| 6 AREA NEUROCIENCIAS 5,1 6,8 6,7 6,5 5,5 5,2 6,9 ---------------------| 6,2 AREA ONCOLOGIA 7,6 5,8 7,9 7,9 8,1 7,6 8,9 ---------------------------| 8 AREA TERAPIA GENICA 7,5 6,9 6,8 7,3 7,2 7,1 8,4 ------------------------| 7,3 BIOLOGIA DE TUMORES CEREBRALES 0 0 0 0 10 9,3 12,5 ------------------------------------| 10 BIOQUIMICA Y BIOLOGIA MOLECULAR 7,9 8 6,6 7,1 7,5 7,5 7,2 ------------------------| 7,4 BROMATOLOGIA, TECNOLOGIA DE LOS ALIMENTOS Y TOX. 4,3 6,1 4,9 5 4,4 4,6 5,9 ---------------| 5,1 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 5,3 5,4 5,2 5,7 6 5,9 6,1 -----------------| 5,7 CIRUGIA GENERAL Y DIGESTIVA 6,6 7,5 7,1 6,6 6,9 6,6 7,7 -----------------------| 7 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 2,9 2,7 3,1 3,5 4,3 4,4 8,9 ----------| 3,8 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 2,7 3,5 3,5 3 3,8 4,4 5 ---------| 3,6 DERMATOLOGIA 3,1 4,8 3,2 3,2 4,2 3 5 ----------| 3,8 DIETETICA Y DIETOTERAPIA 0 1 10 0 7 4,5 4,7 ------------------| 5,9 DIGESTIVO 7,4 6,1 6,7 6,3 8,2 7,4 10,7 -------------------------| 7.3 ENDOCRINOLOGIA Y NUTRICION 3,5 4,2 4,6 4,9 6,3 4,6 5,4 --------------| 5 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 1 3,3 0 1 1,3 1,7 1,5 -| 1,8 ENFERMERIA DE LA PERSONA ADULTA 0 3,6 0 2,5 3 3,3 2 -------| 3,1 FARMACIA CLINICA 4,5 4,5 4,5 4,5 5,5 5,8 0 --------------| 5 FARMACIA Y TECNOLOGIA FARMACEUTICA 4,6 4,8 5,2 4,4 5,1 5,5 4,6 -------------| 4,9 FARMACOLOGIA 6,2 5,5 8,9 7,2 5,4 5,2 5,2 ------------------| 6,1 FARMACOLOGIA CLINICA 3,6 4,1 3,4 2,5 4,2 4,2 7 -----------| 4,2 FISIOLOGIA Y NUTRICION 4,1 4,8 4,9 4,3 4,6 5,1 5,1 -------------| 4,7 GENETICA 7,9 6,6 8,5 7,8 8,8 9,4 10,8 -----------------------------| 8,6 GINECOLOGIA Y OBSTETRICIA 4 3,8 5,4 4,4 4,5 4,3 3,5 -----------| 4,3 HEMATOLOGIA Y HEMATOTERAPIA 5,8 5 6,3 7,2 7,5 6,4 7,8 ----------------------| 6,8 HISTOLOGIA ANATOMIA PATOLOGICA 5,3 5,6 5,5 6,8 7,4 7,7 8,1 ---------------------| 6,5 HUMANIDADES BIOMEDICAS 4 2 3,6 1 1 1 1,6 -| 1,5 INMUNOLOGIA 6,2 5,2 7,7 7,5 7,7 6,9 6,6 ----------------------| 6,7 I+D DE MEDICAMENTOS 5,4 8,6 7,1 7,3 4,1 6,3 7,8 ----------------------| 6,8 MEDICINA INTERNA 7,1 6,9 6,8 7 7,6 6,9 8,2 -------------------------| 7,3 MEDICINA NUCLEAR 6,5 7,2 6,8 6,1 6,8 5,5 9 ----------------------| 6,8 MEDICINA PREVENTIVA Y SALUD PUBLICA 5 5,8 5,7 5,3 5 7 5,1 ----------------| 5,5 MICROBIOLOGIA Y PARASITOLOGIA 5,4 7,4 5,6 5,1 6,6 6,7 5,4 ------------------| 5,9 NEFROLOGIA 6,6 4,5 5 5,8 7,3 3 6,1 --------------------| 6,1 NEUROLOGIA Y NEUROCIRUGIA 5,4 6,3 5,2 5,9 5,5 5,1 8,1 ------------------| 6 OFTAMOLOGIA 3,7 4,1 3 2,9 2,7 2,6 3,7 -------| 3,1 ONCOLOGIA 6,7 7 8 10,3 8,2 8,3 7,3 --------------------------| 7,7 ORL Y PATOLOGIA CERVICO FACIAL 5 4,8 3,6 4,6 2,5 3,1 5,4 -----------| 4 PEDIATRIA 3,9 4,6 4,9 4,8 4,1 6,7 5,3 --------------| 4,9 PSIQUIATRIA Y PSICOLOGIA MEDICA 3,6 3,2 5,2 5,9 3,3 6,3 4,8 -------------| 4,7 QUIMICA ORGANICA Y FARMACEUTICA 5,5 8,5 7,6 8,5 5 6,4 5,7 ----------------------| 6,8 QUIMICA Y EDAFOLOGIA 4,4 4,3 4,1 5,3 3,9 3,9 4,5 -----------| 4,3 RADIOLOGIA 5 4,8 5 6,2 7,6 6,2 8,6 -------------------| 6,1 SERVICIO ANIMALARIO 7 0 6 0 0 6 0 --------------------| 6,3 U MORFOLOGIA E IMAGEN 4 5,4 6 5,3 6,3 7,6 5,6 ------------------| 6 U PROTEOMICA , GENOMICA Y BIOINFORMATICA 6,3 7 6,6 7,6 9 7,6 8 ------------------------| 7.3 UROLOGIA 7,3 8,8 8,3 9,3 9,3 7,2 7,8 ---------------------------| 8

Page 268: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

264

Figura 79. Índice de Coautoría General (ICO) para las categorías temáticas del Journal Citation Reports. Evolución anual 1999-2005.

Índice de Coatoría (ICO) ICO 1999-2005

Categoría JCR 1999 2000 2001 2002 2003 2004 2005 1 2 3 4 5 6 7 8 9 10

ALERGIA 4,2 4,3 5,7 5,6 6,8 6,2 6,8 ----------------| 5,5

ANESTESIOLOGIA 6,0 3,0 3,0 6,0 5,0 1,0 5,0 -------------| 4,6 BIOFISICA 5,7 4,0 4,0 5,4 5,5 6,7 6,0 ---------------| 5,3 BIOLOGIA 6,2 7,3 5,3 6,4 5,2 6,2 11,5 ----------------------| 6,8 BIOLOGIA CELULAR 6,1 6,4 4,2 6,4 6,1 6,5 8,2 --------------------| 6,2 BIOQUIMICA Y BIOLOGIA MOLECULAR 4,8 5,1 5,8 6,1 6,3 7,0 6,8 ------------------| 6 BIOTECNOLOGIA Y MICROBIOLOGIA APLICADA 5,3 6,6 5,7 6,2 8,2 7,6 8,2 -----------------------| 7,1 CIENCIA Y TECNOLOGIA DE LOS ALIMENTOS 3,8 3,5 4,0 4,5 3,4 3,9 3,8 ----------| 3,9 CIENCIAS MULTIDISCIPLINARES 0,0 9,0 9,0 7,3 10,0 4,0 3,0 -----------------------| 6,9 CIRUGIA 5,1 4,3 4,6 5,4 5,8 5,2 6,4 ---------------| 5,2 DERMATOLOGIA Y ENFERMEDADES VENEREAS 3,5 4,9 4,0 3,1 4,5 3,9 5,1 -----------| 4,2 ENDOCRINOLOGIA Y METABOLISMO 4,8 6,1 5,2 5,5 6,9 6,3 6,4 ------------------| 5,9 ENFERMEDAD VASCULAR PERIFERICA 6,2 5,6 5,8 6,3 6,8 6,2 7,2 ---------------------| 6,5 ENFERMEDADES INFECCIOSAS 6,6 10,5 5,0 6,2 5,9 4,0 10,7 ----------------------| 6,8 FARMACIA Y FARMACOLOGIA 5,2 5,9 5,3 5,9 5,2 6,0 4,7 ----------------| 5,6 FISIOLOGIA 0,0 0,0 2,0 4,6 3,5 4,0 6,1 -------------| 4,6 GASTROENTEROLOGIA Y HEPATOLOGIA 7,0 6,8 7,6 7,2 7,6 7,6 7,9 ------------------------| 7.4 GENETICA 5,8 6,9 8,4 7,2 8,3 7,5 9,6 ---------------------------| 8 HEMATOLOGIA 7,4 7,0 9,1 7,6 7,8 8,3 9,1 -----------------------------| 8,2 INMUNOLOGIA 6,6 5,6 5,9 6,4 7,8 6,2 7,2 ---------------------| 6,6 MEDICINA EXPERIMENTAL 7,6 6,5 6,3 6,7 6,9 6,5 8,4 -----------------------| 7,1 MEDICINA GENERAL E INTERNA 3,6 3,2 4,5 5,3 3,0 2,7 3,9 ---------| 3,7 METODOLOGIA INVESTIGACION BIOQUIMICA 4,2 4,7 5,3 6,0 5,3 4,9 6,3 ---------------| 5 MICROBIOLOGIA 6,4 7,5 5,8 5,6 5,5 3,8 7,5 ------------------| 5,9 NEUROCIENCIAS 5,2 5,3 5,4 5,5 5,2 4,7 5,7 ---------------| 5,3 NEUROLOGIA CLINICA 5,1 5,1 4,9 5,2 5,0 5,1 9,3 ----------------| 5,5 NUTRICION Y DIETETICA 4,6 4,9 4,6 5,2 6,1 5,7 4,9 ---------------| 5,3 OBTESTRICIA Y GINECOLOGIA 5,0 3,8 4,8 4,0 4,4 2,8 3,0 -----------| 4 OFTAMOLOGIA 5,0 5,7 5,3 3,7 3,1 5,2 3,6 -----------| 4,1 ONCOLOGIA 8,1 7,6 7,6 8,7 9,3 8,2 9,1 -----------------------------| 8,5 ORTOPEDIA 2,8 2,0 3,4 4,7 4,2 4,7 3,0 ---------| 3,8 OTORRINOLARINGOLOGIA 7,0 5,0 5,0 6,3 2,7 3,8 5,9 --------------| 4,9 PATOLOGIA 8,2 6,1 5,3 6,9 6,6 8,5 9,0 ----------------------| 6,8 PEDIATRIA 4,3 6,3 5,0 3,0 5,3 4,0 5,9 ---------------| 5 PSIQUIATRIA 5,1 3,0 5,0 4,8 4,1 4,5 4,9 -------------| 4,5 QUIMICA ANALITICA 4,2 4,2 4,5 4,5 5,3 4,5 4,1 ------------| 4,4 QUIMICA APLICADA 3,0 3,3 4,6 4,2 3,7 4,3 4,1 -----------| 4 QUIMICA FISICA 3,5 3,8 4,0 5,3 5,0 3,4 3,2 ---------| 3,8 QUIMICA MEDICA 8,0 9,2 9,4 8,0 6,0 7,9 7,5 ---------------------------| 7,9 QUIMICA MULTIDISCIPLINAR 0,0 8,0 7,2 6,4 5,2 5,5 6,3 ---------------------| 6,5 QUIMICA ORGANICA 5,0 9,0 9,0 6,7 5,5 7,3 6,9 ----------------------| 6,8 RADIOLOGIA, MEDICINA NUCLEAR E IMAGEN MEDICA 5,3 5,7 4,9 6,5 6,0 6,1 6,4 ------------------| 5,8 SALUD PUBLICA, MEDIAMBIENTAL Y LABORAL 0,0 7,2 5,3 6,3 3,3 5,0 5,0 ----------------| 5,5 SISTEMA CARDIOVASCULAR 5,1 6,3 6,5 6,1 7,1 6,8 6,9 ---------------------| 6,4 SISTEMA RESPITATORIO 4,0 0,0 0,0 7,3 5,7 5,3 7,4 --------------------| 6,3 TECNOLOGIA DE LABORATORIOS MEDICOS 7,0 5,7 5,7 6,6 6,3 6,3 9,0 --------------------| 6,3 TOXICOLOGIA 2,0 5,0 4,0 4,5 4,0 4,5 4,6 ------------| 4,4 TRASPLANTES 8,8 5,7 6,6 6,1 8,6 7,1 8,3 ------------------------| 7.5 UROLOGIA Y NEFROLOGIA 5,8 4,0 5,6 8,3 5,6 4,3 4,6 ----------------| 5,6 VIROLOGIA 5,5 5,0 8,7 9,0 7,0 4,3 7,5 ----------------------| 6,8

Page 269: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

265

También para las categorías JCR este indicador es bastante variable (figura 79)

siendo Oncología la que obtiene un resultado más elevado con un promedio de 8,5

autores por trabajo seguida de Hematología con 8,2. La categoría con un índice más

bajo es Medicina General e Interna con 3,7. Como ocurría con los departamentos en

el caso de las categorías de carácter clínico como Obstetricia y Ginecología u

Ortopedia el Índice de Coautoría es menor. Para las categorías más productivas como

Bioquímica y Biología Molecular, Neurología Clínica y Farmacia y Farmacología el

índice se sitúa entre 5 y 6

» 4.5.2. Caracterización de los Patrones de Colaboración.

Para los Patrones de Colaboración (figura 80) de las publicaciones indizadas en

las bases de datos de ISI, predominan aquellas sin colaboración que suman 1585

trabajos y que suponen el 53%, le sigue las colaboradas a nivel internacional con el

26% y por último las nacionales con el 20%. Se observa una tendencia a producir una

menor cantidad de trabajos sin colaboración pasándose del 63% de 1999 al 42% de

2005. El patrón que más gana con este descenso es el nacional, siendo además el

que tiene una tendencia más acusada hacía el crecimiento con un valor R2 de 0,97, el

último año analizado ya supone el 27% de los trabajos. La colaboración internacional,

aunque más moderadamente también crece de forma constante y ya en 2005

abarcaba el 31% de la producción ISI frente al 23% en que se encontraba en el año

1999.

Page 270: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

266

Figura 80. Patrones de colaboración para la universidad. 1999-2005.

0

50

100

150

200

250

300

1999 2000 2001 2002 2003 2004 2005

R2 = 0,07

0

50

100

150

200

250

300

1999 2000 2001 2002 2003 2004 2005 R2 = 0,41

0

50

100

150

200

250

300

1999 2000 2001 2002 2003 2004 2005 R2 = 0,97

Sin colaboración Internacional Nacional

Año Nº % Nº % Nº %

1999 228 63 82 23 52 14

2000 243 57 121 28 62 15

2001 218 57 87 23 80 21

2002 218 50 134 31 84 19

2003 231 54 103 24 93 22

2004 253 53 117 25 104 22

2005 194 42 143 31 124 27

Totales 1585 53 787 26 599 20

% Patrones de Colaboración Evolución anual % Patrones de Colaboración

54%

26%

20%

Sin colaboraciónInternacionalNacional

0%10%20%30%40%50%60%70%80%90%

100%

1999 2000 2001 2002 2003 2004 2005

Page 271: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

267

Gráfica 11. Porcentaje de trabajos ISI (ISItem) publicados en el primer cuartil y en revistas TOP3 obtenidos por cada patrón de colaboración para la universidad. 1999-2005.

% de ISItem en Top3 % de ISItem en el 1ºC

% Top312

% Top318

% Top321

%1ºC43

%1ºC49

%1ºC60

0

20

40

60

80

100

Internacional Nacional Sin colaboración

Gráfica 12. Número de citas y promedio de citas de los trabajos ISI (ISItem) obtenidos por cada patrón de colaboración para la universidad. 1999-2005.

Número de citas Promedio de Citas

Citas ; 9159

Citas ; 3877

Citas ; 6679

PromCitas; 14

PromCitas; 8

PromCitas; 6

0

2000

4000

6000

8000

10000

Internacional Nacional Sin colaboración0

2

4

6

8

10

12

14

16

Page 272: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

268

Si atendemos a la visibilidad de los documentos dependiendo del tipo de

colaboración veremos que los trabajos internacionales presentan un mayor porcentaje

de documentos publicados en el 1ºC y revistas TOP3 (el 60% y el 21%

respectivamente) (gráfica 11). Le sigue en visibilidad la colaboración nacional mientras

que los trabajos sin colaboración son los que presentan unos valores más bajos para

los dos indicadores. En el caso de la citación (gráfica 12) la situación es muy similar.

Vuelve a ser la colaboración internacional la que presenta un mayor impacto y pese a

suponer solo el 26% de la producción ISI logra sumar 9150 citas, un 46% de las 19716

de la UNAV. En consecuencia su promedio de citas se eleva hasta 14, el más alto de

las tres tipologías. El segundo patrón que más número de citas consigue es el de los

trabajos sin colaboración que superan a los nacionales pero con un promedio de

citación más bajo.

Respecto a los departamentos en cuarenta de ellos predominan los trabajos sin

colaboración, en tres la colaboración nacional (Dietética y Dietoterapia, Humanidades

Biomédicas y Medicina Preventiva y Salud Pública) y en siete la internacional. En este

último grupo cabe destacar por su producción el Área de Oncología, Genética y

Microbiología y Parasitología (figura 81). Como ocurre a nivel general con la UNAV los

trabajos colaborados internacionalmente logran atraer gran parte de la citación total de

los departamentos; esta situación se produce en 17 de ellos donde el mayor número

de citas se los lleva esta tipología. Igualmente ocurre con los promedios donde para 31

departamentos los más elevados pertenecen a los trabajos internacionales. Como

ejemplo de este último indicador podemos reseñar el Área de Neurociencias y

Digestivo con promedios de citas para el patrón internacional de 25. Si tomamos los

diez departamentos más citados se observa que tres obtienen el mayor porcentaje de

sus citas gracias a los trabajos sin colaboración (Bioquímica y Biología Molecular,

Cardiología y Cirugía Cardiovascular y el Área de Cardiovascular) mientras siete

logran el mayor número de citas gracias con trabajos internacionales, especialmente

Page 273: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

269

llamativos en este aspecto son los casos de el Área de Oncología y los dos

departamentos relacionados con las neurociencias.

En el caso de las categorías JCR (figura 82) se reproduce una situación parecida

a la anterior ya que en 28 de ellas prevalece el patrón sin colaboración y en el resto la

colaboración internacional que vuelve a obtener los mayores promedios de citas, como

sucede en Neurología Clínica donde se alcanza 33 citas por documento o la Medicina

General e Interna con 48. En determinas categorías el grado de colaboración

internacional es elevado, así en Oncología y la Genética más del 45% de los trabajos

están firmados internacionalmente. En el lado contrario nos encontramos que en

categorías importantes por su volumen productivo predominan los trabajos sin

colaboración como ocurre en Enfermedad Vascular y Periférica con el 52%,

Gastroenterología y Hepatología con el 56% o Neurología Clínica con el 56%.

Page 274: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

270

Figura 81. Porcentaje de trabajos ISI (ISItem), número de citas y promedio de citas por patrón de colaboración para los departamentos. 1999-2005.

Internacional Nacional Sin colaboración Patrones de colaboración

Departamento % NC* PC* % NC* PC* % NC* PC* |------------------| 50% ---------| ALERGOLOGIA E INMUNOLOGIA CLINICA 11 71 17,8 38 170 8,5 51 78 2,5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ANATOMIA 29 231 16,5 26 106 7,1 45 65 2,7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ANESTESIOLOGIA Y REANIMACION 0 0 0,0 5 0 0,0 95 50 3,3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪AREA CARDIOVASCULAR 12 442 17,0 18 252 10,1 70 813 6,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪AREA NEUROCIENCIAS 27 1603 25,0 26 548 7,5 47 788 7,6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪AREA ONCOLOGIA 42 1233 13,9 19 341 10,3 38 306 4,2 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪AREA TERAPIA GENICA 38 1266 13,1 10 272 9,7 52 1301 11,3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOLOGIA DE TUMORES CEREBRALES 63 17 3,4 38 8 4,0 0 0 0,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOQUIMICA Y BIOLOGIA MOLECULAR 30 352 8,8 10 231 19,3 60 683 10,3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BROMATOLOGIA, TEC. DE LOS ALIMENTOS Y TOX. 28 159 6,6 9 50 6,3 63 284 5,4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 7 303 17,8 28 770 14,3 65 857 6,5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CIRUGIA GENERAL Y DIGESTIVA 4 12 4,0 5 50 10,0 90 227 4,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 17 29 4,1 11 13 2,6 72 59 1,9 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CIRUGIA PLASTICA, REPARADORA Y ESTETICA 0 0 0,0 13 5 1,3 88 39 1,4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪DERMATOLOGIA 8 36 7,2 5 5 2,5 86 189 4,3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪DIETETICA Y DIETOTERAPIA 20 5 5,0 80 3 1,0 0 0 0,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪DIGESTIVO 4 25 25,0 15 10 3,3 81 186 8,9 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ENDOCRINOLOGIA Y NUTRICION 13 53 4,8 2 2 1,0 84 593 12,6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 50 0 0,0 0 0 0,0 50 24 24,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ENFERMERIA DE LA PERSONA ADULTA 100 8 4,0 0 0 0,0 0 0 0,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FARMACIA CLINICA 5 0 0,0 9 8 4,0 86 86 4,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FARMACIA Y TECNOLOGIA FARMACEUTICA 33 347 7,5 13 126 7,0 55 382 5,4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FARMACOLOGIA 14 98 9,8 32 223 9,3 54 244 6,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FARMACOLOGIA CLINICA 13 49 4,9 30 69 5,3 56 152 3,6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FISIOLOGIA Y NUTRICION 19 404 10,6 16 201 8,0 64 561 5,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪GENETICA 45 604 10,6 35 378 12,6 20 92 4,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪GINECOLOGIA Y OBSTETRICIA 12 106 21,2 10 18 3,6 78 132 4,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪HEMATOLOGIA Y HEMATOTERAPIA 20 546 17,6 24 258 8,1 56 396 5,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪HISTOLOGIA ANATOMIA PATOLOGICA 32 898 13,6 11 207 8,3 57 630 7,4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪HUMANIDADES BIOMEDICAS 0 0 0,0 57 30 7,5 43 19 6,3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪INMUNOLOGIA 12 35 11,7 12 13 2,6 76 145 4,5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪I+D DE MEDICAMENTOS 44 213 6,9 8 50 8,3 48 150 5,4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MEDICINA INTERNA 31 1325 12,5 12 339 8,1 56 1609 9,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MEDICINA NUCLEAR 17 38 6,3 8 73 14,6 75 162 5,2 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MEDICINA PREVENTIVA Y SALUD PUBLICA 23 292 11,2 41 266 6,0 37 243 6,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MICROBIOLOGIA Y PARASITOLOGIA 48 466 11,9 27 278 12,1 25 59 3,5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪NEFROLOGIA 3 11 11,0 9 3 1,0 89 79 3,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪NEUROLOGIA Y NEUROCIRUGIA 27 2334 37,0 21 371 7,1 52 660 6,5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪OFTAMOLOGIA 8 2 0,7 6 3 3,0 86 182 7,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ONCOLOGIA 19 511 23,2 17 249 15,6 64 227 3,5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ORL Y PATOLOGIA CERVICO FACIAL 10 10 2,5 23 21 2,3 67 43 1,7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪PEDIATRIA 25 109 5,5 14 61 6,1 61 89 2,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪PSIQUIATRIA Y PSICOLOGIA MEDICA 36 171 8,6 25 40 3,1 39 73 3,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA ORGANICA Y FARMACEUTICA 42 221 6,7 6 38 7,6 53 151 4,2 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA Y EDAFOLOGIA 6 34 6,8 44 220 6,1 49 103 2,6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪RADIOLOGIA 6 47 11,8 6 7 1,4 88 209 3,7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪SERVICIO ANIMALARIO 33 2 2,0 33 39 39,0 33 1 1,0 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪U MORFOLOGIA E IMAGEN 21 38 5,4 24 39 5,6 55 45 2,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪U PROTEOMICA , GENOMICA Y BIOINFORMATICA 40 227 17,5 26 64 9,1 34 151 16,8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪UROLOGIA 20 22 22,0 20 7 7,0 60 38 12,7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪* Indicadores: NC: Número de citas obtenidos por los documentos del patrón ; PC: promedio de citas obtenidos por los documentos del patrón Indica el patrón de colaboración que más porcentaje de documentos tiene para cada una de las filas (departamento) Indica el patrón de colaboración que más citas ha obtenido para cada una de las filas (departamento) Indica el patrón de colaboración que más promedio de citas tiene para cada una de las filas (departamento)

Page 275: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

271

Figura 82. Porcentaje de trabajos ISI (ISItem), número de citas y promedio de citas por patrón de colaboración para las categorías temáticas del Journal Citation Reports. 1999-2005.

Internacional Nacional Sin Colaboración Patrones de colaboración

Departamento % NC* PC* % NC* PC* % NC* PC* |------------------| 50% -----------| ALERGIA 11 71 18 38 170 9 51 60 2 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ANESTESIOLOGIA 0 0 0 17 7 2 83 43 4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOFISICA 35 116 11 9 34 11 56 131 7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOLOGIA 49 179 13 21 1 1 31 63 11 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOLOGIA CELULAR 44 631 15 18 99 8 38 231 6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOQUIMICA Y BIOLOGIA MOLECULAR 39 1246 13 13 210 8 49 768 7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪BIOTECNOLOGIA Y MICROBIOLOGIA APLICADA 30 208 13 13 121 13 57 362 13 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CIENCIA Y TECNOLOGIA DE LOS ALIMENTOS 12 52 7 13 23 3 75 262 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CIENCIAS MULTIDISCIPLINARES 54 181 30 15 26 13 31 28 9 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪CIRUGIA 14 95 5 13 162 9 72 313 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪DERMATOLOGIA Y ENFERMEDADES VENEREAS 11 36 7 11 11 3 78 142 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ENDOCRINOLOGIA Y METABOLISMO 38 469 16 14 55 6 49 453 15 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ENFERMEDAD VASCULAR PERIFERICA 15 424 19 33 501 23 52 571 13 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ENFERMEDADES INFECCIOSAS 46 103 6 26 91 10 29 31 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FARMACIA Y FARMACOLOGIA 31 479 8 11 182 9 57 505 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪FISIOLOGIA 9 7 2 18 25 4 73 53 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪GASTROENTEROLOGIA Y HEPATOLOGIA 29 463 17 15 122 8 56 520 11 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪GENETICA 50 643 14 12 73 6 37 348 12 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪HEMATOLOGIA 34 667 14 32 635 19 35 209 4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪INMUNOLOGIA 30 570 13 22 193 7 48 440 6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MEDICINA EXPERIMENTAL 29 370 18 9 62 8 61 401 13 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MEDICINA GENERAL E INTERNA 8 436 48 18 81 4 74 469 7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪METODOLOGIA INVESTIGACION BIOQUIMICA 27 120 10 27 98 8 47 100 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪MICROBIOLOGIA 44 247 11 28 208 15 28 43 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪NEUROCIENCIAS 35 1219 23 28 359 7 37 324 6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪NEUROLOGIA CLINICA 28 1892 33 16 340 11 56 293 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪NUTRICION Y DIETETICA 21 202 10 19 166 8 60 292 6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪OBTESTRICIA Y GINECOLOGIA 12 18 9 8 11 6 81 98 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪OFTAMOLOGIA 15 9 3 5 3 3 79 205 8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ONCOLOGIA 45 1001 10 20 312 8 35 422 7 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪ORTOPEDIA 18 18 3 9 25 8 73 34 2 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪OTORRINOLARINGOLOGIA 13 15 4 22 8 1 66 38 2 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪PATOLOGIA 24 239 16 12 42 6 64 78 6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪PEDIATRIA 38 114 8 10 12 3 53 65 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪PSIQUIATRIA 35 203 11 27 41 3 38 43 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA ANALITICA 10 73 12 35 165 8 56 140 4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA APLICADA 10 9 2 17 6 1 73 145 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA FISICA 13 25 8 33 52 7 54 43 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA MEDICA 45 192 7 28 129 7 27 49 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA MULTIDISCIPLINAR 50 117 6 18 38 5 32 44 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪QUIMICA ORGANICA 39 36 3 32 90 10 29 32 4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪RADIOLOGIA, MED. NUCLEAR E IMAGEN MEDICA 14 65 7 8 101 14 78 154 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪SALUD PUBLICA, MEDIAMBIENTAL Y LABORAL 43 89 10 39 30 3 17 14 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪SISTEMA CARDIOVASCULAR 14 310 18 27 492 15 59 177 3 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪SISTEMA RESPITATORIO 23 13 3 8 7 4 69 58 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪TECNOLOGIA DE LABORATORIOS MEDICOS 19 23 6 6 2 2 75 28 6 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪TOXICOLOGIA 24 18 3 8 7 4 68 82 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪TRASPLANTES 16 56 7 19 37 5 65 132 4 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪UROLOGIA Y NEFROLOGIA 6 20 20 12 19 6 82 94 5 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪VIROLOGIA 19 20 7 31 90 18 50 65 8 ▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪▪* Indicadores: NC: Número de citas obtenidos por los documentos del patrón ; PC: promedio de citas obtenidos por los documentos del patrón

Indica el patrón de colaboración que más porcentaje de documentos tiene para cada una de las filas (departamento)

Indica el patrón de colaboración que más citas ha obtenido para cada una de las filas (departamento)

Indica el patrón de colaboración que más promedio de citas tiene para cada una de las filas (departamento)

Page 276: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

272

» 4.5.3. Colaboración por regiones del mundo, países y CCAA.

La región del mundo con la que existe una mayor colaboración (figura 83) es la

Unión Europea que abarca el 65% de los trabajos colaborados. Además durante el

período estudiado se han doblado los trabajos colaborados con la misma. Le sigue en

importancia la zona norteamericana formada por los Estados Unidos y Canadá con el

24%; ambas regiones abarcan casi el 90%.

Por países (figura 84) es España el que aparece como firmante en el mayor

número de trabajos con un total de 770 seguido de Estados Unidos con 375, por

debajo nos encontramos a Francia, Inglaterra y Alemania con más de 100 trabajos

colaborados. Con este conjunto de países se logran promedios de citación superiores

a 10, en el caso de España el promedio se sitúa en 11 y para EEUU en 18, siendo

además el núcleo de la red de colaboración

Figura 83. Número de trabajos ISI (ISItem) con colaboración distribuidos por grandes regiones del mundo para la universidad. 1999-2005.

Región 1999 2000 2001 2002 2003 2004 2005 Total

AFRICA 1 1 1 1 2 1 0 7 AMERICA DEL SUR 9 6 7 12 6 10 15 65 ASIA 1 3 2 8 5 11 8 38 EEUU Y CANADA 41 65 54 71 50 46 75 402 ORIENTE MEDIO 1 0 0 0 2 4 5 12 PACIFICO SUR 0 3 1 2 0 1 2 9 RESTO DE EUROPA 5 7 1 8 11 6 12 50 UNION EUROPEA 97 138 128 160 156 179 211 1069

Total general 155 223 194 262 232 258 328 1652

% colaboraciones según regiones mundiales Evolución anual del Nº de colaboraciones

PACIFICO SUR1%

ORIENTE M EDIO

1%

RESTO DE EUROPA

3%

EEUU Y CANADA

24%

ASIA2%

AFRICA0,5%

AM ERICA DEL SUR

4%

UNION EUROPEA

65%

0

50

100

150

200

250

1999 2000 2001 2002 2003 2004 2005

EEUU y Cánada Unión Europea Resto mundo

Page 277: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

273

Figura 84. Número de trabajos ISI (ISItem) colaborados distribuidos por país con el número de citas y promedio de citas alcanzado con cada uno de ellos y representación reticular de la estructura de colaboración por países para la universidad. 1999-2005. País ISItem Citas Pcit

ESPAÑA 770 6824 11,1 PORTUGAL 9 116 14,5 ESTADOS UNIDOS 375 5347 17,9 URUGUAY 9 69 7,7 FRANCIA 125 2043 18,1 CHILE 9 29 3,2 INGLATERRA 113 1611 16,3 CUBA 8 115 16,4 ALEMANIA 102 1179 16,2 AUSTRALIA 7 115 16,4 ITALIA 81 1333 20,5 GRECIA 7 90 15,0 HOLANDA 47 888 21,1 PERU 7 72 10,3 CANADA 41 594 18,0 BRASIL 7 16 3,2 SUECIA 31 817 30,3 MEXICO 6 21 4,2 SUIZA 29 377 15,1 POLONIA 5 77 15,4 BELGICA 21 276 15,3 ESCOCIA 5 63 12,6 AUSTRIA 20 154 10,3 NUEVA ZELANDA 4 50 12,5 JAPON 18 295 22,7 RUSIA 4 45 11,3 FINLANDIA 16 323 20,2 REPUBLICA CHECA 4 16 4,0 ARGENTINA 16 133 8,9 HUNGRIA 3 4 2,0 DINAMARCA 15 552 36,8 SUDAFRICA 3 4 2,0 CHINA 14 176 16,0 COLOMBIA 2 30 15,0 IRLANDA 14 158 11,3 EGIPTO 2 5 2,5 COSTA RICA 12 188 17,1 ESLOVENIA 2 5 2,5 NORUEGA 11 331 36,8 COREA 2 4 2,0 ISRAEL 10 37 6,2 REPUBLICA DEL CONGO 2 2 1,0

Estructura reticular de colaboración por países (>8 colaboraciones)

FORMATO DE LA RED Tamaño: Nº de ISItem; Color: Promedio de Citas ; Línea: Nº de colaboraciones

Page 278: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

274

Sin embargo el mayor impacto se logra con los países del norte de Europa como

Dinamarca, Noruega o Suecia con los que no se ha colaborado nunca más de 30 de

veces pero con los que si se logran promedios de citación muy elevados que rebasan

las 30 citas por documento. También puede observarse la colaboración unilateral con

determinados estados, especialmente los latinoamericanos con los que el impacto no

es demasiado elevado.

En cuanto a la situación nacional las principales CCAA (figura 85) con las que se

colabora son la Comunidad de Madrid, Cataluña y la Comunidad Foral de Navarra

con las cuales se han firmado en todos los casos más de 150 trabajos caracterizados

por estar su mayor parte publicados en el 1ºC y con promedios cercanos a las 10 citas

por documento. El mayor impacto se consigue con los documentos firmados con

Aragón, Principado de Asturias con las que se colabora unilateralmente.

Page 279: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

275

Figura 85. Número de trabajos ISI (ISItem) colaborados distribuidos por Comunidad Autónoma con el número de citas, el promedio de citas y el porcentaje de items citables en el primer cuartil alcanzado con cada una de ellas y la estructurar reticular de colaboración para la universidad. 1999-2005.

Formato del mapa:.Tamaño: Nº ISItem ; Color:en escala de rojo-amarillo: promedio de citas

Page 280: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

276

» 4.5.4. Colaboración institucional. Tabla 35.Número de instituciones colaboradoras distribuidas por grandes regiones del mundo y países para la universidad. 1999-2005.

Regiones del mundo Países

Región del mundo Nº Inst % País Nº Inst. % Nº Inst UNION EUROPEA 616 66,8 ESPAÑA 292 31,7 AUSTRIA 12 1,3EEUU Y CANADA 186 20,2 EEUU 162 17,6 JAPON 12 1,3RESTO DE EUROPA 36 3,9 FRANCIA 61 6,6 BELGICA 11 1,2AMERICA DEL SUR 28 3,0 ALEMANIA 59 6,4 CHINA 10 1,1ASIA 27 2,9 INGLATERRA 58 6,3 AUSTRALIA 9 1,0PACIFICO SUR 12 1,3 ITALIA 44 4,8 DINAMARCA 8 0,9ORIENTE MEDIO 10 1,1 CANADA 23 2,5 ISRAEL 8 0,9AFRICA 5 0,5 HOLANDA 22 2,4 ARGENTINA 7 0,8AMERICA DEL SUR 2 0,2 SUIZA 16 1,7 NORUEGA 7 0,8Total general 922 100,0 SUECIA 13 1,4 Resto Países 86 9,2

La Universidad de Navarra ha colaborado con un total de 922 instituciones que

suman 7537 colaboraciones diferentes (tabla 35). La mayor parte de las instituciones

son de la Unión Europea (616 - 67%) y EEUU y Canadá (186 - 20%) siendo por países,

muy destacados del resto, España y Estados Unidos los que reúnen el mayor número

de instituciones diferentes.

En el figura 86 se presentan aquellas instituciones con las que se ha colaborado

más de 6 veces con el número y promedio de citas logrados con las mismas. En el

ranking figuran en primer lugar dos instituciones catalanas el Hospital Vall d'Hebron y

el Hospital Clinic de Barcelona con las que se firman respectivamente 53 y 47 ISItem.

La primera institución extranjera que nos encontramos como coautora es el National

Cancer Institute del National Institute of Health (NIH) de Estados Unidos con 46

trabajos. Otras instituciones estadounidenses con las que se colabora y que tienen un

gran prestigio internacional son la University of Southern California y Harvard

University. Respecto a la Unión Europea la institución con la que se han firmado más

trabajos es el Institute National De La Sante et La Recherche Medicale (Francia)

seguida de la Universität Klinikum Kiel (Alemania) y de la Universite Pierre E Marie

Page 281: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

277

Curie Paris 6 (Francia). En cuanto al impacto se ha alcanzado con 51 instituciones un

promedio de citas superior a 15, gran parte de ellas estadounidenses y europeas. El

máximo para éste indicador se logra con la Eramus University of Rotterdam (Holanda)

con 57 y con la John Hopkin´s University (Estados Unidos) con 53, con ambas

instituciones se firman 11 trabajos.

Si analizamos la red que forman estas instituciones en la estructura presentada en

el la figura 86 veremos que existen tres grupos de instituciones. El primero lo compone

un primer círculo concéntrico formado por aquellas instituciones con las que existe una

mayor colaboración, distinguiéndose dos subgrupos en su interior. Alrededor de este

núcleo central existe un segundo grupo que constituye una semiperiferia donde

todavía se pueden observar algunas agrupaciones, en torno a las cuales se dispone la

periferia formada por instituciones de varias regiones del mundo mucho más

miscelánea y desestructurada con las que se suele colaborar unilateralmente.

Page 282: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

278

Figura 86. Número de trabajos ISI (ISItem) colaborados distribuidos por instituciones nacionales e internacionales con el número de citas y el promedio de citas alcanzado con cada una de ellas y estructura reticular general de colaboración institucional para la universidad. 1999-2005.

Institución ISItem > 6 Citas Pcit

HOSP VALL DHEBRON 53 484 12,1 UNIV OF CINCINNATI 11 159 15,9 HOSP CLINIC DE BARCELONA 47 457 14,3 UNIV DE CASTILLA LA MANCHA 11 96 8,7 NIH. NATIONAL CANCER INSTITUTE 46 496 12,1 HOSP UNIV VIRGEN DEL ROCIO 11 44 6,3 HOSP DE NAVARRA 43 522 14,1 ROULLIER GROUP - INABONOS 11 30 2,7 UNIV PUBLICA DE NAVARRA 41 401 12,5 BRIGHAMS & WOMEN´S HOSP 10 493 61,6 UNIV DE VALENCIA 35 385 13,3 SAHLGRENSKA UNIV HOSP 10 457 45,7 UNIV AUTÓNOMA DE MADRID 31 227 7,6 UNIV DE OVIEDO 10 275 34,4 HOSP GEN LA FE 29 368 21,6 UNIV OF CAMBRIDGE 10 305 30,5 HOSP UNIV 12 DE OCTUBRE 27 305 16,9 HOSP NUESTRA SEÑORA DE ARANZAZU 10 232 25,8 HOSP UNIV REINA SOFIA 27 209 9,5 HOSP UNIV CENTRAL DE ASTURIAS 10 135 22,5 EUSKAL HERRIKO UNIBERTSITATE 27 146 7,0 KARONLINSKA UNIVERSITETSSJUKHUSET 10 138 15,3 HOSP VIRGEN DEL CAMINO 27 106 4,8 TRINITY COLLEGE OF DUBLIN 10 147 14,7 UNIV DE BARCELONA 26 403 16,1 GREAT ORMOND STREET HOSP 10 129 14,3 HOSP UNIV LA PAZ 26 134 8,4 CORNELL UNIV 10 74 12,3 HOSP RAMON Y CAJAL 26 128 6,7 UNIV OF CHICAGO 10 70 10,0 BASURTUKO OSPITALEA 24 170 9,4 HOSP UNIV VIRGEN DE LA ARRIXACA 10 52 8,7 UNIV DE MALAGA 24 98 5,2 HOSP UNIV MIGUEL SERVET 10 36 7,2 UNIV OF SOUTHERN CALIFORNIA 23 419 23,3 UNIV DE JAEN 10 49 4,9 HOSP CLIN UNIV DE SALAMANCA 23 266 20,5 HOSP GEN UNIV GREGORIO MARAÑON 10 38 4,8 HOSP UNIV MARQUES VALDECILLA 23 324 20,3 UNIV OF NORTH CAROLINA 10 19 4,8 HOSP CLIN UNIV VALENCIA 22 293 22,5 UNIV OF COLORADO AT DENVER 10 26 3,3 HOSP DONOSTIA 22 155 15,5 HOSP JUAN CANALEJOS 9 184 26,3 CNIO 22 291 14,6 UNIV OF MINNESOTA 9 100 20,0 INST NAT DE LA SANTE ET LA REC MED 19 558 39,9 LA SAPIENZA 9 129 16,1 HARVARD UNIV 19 410 22,8 UNIV CAMPUS BIOMEDICO DI ROMA 9 77 12,8 HOSP UNIV DE LA PRINCESA 19 215 15,4 UNIV DE LA REPUBLICA 9 69 7,7 HOSP CLIN SAN CARLOS 18 354 23,6 UNIV DE MURCIA 9 52 7,4 UNIV DE ZARAGOZA 17 413 34,4 UNIV OF CALIFORNIA DAVIS 9 35 5,8 UNIV DE LA LAGUNA 17 386 22,7 HOSP DEL MAR 8 211 35,2 HOSP DE CRUCES 17 192 14,8 UNIVERSITÄT MUNSTER 8 234 33,4 HOSP REG UNIV CARLOS HAYA 17 154 11,0 EMORY UNIV 8 241 30,1 UNIV OF WASHINGTON 16 211 26,4 UNIV OF TORONTO 8 127 25,4 MAYO CLINIC COLL. OF MEDICINE 16 256 18,3 UNIV OF LEICESTER 8 144 24,0 UNIV COMPLUTENSE MADRID 16 90 6,0 UNIV DE VALLADOLID 8 103 20,6 HOSP UNIVRI DE BELLVITGE 16 82 5,5 DUKE UNIV 8 131 18,7 SERVICIO NAVARRO DE SALUD 16 51 3,6 UNIV AUTONOMA DE BARCELONA 8 145 18,1 MOUNT SINAI SCHOOL OF MEDICINE 15 360 27,7 INST NAT DE LA RECHERQUE AGRONOMIQUE 8 87 10,9 UNIVERSITÄTSKILINIKUM KIEL 15 268 20,6 CLINICA SAN MIGUEL 8 21 5,3 UNIV DE SALAMANCA 15 86 12,3 UNIV DE BUENOS AIRES 8 34 4,9 CSIC. iNST DE QUIMICA MEDICA 15 119 7,9 HOSP UNIVRI GERMAN TRIAS 7 250 62,5 POLICLINICA GUIPUZKOA 14 239 47,8 HOSP GEN UNIVRI DALACANT 7 196 39,2 UNIV OF CALIFORNIA SAN FRANC. 14 235 19,6 HOSP SAN JORGE 7 63 31,5 QUIRON GRUPO HOSPARIO 13 411 34,3 UNIV HOSP GRONINGEN 7 109 21,8 HOSP UNIV PUERTA DE HIERRO 13 129 11,7 CATHOLIC UNIV OF LOUVAIN 7 85 17,0 UNIVPIERRE E MARIE CURIE PARIS 6 13 119 9,2 UNIV DI PADUA 7 93 15,5 UNIV OF CALIFORNIA LOS ANGELES 13 69 7,7 UNIV OF VIENNA 7 75 15,0 HOSP SAN PAU 13 35 4,4 UNIVERSITE BORDEAUX 2 7 88 14,7 HOSP UNIV SANTIAGO DE COMPO. 13 17 3,4 HOSP GEN DE JEREZ DE LA FRONTERA 7 79 13,2 MASSACHUSETTS GEN HOSP 12 535 53,5 UNIVERSITÄT ULM 7 23 11,5 M SLOAN KETTERING CANCER CENT 12 243 27,0 FUNDACION HOSP ALCORCON 7 43 10,8 UNIV NAC HEREDIA COSTA RICA 12 188 17,1 UNIV NAC MAYOR DE SAN MARCOS 7 72 10,3 UNIV DI BOLOGNA 12 93 10,3 UNIV DI CAGLIARI 7 54 9,0 UNIVERSITÄT BONN 12 42 7,0 UNIV DI MILANO 7 53 8,8 UNIV COLLEGE LONDON 12 38 4,8 CNRS 7 52 8,7 ERASMUS UNIV. ROTTERDAM 11 627 57,0 UNIV DE CANTABRIA 7 42 7,0 JOHNS HOPKINS UNIV 11 579 52,6 HOSP UNIV SON DURETA 7 23 3,3 HOSP CLIN UNIV LOZANO BLESA 11 150 30,0 TXAGORRITXU OSPITALEA 7 3 0,6 KING´S COLLEGE LONDON 11 173 17,3

Formato de las instituciones: Azul: Unión Europea ; naranja Estados Unidos: verde otras países ; Blanco España

Formato del Promedio de Citas: Rojo aquellas instituciones para las que el promedio de citas es igual o superior a 15

Estructura general de la red de colaboración institucional

FORMATO: Rojo: EU ; Azul: EEUU; Verde: América del Sur ; Rosa: Resto Europa ; Negro: Asia ; Amarillo: Pacífico sur ; Gris: África

Page 283: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

279

En las figuras 87 y 88 hemos extraído las dos redes principales de colaboración

institucional en las que participa la UNAV, son aquellas que conformaban el núcleo del

primer arco concéntrico y que dan lugar a una red internacional y otra nacional. La red

de carácter internacional (figura 87) está formada por 17 instituciones; con todas ellas

se han firmado un mínimo de cuatro trabajos. Esta red la componen cuatro subgrupos:

grupo de Harvard University, grupo del Institute National de la Sante et la Recherche

Medicale, grupo del Sain Savvas Hospital y grupo del University College of London.

Son por lo tanto un grupo de EEUU y tres de la Unión Europea con los que se

obtienen promedios de citas superiores a 14 exceptuando el grupo del University

College of London con promedios más bajo.

En la red institucional nacional existe una mayor densidad (figura 88)

distinguiéndose en principio tres grupos importantes. El primero, situado en la zona

superior, es el liderado por el Hospital Clinic de Barcelona que presenta un impacto

superior al segundo de los grupos, el estructurado en torno Hospital Vall d'Hebron con

promedios de citas inferiores a 14. Parece no existir para estos grupos un factor

geográfico que determine la colaboración nacional. Una tercera subred situada a la

derecha es la formada por dos instituciones del País Vasco: Hospital Donostia y

Policlínica Guipúzcoa.

Page 284: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores de colaboración científica

280

Figura 87. Estructura reticular de colaboración institucional internacional para la universidad. 1999-2005

FORMATO DE LA REDES. Solo aparecen los centros con los se ha colaborado al menos 4 veces y no son nodos aislados Tamaño: Nº de ISItem (Max: Institute National De La Sante et La Recherche Medicale = 19) ; Color: Promedio de Citas (0-4 Amarillo ; 4-14 Naranja ; > 14 Rojo) ; Línea: Intensidad de la colaboración basada en el número de documentos firmados conjuntamente.

Figura 88. Estructura reticular de colaboración institucional nacional para la universidad. 1999-2005

FORMATO DE LA REDES. Solo aparecen los centros con los se ha colaborado al menos 5 veces y no son nodos aislados Tamaño: Nº de ISItem (Max: Hospital Vall d’Hebron = 53) ; Color: Promedio de Citas (0-4 Amarillo ; 4-14 Naranja ; > 14 Rojo) ; Línea: Intensidad de la colaboración basada en el número de documentos firmados conjuntamente.

Page 285: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores respecto a la posición firmante

281

» 4.6. INDICADORES RESPECTO A LA POSICIÓN FIRMANTE

En esta sección se ha realizado un análisis de las posiciones firmantes de la

UNAV. Para ello hemos tomado exclusivamente solo los trabajos que tuvieran

colaboración, nacional o internacional, y se ha determinado en cuantos de ellos figura

un investigador de la UNAV en la primera posición, en las posiciones intermedias o al

final. Se ha equipado la firma inicial y final teniendo en cuenta el supuesto de que

ambas son las más importantes en la cadena de coautoría, aunque efectivamente

tengan una significación y un rol diferente (véase tabla 21). Si tenemos en cuenta los

1386 trabajos que presentan algún tipo de colaboración en 845 de ellos, el 61%, la

UNAV ha sido el primer o el último firmante (figura 89). Durante el período analizado

este porcentaje se ha movido entre el 58% de 1999 y 2005 y el 66% de 2003.

Figura 89. Número y porcentaje de trabajos firmados en posición inicial o final en los trabajos con colaboración para la universidad. 1999-2005.

0

50

100

150

200

250

300

0

50

100

150

200

250

300

0

50

100

150

200

250

300

Todos los ISItem con colaboración Solo ISItem Internacionales Solo ISItem Nacionales

Año Total INI / FIN % Total INI / FIN % Total INI / FIN % 1999 134 78 58 82 46 56 52 32 62 2000 183 118 64 121 77 64 62 41 66 2001 167 97 58 87 51 59 80 46 58 2002 218 131 60 134 77 57 84 54 64 2003 196 129 66 103 61 59 93 68 73 2004 221 137 62 117 69 59 104 68 65 2005 267 155 58 143 87 61 124 68 55

Totales 1386 845 61 787 468 59 599 377 63 Nº ISItem (colaborados) según posición de la firma Evolución anual del % ISItem (colaborados) firmados Inicio / Fin

50

60

70

80

1999 2000 2001 2002 2003 2004 2005

% IS

Item

firm

ados

INI /

FIN

Todos Internacional Nacional

• Total : Total de ISItem colaborados • INI / FIN : Número de ISITEM firmados por un investigador de la UNAV en posición inicial o final • % : Porcentaje de ISITem que suponen INI/FIN sobre el Total

Page 286: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores respecto a la posición firmante

282

Si tomamos los 787 ISItem en los que hubo colaboración internacional el

porcentaje de firmas iniciales y finales se reduce levemente al 59% alcanzándose el

máximo el año 2005 con el 61%. Para los colaborados a nivel nacional este mismo

porcentaje aumenta al 63% y su máximo se obtuvo el año 2003 con el 73%

Gráfica 13. Promedio de citas y número de citas obtenidas por los trabajos con colaboración según la posición de la firma, inicial o final y media, para la universidad. 1999-2005.

Pcit; 10,4

Pcit; 13,7

Citas; 7103

Citas; 5933

0

5

10

15

20

25

FIRMA INICIAL / FINAL FIRMA MEDIA52005400560058006000620064006600680070007200

Pcit Citas

Gráfica 14. Promedio de citas y número de citas obtenidas por los trabajos con colaboración internacional según la posición de la firma, inicial o final y media, para la universidad. 1999-2005.

Pcit; 12,3

Pcit; 16,1

Citas; 4788

Citas; 4242

0

5

10

15

20

25

FIRMA INICIAL / FINAL FIRMA MEDIA40004100420043004400450046004700480049005000

Pcit Citas

Gráfica 15. Promedio de citas y número de citas obtenidas por los trabajos con colaboración nacional según la posición de la firma, inicial o final y media, para la universidad. 1999-2005.

Pcit; 7,7Pcit; 9,2

Citas; 2315

Citas; 1562

0

5

10

15

20

25

FIRMA INICIAL / FINAL FIRMA MEDIA0

500

1000

1500

2000

2500Pcit Citas

Page 287: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores respecto a la posición firmante

283

Si atendemos al impacto de los trabajos colaborados según la posición firmante

(gráfica 13) se observa como el número de citas logrado por los trabajos

iniciales/finales es de 7103 un 54% del total que dan lugar a un promedio de citas de

10,4. Cuando la UNAV firma en algunas de las posiciones intermedias el promedio se

eleva a 13,7 ya que este grupo tiene una mayor capacidad para atraer citación. Esta

situación, de mayor impacto cuando no se lidera la publicación de un trabajo científico,

se vuelve a repetir si analizamos los dos tipos de colaboración (gráfica 14 y gráfica 15)

acentuándose en el caso de la internacional donde los trabajos iniciales/finales tienen

un promedio de 12,3 frente al 16,1 de los firmados en una posición media.

En el caso de los departamentos (figura 90) todos han firmado como mínimo un

50% de sus trabajos colaborados en posición inicial/final a excepción de Farmacología

y Endocrinología y Nutrición, 23 de ellos además lo han hecho en el 75% de los

trabajos. Este último grupo de departamentos se caracteriza por tener una producción

de tamaño medio-bajo ya que, en general, cuanto mayor es el número de

publicaciones con colaboración, sobre todo si es internacional, menor es el porcentaje

de firmas iniciales/finales. Esta situación, por ejemplo, se produce en las áreas del

Centro de Investigación Médica Aplicada siempre situadas entre las más productivas y

citadas pero con porcentajes para este indicador que se mueven entre el 60% del

Área de Neurociencias y el 73% del Área de Cardiovascular. Estos mismos resultados

se vuelven a reproducir para el caso de las categorías JCR (figura 91). Tan solo

Endocrinología y Nutrición firma menos del 50% en posición inicial/final y 22

categorías superan el 75%, destaca dentro de este grupo la Ciencias Multidisciplinares

cuyos trabajos se sitúan entre los que tienen más impacto y de los nueve que han

colaborado 8 han estado liderados por la UNAV.

Page 288: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores respecto a la posición firmante

284

Figura 90. Número de trabajos ISI (ISItem) con colaboración, número y porcentaje de trabajos ISI colaborados firmados en posición inicial y final para los departamentos. 1999-2005.

Todos los ISItem con

colaboración Solo ISItem Internacionales Solo ISItem Nacionales

Departamento Nº INI / FIN % Nº INI / FIN % Nº INI / FIN %

ALERGOLOGIA E INMUNOLOGIA CLINICA 31 23 74 7 7 100 24 16 67 ANATOMIA 32 27 84 17 14 82 15 13 87 ANESTESIOLOGIA Y REANIMACION 1 1 100 0 0 0 1 1 100 AREA CARDIOVASCULAR 82 60 73 32 18 56 50 42 84 AREA NEUROCIENCIAS 153 92 60 77 46 60 76 46 61 AREA ONCOLOGIA 169 103 61 116 71 61 53 32 60 AREA TERAPIA GENICA 182 122 67 144 92 64 38 30 79 BIOLOGIA DE TUMORES CEREBRALES 8 7 88 5 5 100 3 2 67 BIOQUIMICA Y BIOLOGIA MOLECULAR 61 41 67 46 30 65 15 11 73 BROMATOLOGIA, TECNOLOGIA DE LOS ALIMENTOS 33 24 73 25 16 64 8 8 100 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 112 67 60 23 9 39 89 58 65 CIRUGIA GENERAL Y DIGESTIVA 9 8 89 4 4 100 5 4 80 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 13 9 69 8 6 75 5 3 60 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 4 3 75 0 0 0 4 3 75 DERMATOLOGIA 8 6 75 5 3 60 3 3 100 DIETETICA Y DIETOTERAPIA 5 4 80 1 1 100 4 3 75 DIGESTIVO 10 7 70 2 1 50 8 6 75 ENDOCRINOLOGIA Y NUTRICION 13 6 46 11 5 45 2 1 50 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 1 1 100 1 1 100 0 0 0 ENFERMERIA DE LA PERSONA ADULTA 2 2 100 2 2 100 0 0 0 FARMACIA CLINICA 3 3 100 1 1 100 2 2 100 FARMACIA Y TECNOLOGIA FARMACEUTICA 65 58 89 47 41 87 18 17 94 FARMACOLOGIA 35 17 49 11 7 64 24 10 42 FARMACOLOGIA CLINICA 36 28 78 11 11 100 25 17 68 FISIOLOGIA Y NUTRICION 79 59 75 43 35 81 36 24 67 GENETICA 120 75 63 68 44 65 52 31 60 GINECOLOGIA Y OBSTETRICIA 11 6 55 6 2 33 5 4 80 HEMATOLOGIA Y HEMATOTERAPIA 87 49 56 40 22 55 47 27 57 HISTOLOGIA ANATOMIA PATOLOGICA 106 62 58 78 45 58 28 17 61 HUMANIDADES BIOMEDICAS 4 4 100 0 0 0 4 4 100 INMUNOLOGIA 12 12 100 6 6 100 6 6 100 INVESTIGACION Y DESARROLLO DE MEDICAMENTOS 39 27 69 33 22 67 6 5 83 MEDICINA INTERNA 225 148 66 161 102 63 64 46 72 MEDICINA NUCLEAR 18 14 78 12 10 83 6 4 67 MEDICINA PREVENTIVA Y SALUD PUBLICA 76 66 87 27 22 81 49 44 90 MICROBIOLOGIA Y PARASITOLOGIA 64 36 56 41 22 54 23 14 61 NEFROLOGIA 4 3 75 1 0 0 3 3 100 NEUROLOGIA Y NEUROCIRUGIA 130 72 55 73 36 49 57 36 63 OFTAMOLOGIA 5 3 60 3 2 67 2 1 50 ONCOLOGIA 54 35 65 29 16 55 25 19 76 ORL Y PATOLOGIA CERVICO FACIAL 13 9 69 4 2 50 9 7 78 PEDIATRIA 33 26 79 21 14 67 12 12 100 PSIQUIATRIA Y PSICOLOGIA MEDICA 34 21 62 20 12 60 14 9 64 QUIMICA ORGANICA Y FARMACEUTICA 42 29 69 37 24 65 5 5 100 QUIMICA Y EDAFOLOGIA 41 22 54 5 2 40 36 20 56 RADIOLOGIA 10 6 60 5 1 20 5 5 100 SERVICIO ANIMALARIO 2 1 50 1 0 0 1 1 100 UNIDAD MORFOLOGIA E IMAGEN 15 13 87 7 5 71 8 8 100 UNIDAD PROTEOMICA , GENOMICA Y BIOINFORMATICA 23 19 83 14 12 86 9 7 78 UROLOGIA 2 2 100 1 1 100 1 1 100

En Rojo aquellas celdas cuyo % es igual o superior al 75%

Page 289: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Indicadores respecto a la posición firmante

285

Figura 91. Número de trabajos ISI (ISItem) con colaboración, número y porcentaje de trabajos ISI colaborados firmados en posición inicial y final para las categorías temáticas del Journal Citation Reports. 1999-2005.

Todos los ISItem con

colaboración Solo ISItem Internacionales Solo ISItem Nacionales

Categoría JCR Nº INI / FIN % Nº INI / FIN % Nº INI / FIN %

ALERGIA 30 23 77 7 7 100 23 16 70 ANESTESIOLOGIA 3 3 100 0 0 0 3 3 100 BIOFISICA 15 13 87 12 10 83 3 3 100 BIOLOGIA 27 14 52 19 11 58 8 3 38 BIOLOGIA CELULAR 72 37 51 51 26 51 21 11 52 BIOQUIMICA Y BIOLOGIA MOLECULAR 137 71 52 103 53 51 34 18 53 BIOTECNOLOGIA Y MICROBIOLOGIA APLICADA 30 19 63 21 13 62 9 6 67 CIENCIA Y TECNOLOGIA DE LOS ALIMENTOS 17 13 76 8 6 75 9 7 78 CIENCIAS MULTIDISCIPLINARES 9 8 89 7 6 86 2 2 100 CIRUGIA 43 26 60 22 13 59 21 13 62 DERMATOLOGIA Y ENFERMEDADES VENEREAS 10 6 60 5 3 60 5 3 60 ENDOCRINOLOGIA Y METABOLISMO 52 26 50 38 17 45 14 9 64 ENFERMEDAD VASCULAR PERIFERICA 94 61 65 29 16 55 65 45 69 ENFERMEDADES INFECCIOSAS 25 10 40 16 8 50 9 2 22 FARMACIA Y FARMACOLOGIA 83 60 72 61 45 74 22 15 68 FISIOLOGIA 9 7 78 3 3 100 6 4 67 GASTROENTEROLOGIA Y HEPATOLOGIA 106 71 67 69 45 65 37 26 70 GENETICA 67 35 52 54 29 54 13 6 46 HEMATOLOGIA 132 78 59 68 40 59 64 38 59 INMUNOLOGIA 85 55 65 49 30 61 36 25 69 MEDICINA EXPERIMENTAL 41 33 80 31 26 84 10 7 70 MEDICINA GENERAL E INTERNA 33 18 55 10 7 70 23 11 48 METODOLOGIA INVESTIGACION BIOQUIMICA 26 17 65 13 8 62 13 9 69 MICROBIOLOGIA 36 19 53 22 12 55 14 7 50 NEUROCIENCIAS 112 70 63 62 39 63 50 31 62 NEUROLOGIA CLINICA 98 50 51 63 33 52 35 17 49 NUTRICION Y DIETETICA 48 38 79 25 20 80 23 18 78 OBTESTRICIA Y GINECOLOGIA 5 1 20 3 0 0 2 1 50 OFTAMOLOGIA 8 3 38 6 2 33 2 1 50 ONCOLOGIA 157 90 57 108 59 55 49 31 63 ORTOPEDIA 9 7 78 6 5 83 3 2 67 OTORRINOLARINGOLOGIA 11 7 64 4 1 25 7 6 86 PATOLOGIA 27 17 63 18 11 61 9 6 67 PEDIATRIA 19 16 84 15 12 80 4 4 100 PSIQUIATRIA 32 21 66 18 12 67 14 9 64 QUIMICA ANALITICA 28 15 54 6 3 50 22 12 55 QUIMICA APLICADA 11 6 55 4 1 25 7 5 71 QUIMICA FISICA 11 8 73 3 1 33 8 7 88 QUIMICA MEDICA 49 29 59 30 20 67 19 9 47 QUIMICA MULTIDISCIPLINAR 30 26 87 22 19 86 8 7 88 QUIMICA ORGANICA 20 11 55 11 8 73 9 3 33 RADIOLOGIA, MED. NUCLEAR E IMAGEN MEDICA 21 14 67 13 7 54 8 7 88 SALUD PUBLICA, MEDIAMBIENTAL Y LABORAL 19 15 79 10 8 80 9 7 78 SISTEMA CARDIOVASCULAR 61 32 52 21 8 38 40 24 60 SISTEMA RESPITATORIO 8 4 50 6 3 50 2 1 50 TECNOLOGIA DE LABORATORIOS MEDICOS 9 7 78 7 6 86 2 1 50 TOXICOLOGIA 8 6 75 6 4 67 2 2 100 TRASPLANTES 22 12 55 10 5 50 12 7 58 UROLOGIA Y NEFROLOGIA 6 2 33 2 1 50 4 1 25 VIROLOGIA 8 3 38 3 0 0 5 3 60

En Rojo aquellas celdas cuyo % es igual o superior al 75%

Page 290: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

286

» 4.7. GRUPOS ESTABLES DE INVESTIGACIÓN » 4.7.1. Caracterización general de la red de investigadores

La red de investigadores de la universidad para el período completo está

compuesta de 926 nodos, si embargo no todos ellos están presentes para cada uno de

los años. Así la red en 1999 contaba con 346 investigadores, cifra que se ha ido

aumentado progresivamente hasta alcanzar los 490 del año 2005 (figura 92). En total

estos 926 investigadores mantuvieron entre sí 12088 colaboraciones o relaciones,

representadas en la red por una línea. La mayor parte de ellas han sido

colaboraciones esporádicas ya que solo se han producido en una ocasión. En 4974

relaciones la colaboración es más acentuada produciéndose al menos en dos

ocasiones. La densidad de la red para todo el período es de 0.0282 alcanzándose la

máxima densidad en 2000 y la mínima en 2005 donde el número de investigadores es

mayor. Estos datos se manifiestan también en el diámetro, es decir la máxima

distancia existente entre los nodos de la res, que se sitúa en líneas generales en 9

mientras que la distancia media para el período es de 3,5.

Si reducimos la red de la figura 92 manteniendo las relaciones o líneas de valor 7

y eliminamos los investigadores aislados obtenemos los grupos de investigación más

estables de la UNAV representados y caracterizados en ella figura 93. Se han

identificado un total de 26 grupos de investigación cuyo tamaño mínimo es de dos

investigadores y el máximo de dieciséis. Predominan los grupos formados por tres

investigadores (9 grupos), cinco (5 grupos) y cuatro (4 grupos).

Page 291: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

287

Figura 92. Estructura reticular general de colaboración entre investigadores de la UNAV y evolución anual de los indicadores de redes para la universidad. 1999-2005

Red general de colaboración de investigadores de la UNAV 1999-2005

Indicadores de la red de colaboración

1999 2000 2001 2002 2003 2004 2005 99-05 Nº de líneas con valor 1 1340 1548 1596 2424 2714 2614 2806 7114 Nº de líneas # valor 1 538 600 654 940 790 832 644 4974 Nº total líneas 1875 2148 2250 3364 3504 3446 3450 12088 Densidad 0.0333 0.0361 0.0336 0.0324 0.0317 0.0323 0.0287 0.0282 Nº de nodos (investigadores) 339 345 366 456 470 462 490 926 Distancia media 5,4 4,8 4,8 4,5 4,5 4,5 5,5 3,5 Diámetro 11 12 11 11 12 12 15 9

Page 292: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

288

Figura 93. Estructura reticular de los grupos estables de investigación y cluster identificados con el número y el porcentaje de nodos que acumulan para la universidad. 1999-2005.

Estructura reticualr de los grupos estables de investigación

Cluster de la red

Cluster Nº nodos % nodos Nº nodos acum.

% nodos acum.

cluster1 5 4 5 4 cluster2 9 7.2 15 12 cluster3 7 5.6 22 17.6 cluster4 5 4 27 21.6 cluster5 3 2.4 30 24 cluster6 16 12.8 46 36.8 cluster7 4 3.2 50 40 cluster8 3 2.4 53 42.4 cluster9 3 2.4 56 44.8

cluster10 3 2.4 59 47.2 cluster11 6 4.8 65 52 cluster12 3 2.4 68 54.4 cluster13 4 3.2 72 57.6 cluster14 3 2.4 75 60 cluster15 8 6.4 83 66.4 cluster16 2 1.6 85 68 cluster17 4 3.2 89 71.2 cluster18 2 1.6 91 72.8 cluster19 6 4.8 97 77.6 cluster20 5 4. 102 81.6 cluster21 5 4 107 85.6 cluster22 3 2.4 110 88 cluster23 5 4 115 92 cluster24 3 2.4 118 94.4 cluster25 4 3.2 122 97.6 cluster26 3 2.4 124 100 Totales 124 100

Page 293: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

289

» 4.7.2. Mapa de los grupos de investigación e indicadores bibliométricos

Para un análisis más cómodo de los grupos hemos dividido la red de colaboración

presentada en la figura 93 en 6 zonas diferentes. Por cada zona se ha obtenido una

subred donde se presentan los grupos ampliados y coloreados según el cluster al que

pertenecen. Los investigadores van numerados y su correspondencia con el nombre

real se encuentra en la tabla 37 presentada ala final de este apartado. Asimismo para

los cluster identificados como grupos estables de investigación se ofrecen una batería

de indicadores que comprenden: número de nodos, número de IsitemCit, número de

citas, promedio de citas y porcentaje ISItemCit indizados en el 1ºC. En la tabla 36

presentamos el resumen de las principales características de los grupos más estables

de investigadores.

Tabla 36. Número de nodos, número de ítems citables (ISItemCit), número de citas, promedio de citas y porcentaje de trabajos publicados en el primer cuartil de los grupos estables de investigación identificados en la red de colaboración de investigadores de la universidad. 1999-2005.

Grupo Nº de nodos

Nº de ISItemCIt

Nº de citas

Prom.Citas % 1C Departamentos de los investigadores / nodos

zona1_Cluster 1 8 186 3301 17,4 67 Cardiología y Cirugía Cardiovascular /Área Cardiovascular zona1_Cluster 2 2 47 809 17,2 81 Cardiología y Cirugía Cardiovascular /Área Cardiovascular zona1_Cluster 3 4 123 757 6,1 56 Hematología y Hematoterapia / Área de Cardiovascular / Cardiología Cirugía Cardiovascular zona1_Cluster 4 5 126 894 7,1 53 Hematología y Hematoterapia /Área Cardiovascular /Área Oncología zona1_Cluster 5 2 37 79 2,1 38 Hematología y Hematoterapia zona1_Cluster 6 3 68 308 4,5 29 Oncología zona2_Cluster 1 4 85 548 6,4 39 Alergología e Inmunología Clínica zona2_Cluster 2 6 168 1451 8,6 63 Genética / Oncología zona2_Cluster 3 3 47 235 5 11 Investigación y Desarrollo de Medicamentes zona2_Cluster 4 6 146 1225 8,3 24 Investigación y desarrollo de Médicamente/Farmacología zona2_Cluster 5 3 40 390 9,7 50 Farmacología zona2_Cluster 6 3 56 238 4,1 9 Fisiología y Nutrición zona3_Cluster 1 4 55 238 4,3 1 Nefrología zona3_Cluster 2 5 119 1226 10,3 28 Histología y Anatomía Patológica zona3_Cluster 3 5 104 1541 14,1 71 Medicina Interna / Área de Terapia Génica /Bioquímica y Biología Molecular /Oncología zona3_Cluster 4 3 63 359 5,6 42 Ginecología y Obstetricia zona3_Cluster 5 3 36 140 3,8 48 Digestivo zona4_Cluster 1 9 398 2890 7,2 26 Fisiología y Nutrición / Medicina Preventiva y Salud Pública zona4_Cluster 2 4 115 1308 11,3 65 Endocrinología y Nutrición zona5_Cluster 1 5 111 349 3,1 12 Radiología zona5_Cluster 2 5 111 602 5,4 26 Neurología y Neurocirugía/ Área de Neurociencias zona5_Cluster 3 3 116 2938 25,3 87 Neurología y Neurocirugía/ Área de Neurociencias zona5_Cluster 4 4 91 317 3,4 27 Farmacología Clínica zona5_Cluster 5 2 73 345 4,7 36 Farmacia y Tecnología Farmacéutica zona5_Cluster 6 7 172 2426 14,1 72 Medicina Interna / Área de Terapia Génica zona6_Cluster 1 16 510 6258 12,2 72 Medicina Interna / Área de Terapia Génica /Digestivo

Page 294: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

290

En la Zona 1 (figura 94) se han identificado un total de seis grupos que conforman

un único componente. El mayor de ellos es el situado a la izquierda y compuesto de

ocho investigadores, todos ellos pertenecientes a los departamentos de Cardiología y

Cirugía Cardiovascular y del Área Cardiovascular. Por los indicadores es el segundo

en promedio de citas del total de 26 grupos con 17,4 y también el segundo en

producción con 186 ISItemCit. El Cluster3 que se une al anterior través del

investigador 17, actual director del Área Cardiovascular del CIMA, está formado por

personal de los departamentos de Hematología y Hematoterapia, Área de

Cardiovascular y Cardiología Cirugía Cardiovascular y se especializa en temas

relacionados con la Aterosclerosis sin obtener un impacto demasiado elevado. El

investigador 5 de este grupo es el que a su vez mantiene el enlace con el cluster 4,

segundo en tamaño dentro de la zona1. Este cluster es más multidisciplinar y sus

investigadores provienen de Hematología y Hematoterapia, del Área Cardiovascular y

del Área Oncología del CIMA. El investigador 7, que pertenece al Área de Oncología

del CIMA, sirve de puente entre los Cluster 4y 6 y se enlaza con el investigador 12 del

departamento de Oncología durante 1999-2001 y de Hematología y Hematoterapia en

2002-2005, sirviendo por tanto de traducción entre ambos grupos. El resto de

investigadores del Cluster6 son de Oncología. Este último grupo no es demasiado

citado e indiza muy poca producción en el 1ºC.

La red descrita en la zona2 (figura 95) esta constituida por 4 componentes. El

primero es el situado en la zona inferior izquierda formado por cuatro investigadores

del departamento de Alergología e Inmunología Clínica. EL cluster2 es el segundo

grupo más grande de la zona y está formado por 5 investigadores con una gran

colaboración interna pero liderados esencialmente por la pareja 4-7, miembro el

primero del departamento de Genética y el segundo de Oncología; el resto son todos

investigadores de Genética. Este grupo indiza un porcentaje importante en el 1ºC y en

general el promedio de citas es de 8,6. El componente central lo conforman tres

Page 295: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

291

grupos de investigación, dos tríadas y un grupo mayor de 6 nodos. El cluster3 lo

componen personal del departamento de Investigación y Desarrollo de Medicamentos.

Es un grupo caracterizado por su bajo impacto y visibilidad. El cluster central del

componente es el 4 en el que destacan dos investigadores el número 2 y 9 un

investigador que sirven de intermediarios entre las dos tríadas, los nodos de este

grupo pertenecen al departamento de Investigación y desarrollo de Médicamente o

bien al departamento Farmacología. Su promedio de citas es 8,3 y tiene un 24% de

su producción en publicada en el 1ºC. EL cluster5 también esta formado por tres

investigadores de Farmacología siendo el que más impacto alcanza dentro de la zona

y del propio componente con 9,7 citas por documento y el 50% de ISItemCit en el 1ºC.

El último de los grupos es el situado en la zona superior derecha correspondiente al

cluster6 constituido por tres investigadores del departamento de Fisiología y Nutrición,

con una visibilidad e impacto bajos

En la zona3 (figura 96) encontramos 5 grupos diferentes: dos tríadas, dos grupos

de cinco de investigadores y uno de cuatro. El cluster1 situado más a la izquierda lo

integran cuatro científicos con una producción similar pertenecientes al departamento

de Nefrología aunque con un mayor protagonismo por parte de la pareja 12-13. Se

caracteriza su producción por una citación y visibilidad baja. El siguiente grupo,

cluster2, reúne a 5 investigadores en una red muy colaborativa sin liderazgo.

Provienen sus miembros del departamento de Histología y Anatomía Patológica con

un impacto que supera las 10,3 citas por documento y una producción destacada de

119 ISItemCit. El cluster3 también lo componen cinco nodos en forma de estrella con

todas las relaciones posibles presentes aunque con una pareja más colaboradora

formada por los investigadores 14-15. Es un grupo donde los investigadores tienen o

bien una doble adscripción a Medicina Interna y el Área de Terapia Génica, o bien

pertenecen a Bioquímica y Biología Molecular u Oncología. Es el tercer grupo de los

26 en cuanto a su promedio de citas situado en 14,1 y con un porcentaje significativo

Page 296: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

292

de ISItemCIt en el 1ºC, el 71%. Los dos últimos cluster de la zona tienen tres

investigadores, el primero se corresponde a personal del departamento de Ginecología

y Obstetricia y su investigador más productivo es el número 5. Los miembros del

segundo cluster son del departamento de Digestivo. Ambos grupos se caracterizan por

tener un bajo promedio de citas y menos del 50% de su producción en el primer cuartil.

En la zona 4 (figura 97) hay un único componente formado por dos grupos unidos

a través de los investigadores número 1 y 3. El cluster1 es el mayor de ellos y se

integra por investigadores de los departamentos de Fisiología y Nutrición (7, 8,5, 13,1)

y Medicina Preventiva y Salud Pública (10, 8, 6) de los que destaca el número 6 que

junto con el 5 y 1 constituyen el núcleo a través de una tríada. Es el segundo cluster

más productivo de la UNAV con 398 ISItemCit pero con indicadores de visibilidad no

demasiado destacados. El otro grupo, cluster2, son todos investigadores del

departamento de Endocrinología y Nutrición. Respecto al impacto presenta 11,3 citas

por documento y su visibilidad también es alta con el 65% de los ISItemCIt en el 1ºC.

En la zona cinco (figura 98) hay 6 grupos destacándose negativamente los cluster

1, 4 y 5 por su promedio de citas inferior a 5 y menos del 40% de su producción en el

1ºC. El primero de ellos tiene cinco nodos con el investigador 16 como el más

productivo, éste y el resto de los investigadores pertenecen a Radiología. Los cluster 4

y 5 forman un único componente que se estructura en torno al investigador número 1

que actúa como único puente entre ambos. El Cluster 4 son investigadores del

departamento de Farmacología Clínica, y el 5 de Farmacia y Tecnología Farmacéutica.

El cluster2 está constituido por cinco nodos y en el se distinguen un subgrupo

principal y otro menor, son investigadores que se adscriben simultáneamente a los

departamentos de Neurología y Neurocirugía y Área de Neurociencias, sin embargo su

impacto no es demasiado elevado alcanzado solo las 5,4 citas por documento. El

cluster que le sigue, el número 3, también son investigadores de Neurología y

Page 297: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

293

Neurocirugía y Área de Neurociencias y se trata de una tríada liderada por el número

10. Presenta el impacto más alto al tener un promedio de 25 citas por ISItemCit y el

87% de los documentos en el 1ºC. El último grupo y el de mayor tamaño de la zona es

el cluster6 compuesto por miembros con la doble adscripción departamental Medicina

Interna-Área Terapia Génica y liderado por la tríada de investigadores 18, 17 y 20,

tiene el tercer promedio de citas más elevado con 14,1 citas por documento y el 72%

de ISItemCIt en el 1ºC.

En la zona 6 (figura 99) se encuentra el mayor de los grupos formado por 16

nodos articulados en torno a la figura del investigador número 1 que une dos

subgrupos fácilmente identificables. Además este investigador tiene enlaces con otros

grupos de investigación de la zona3 y zona5. En cuanto a los subgrupos el más

situado a la izquierda esta formado por personal de los departamentos de Medicina

Interna y Cirugía General y Digestiva, mientras que el grupo ubicado a la derecha son

investigadores de Medicina Interna, Área Terapia Génica y Digestivo. En general,

considerando ambos subgrupos, esta red es la que tiene mayor producción con 510

ISItemCit y un promedio de citas de 12,2, sus artículos además atraen 6258 citas lo

que supone un 30% del total obtenido por la UNAV.

Page 298: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

294

Figura 94. Grupos estables de investigación de la zona 1 del mapa de colaboración de investigadores de la universidad. 1999-2005.

Zona 1

Figura 95. Grupos estables de investigación de la zona 2 del mapa de colaboración de investigadores de la universidad. 1999-2005.

Zona 2

Page 299: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

295

Figura 96. Grupos estables de investigación de la zona 3 del mapa de colaboración de investigadores de la universidad. 1999-2005.

Zona 3

Figura 97. Grupos estables de investigación de la zona 4 del mapa de colaboración de investigadores de la universidad. 1999-2005

Zona 4

Page 300: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

296

Figura 98. Grupos estables de investigación de la zona 5 del mapa de colaboración de investigadores de la universidad. 1999-2005

Zona 5

Figura 99. Grupos estables de investigación de la zona 6 del mapa de colaboración de investigadores de la universidad. 1999-2005

Zona 6

Page 301: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Grupos estables de investigación

297

Tabla 37. Correspondencia del número identificativo de los nodos con el nombre de los investigadores del mapa de colaboración de investigadores de la universidad. 1999-2005.

Zona 1 (figura 94) 7 CORBALAN TUTAU, MARIA SOLEDAD 1 PANIZO SANTOS, CARLOS MANUEL 8 DE IRALA ESTEVEZ, JOKIN2 BRUGAROLAS MASLLORENS, ANTONIO 9 FORGA LLENA, LUIS3 MONTES DIAZ, RAMON 10 SANCHEZ VILLEGAS, MARIA ALMUDENA 4 ORBE LOPATEGUI, JOSUNE 11 GIL CALVO, M JESUS5 PARAMO FERNANDEZ, JOSE ANTONIO 12 SALVADOR RODRIGUEZ, FRANCISCO JAVIER 6 BENDANDI, MAURIZIO 13 MORENO ALIAGA, MARIA JESUS7 INOGES SANCHO, SUSANA Zona 5 (figura 98)8 RODRIGUEZ CALVILLO, MERCEDES 1 CAMPANERO MARTINEZ, MIGUEL ANGEL 9 HERMIDA SANTOS, JOSE 2 GARCIA QUETGLAS, EMILIO10 BELOQUI RUIZ, OSCAR MARIA 3 IRACHE GARRETA, JUAN MANUEL11 MARTIN ALGARRA, SALVADOR 4 VIVAS PEREZ, ISABEL12 PEREZ CALVO, JAVIER 5 BERASAIN LASARTE, M CARMEN13 ROCHA HERNANDO, EDUARDO 6 ALEGRE ESTEBAN, MANUEL14 LECUMBERRI VILLAMEDIANA, RAMON 7 ARTIEDA GONZALEZ GRANDA, JULIO 15 RODRIGUEZ GARCIA, JOSE ANTONIO 8 GURIDI LEGARRA, JORGE16 FORTUÑO GIL, ANA 9 IRIARTE FRANCO, JORGE17 DIEZ MARTINEZ, DOMINGO FCOJAVIER 10 OBESO INCHAUSTI, JOSE ANGEL18 FORTUÑO CEBAMANOS, MARIA ANTONIA 11 RODRIGUEZ OROZ, M CRUZ19 GONZALEZ MIQUEO, ARANZAZU 12 URRESTARAZU BOLUMBURU, ELENA 20 LOPEZ SALAZAR, BEGOÑA 13 VITERI TORRES, CESAR VINICIO21 BEAUMONT EZCURRA, FCO JAVIER 14 BENITO BOILLOS, ALBERTO22 RAVASSA ALBENIZ, SUSANA 15 SADABA DIAZ DE RADA, M BELEN23 SAN JOSE ENERIZ, GORKA 16 BILBAO JAUREGUIZAR, JOSE IGNACIO 24 ZALBA GOÑI, GUILLERMO 17 MATO DE LA PAZ, JOSE MARIA25 MORENO ZULATEGUI, M DE UJUE 18 AVILA ZARAGOZA, MATIAS ANTONIO

Zona 2 (figura 95) 19 MARTINEZ CHANTAR, M LUZ1 ALDANA MORAZA, IGNACIO 20 RUIZ GARCIA TREVIJANO, ELENA2 MONGE VEGA, ANTONIO 21 DELGADO SANCHEZ GRACIAN, CARLOS 3 AGUIRRE ENA, XABIER 22 MARTINEZ DE LA CUESTA, ANTONIO 4 CALASANZ ABINZANO, MARIA JOSE 23 ARANGOA ORTEGA, MIGUEL ANGEL 5 LAHORTIGA AYERRA, IDOYA 24 AZANZA PEREA, JOSE RAMON6 LARRAYOZ ILUNDAIN, MARIA JOSE 25 CORRALES IZQUIERDO, FERNANDO JOSE 7 ODERO DE DIOS , MARIA DOLORES 26 LATASA SADA, M UJUE8 VIZMANOS PEREZ, JOSE LUIS Zona 6 (figura 99)9 DEL RIO ZAMBRANA, JOAQUIN 1 PRIETO VALTUEÑA, JESUS MARIA10 LASHERAS ALDAZ, BERTA 2 TIRAPU FERNANDEZ DE LA CUESTA, IÑIGO 11 JASO AMADOZ, ANDRES 3 ARINA IRAETA, AINHOA12 PEREZ SILANES, SILVIA 4 DUARTE OJEDA, MARINA13 ZARRANZ MICHAUS, MARIA BELEN 5 HERRAIZ BAYOD, M TERESA14 CENARRUZABEITIA SAGARMINAGA, EDURNE 6 HERRERO SANTOS, JOSE IGNACIO15 DIEGUEZ LOPEZ, ISAURO 7 MAZZOLINI RIZZO, GUILLERMO16 SANCHEZ LOPEZ, GERMAN 8 MELERO BERMEJO, IGNACIO JAVIER 17 SANZ LARRUGA, MARIA LUISA 9 QIAN, CHENG18 VILA SEXTO, LETICIA 10 QUIROGA VILA, JORGE AUGUSTO19 LOSTAO CRESPO, MPILAR 11 RUIZ ECHEVERRIA, JUAN20 BARBER CARCAMO, ANA MARIA 12 SANGRO GOMEZ ACEBO, BRUNO CARLOS 21 GARCIA LOPEZ, MARIA TERESA 13 ALVAREZ CIENFUEGOS SUAREZ, FRANCISCO JAVIER 22 LATORRE IZQUIERDO, MIRIAM 14 PARDO SANCHEZ, FERNANDO23 OFICIALDEGUI LOPEZ, ANA M 15 BARAJAS VELEZ, MIGUEL ANGEL24 ORUS SARASOLA, LARA 16 CASTILLA CORTAZAR, INMACULADA 25 BARRENETXE HUICI, JAIONE

Zona 3 (figura 96) 1 GARCIA FERNANDEZ, NURIA 2 LOZANO ESCARIO, MARIA DOLORES3 PANIZO SANTOS, ANGEL FERNANDO4 PARDO MINDAN, FRANCISCO JAVIER5 ALCAZAR ZAMBRANO, JUAN LUIS 6 JURADO CHACON, MATIAS 7 LOPEZ GARCIA, GUILLERMO 8 LOPEZ DIAZ DE CERIO, ASCENSION9 SOLA GALLEGO, JESUS JAVIER 10 SUBTIL IÑIGO, JOSE CARLOS 11 ERRASTI GOENAGA, PEDRO 12 LAVILLA ROYO, FRANCISCO JAVIER13 PURROY UNANUA, ANDRES 14 LASARTE SAGASTIBELZA, JUAN JOSE15 DE ALAVA CASADO, ENRIQUE 16 BETES IBAÑEZ, M TERESA 17 MUÑOZ NAVAS, MIGUEL ANGEL 18 BORRAS CUESTA, FRANCISCO 19 SAROBE UGARRIZA, PABLO 20 CASARES LAGAR, NOELIA

Zona4 (figura 97) 1 MARTINEZ HERNANDEZ, JOSE ALFREDO2 FRUHBECK MARTINEZ, GEMA 3 GOMEZ AMBROSI, JAVIER 4 MARGARETO SANCHEZ, JAVIER 5 MARTI DEL MORAL, AMELIA 6 MARTINEZ GONZALEZ, MIGUEL ANGEL

Page 302: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

298

» 4.8. INPUTS CIENTÍFICOS Y SU RELACIÓN CON LOS INDICADORES BIBLIOMÉTRICOS

» 4.8.1. Tipo de financiación y descripción de los proyecto de investigación

Para analizar la financiación se ha empleado el número de contratos y ensayos

clínicos, financiación obtenida a través de fundaciones y proyectos de investigación.

De estas tres tipologías nos hemos detenido con especial atención en los proyectos de

investigación ya que supone un indicador significativo de la capacidad competitiva de

la universidad y sus departamentos. Sumando las tres tipologías por las que se

financia la UNAV se obtienen un total de 1033 ítems (figura 100). De este conjunto el

52% pertenece a proyectos, el 41% a contratos y ensayos clínico y el 7% a

fundaciones. Estos porcentajes son bastantes regulares para todo el período y en

general los tres tipos presentan una tendencia positiva hacía el crecimiento

especialmente las fundaciones para los últimos cuatro años.

Figura 100. Número y porcentaje de contratos y ensayos clínicos, proyectos financiados por fundaciones y proyectos de investigación para la universidad. Evolución anual. 1999-2005.

Contratos Fundaciones Proyectos % del Tipo de financiación. Anual y Total

Año Inicio Nº % Nº % Nº % Totales 0%-------------------------| 50%-----------------------|

1999 25 54 0 0 21 46 46 |■■■■■■■■■■■■■■■■■■■■|2000 50 46 2 2 56 52 108 |■■■■■■■■■■■■■■■■■■■■| 2001 47 28 22 13 99 59 168 |■■■■■■■■■■■■■■■■■■■■| 2002 58 39 5 3 84 57 147 |■■■■■■■■■■■■■■■■■■■■| 2003 81 42 8 4 106 54 195 |■■■■■■■■■■■■■■■■■■■■| 2004 86 46 16 9 85 45 187 |■■■■■■■■■■■■■■■■■■■■| 2005 80 44 19 10 83 46 182 |■■■■■■■■■■■■■■■■■■■■| Totales 427 41 72 7 534 52 1033

Tipo de financiación. Series anules

0

20

40

60

80

100

120

1999 2000 2001 2002 2003 2004 2005

427; 41%

534; 52%

72; 7%

Page 303: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

299

En la figura 101 y la tabla 38hemos caracterizado la financiación a través de

proyectos de investigación más detalladamente. Como se observa un porcentaje

importante, el 39%, son de origen nacional; la financiación procede principalmente

procede de los Proyectos de Investigación y Desarrollo auspiciados por el extinto

Ministerio de Ciencia y Tecnología, hoy Ministerio de Educación y Ciencia, y de los

Proyectos de I+D patrocinados por el Fondo de Investigaciones Sanitarias del

Ministerio de Sanidad y Consumo. La financiación nacional supone el 68% de la

cantidad económica final que obtuvo la UNAV en el período 1999-2005. El año que

más proyectos se obtuvieron fue el 2003 con 56 proyectos que supusieron el 83% de

la financiación. El segundo ámbito que acapara mayor número de proyectos es el

regional que alcanza el 40% de los mismos, un total de 216 pero que solamente

supusieron un 14% sobre el montante económico global. Todos los proyectos

regionales son financiados por el Gobierno de Navarra, principalmente a través del

Departamento de Salud y el Departamento de Educación. El tercer tipo de financiación

es la interna que proviene en su totalidad del programa de investigación propio de la

Universidad de Navarra. Este ámbito suma un total de 90 proyectos, el 17% los cuales

suponen el 18% del total económico. La UNAV ha obtenido un total de 19 proyectos

europeos que solamente suponen el 4% de los 534. En conjunto los proyectos

europeos pese a que numéricamente no son demasiados si atraen una fuerte entrada

de recursos económicos ya que abarcan el 11% de la cantidad económica final,

incluso en el año 2000 esta cifra se eleva al 21% con solo cinco proyectos de un total

de 84. Los proyectos de la UE se concentran principalmente en las convocatorias del

V Programa Marco, el Programa Europeo de Salud Pública y los Programas

Integrados del VI Programa Marco. Un último ámbito altamente significativo, en el que

únicamente se financia un proyecto, es el de la convocatoria del National Institute of

Health estadounidense, quizás la institución de investigación más importante del

mundo por su volumen económico

Page 304: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

300

Figura 101. Número y porcentaje de proyectos de investigación y porcentaje de euros obtenidos sobre el montante total por las diferentes tipologías de proyectos (europeo, internacional, interno, nacional y regional) y los organismos y programas financiadores para la universidad. 1999-2005. Europeo Internacional Interno Nacional Regional

Año Inicio Nº* %* %€* Nº* %* %€* Nº* %* %€* Nº* %* %€* Nº* %* %€* Totales

1999 0 0 0 0 0 0 4 19 17 9 43 65 8 38 18 21 2000 2 4 18 0 0 0 5 9 11 27 48 58 22 39 13 56 2001 2 2 6 0 0 0 14 14 43 43 43 39 40 40 12 99 2002 5 6 21 1 1,2 6 24 29 20 22 26 36 32 38 17 84 2003 4 4 5 0 0 0 11 10 3 59 56 83 32 30 9 106 2004 3 4 18 0 0 0 14 16 10 22 26 46 46 54 26 85 2005 3 4 10 0 0 0 18 22 24 27 33 49 35 42 16 83

Totales 19 4 11 1 0,2 1 90 17 18 209 39 56 215 40 14 534

Nº de proyectos según ámbito 1999-2005 % € sobre el total según ámbito 1999-2005

Regional; 215; 40%

Nacional; 209; 39%

Interno; 90; 17%

Europeo; 19; 4% Internacional;

1; 0%Regional

14%

Interno18%

Internacional1%

Nacional56%

Europeo11%

Nº de proyectos según ámbito. Evolución anual % € sobre el total según ámbito. Evolución anual

0

10

20

30

40

50

60

70

1999 2000 2001 2002 2003 2004 2005

0

10

20

30

4050

60

70

80

90

1999 2000 2001 2002 2003 2004 2005

Nº*: Nº de proyectos de investigación.

%*: Porcentaje de proyectos obtenidos por el ámbito.

%€* : Porcentaje total de Euros obtenidos sobre el montante económico total conseguido por los proyectos del ámbito.

Organismos financiadores y programas de investigación

Principales organismos financiadores Principales programas financiadores

Comisión Europea

Universidad de Navarra

Minist. Sanidad y Consumo

Minist. Ciencia y Tecnologia

Gob. Navarra

0

5

10

15

20

25

30

35

0 10 20 30 40 50

I+D Dpt salud GN

I+D Dpt edu GN

PI Unav

I+D Fis

I+D Mcyt

Red tematica FIS

Profit

CE V Prog Marco

0

5

10

15

20

25

0 5 10 15 20 25

Y: % Euros sobre el total // X: % de Nº de proyectos sobre el total // Tamaño: Número de proyectos // Color: ámbito

Page 305: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

301

Tabla 38. Distribución del número de proyectos y el porcentaje de euros obtenidos por los proyectos de investigación según ámbito, organismos y programas financiadores para la universidad. 1999-2005.

Año de Inicio proyecto % €

Tipo de proyecto 99 00 01 02 03 04 05 99-05 %1 * %2* %€ 1* %€ 2*

EUROPEO

► Comisión Europea 0 2 2 5 4 3 3 19 100 3,56 100 10,64 ■ Otros programas del 5º Programa Marco 0 0 0 0 1 0 0 1 5 0,19 0,1 0,01 ■ Programa Europeo Salud Pública 0 0 0 0 2 1 1 4 21 0,75 7 0,78 ■ Programa europeo Interreg IIIA (FEDER) 0 0 0 0 1 0 0 1 5 0,19 15 1,55 ■ Programas Integrados del Sexto Programa 0 0 0 0 0 2 1 3 16 0,56 24 2,53 ■ Proyectos I+D Quinto Programa Marco 0 2 2 5 0 0 0 9 47 1,69 51 5,42 ■ Redes Excelencia Sexto Programa Marco 0 0 0 0 0 0 1 1 5 0,19 3 0,35

INTERNACIONAL

► National Institute of Health (EE.UU.) 0 0 0 1 0 0 0 1 100 0,19 100 0,79 ■ Proyectos I+D National Institute Health EEUU 0 0 0 1 0 0 0 1 100 0,19 100 0,79

INTERNO

► Universidad de Navarra 4 5 14 24 11 14 18 90 100 16,85 100 18,31 ■ Fundación Universitaria de Navarra 1 0 0 2 2 0 0 5 6 0,94 1 0,23 ■ Línea investigación Universidad de Navarra 0 0 1 0 0 0 0 1 1 0,19 22 3,97 ■ Programa de Investigación Universidad de Navarra 3 5 12 22 9 14 16 81 90 15,17 48 8,73 ■ Proyecto especial Universidad de Navarra 0 0 1 0 0 0 2 3 3 0,56 29 5,38

NACIONAL

► Agencia Española de Cooperación Internacional 0 0 1 0 0 1 0 2 100 0,37 100 0.03 ■ Agencia Española de Cooperación Internacional 0 0 1 0 0 1 0 2 100 0,37 100 0,03

► Comisión Interministerial de Ciencia y Tecnología 0 0 0 1 0 0 0 1 100 0,19 100 0,06 ■ Acciones especiales de la CICYT 0 0 0 1 0 0 0 1 100 0,19 100 0,06

► Consejo de Seguridad Nacional 0 0 0 0 0 1 0 1 100 0,19 100 0,07 ■ Consejo de Seguridad Nuclear 0 0 0 0 0 1 0 1 100 0,19 100 0,07

► Ministerio de Ciencia y Tecnología 7 17 22 11 26 12 17 112 100 20,96 100 28,48 ■ Acciones Especiales 0 0 0 0 2 0 0 2 2 0,37 0 0,06 ■ Becas Ramón y Cajal -La Cierva 0 0 4 0 2 0 1 7 6 1,31 10 2,80 ■ Infraestructuras Científ-Tecnológ. FEDER 0 0 0 0 3 0 0 3 3 0,56 13 3,65 ■ Proyectos I+D del Inst. Nac. Inv. Agrarias 0 2 1 0 0 0 0 3 3 0,56 1 0,35 ■ Proyectos I+D 7 12 12 8 16 11 14 80 72 14,98 67 19,00 ■ Proyectos Profit I+D 0 3 5 3 3 1 0 15 13 2,81 9 2,53 ■ Programa Torres Quevedo 0 0 0 0 0 0 2 2 2 0,37 0,1 0,09

► Ministerio de Sanidad y Consumo 2 9 20 10 33 8 9 91 100 17,04 100 27,16 ■ Ayudas a Infraestructuras FIS 0 0 0 1 0 0 0 1 1 0,19 1 0,40 ■ Contratos Investigadores FIS 0 0 0 0 3 0 0 3 3 0,56 2 0,47 ■ Evaluación de Tecnologías Sanitarias FIS 0 0 0 0 1 0 0 1 1 0,19 0 0,08 ■ Proyectos I+D del Fondo Investigaciones Sanitarias 2 9 20 9 14 8 9 71 78 13,30 51 13,91 ■ Redes Temáticas FIS 0 0 0 0 15 0 0 15 16 2,81 45 12,30

► Otros organismos nacionales 0 0 1 0 0 0 0 1 100 0,37 100 0,25 ■ Otras convocatorias nacionales 0 0 1 0 0 0 0 1 100 0,37 100 0,25

REGIONAL

► Gobierno de Navarra 8 22 40 32 32 46 35 215 100 40,26 100 14,2 ■ Otros programas I+D GN 0 1 0 0 1 1 2 5 2 0,94 4 0,56 ■ Programa Navarra-Aquitania 0 0 1 2 0 0 1 4 2 0,75 1 0,13 ■ Proyectos I+D Depto Educación GN 0 3 25 14 9 24 12 87 40 16,29 40 5,70 ■ Proyectos I+D Depto Industria GN 0 1 0 2 2 4 0 9 4 1,69 7 0,97 ■ Proyectos I+D Depto Salud GN 8 17 14 14 20 17 20 110 51 20,60 48 6,84

Indicadores: %1: porcentaje del número de proyectos que representa un programa respecto al total de proyecto de su organismo financiador. %2: porcentaje del número de proyectos que representa un programa respecto al total de proyectos. %€ 1: porcentaje de euros que representa un programa respecto al total de euros de su organismo financiador. %€ 2: porcentaje de euros que representa un programa respecto al total de euros obtenidos por todos los proyectos

Page 306: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

302

» 4.8.2. Tipo de financiación, proyectos e indicadores bibliométricos por departamentos

En la figura 102 se presentan los diferentes departamentos según el tipo de

financiación. Podemos distinguir básicamente tres grupos. Aquellos en los que

predominan los Contratos y Ensayos Clínicos que suman un total de 16

departamentos como: Farmacia y Tecnología Farmacéutica (71%), Cardiología y

Cirugía Cardiovascular (58%) u Oncología (91%). Un grupo menor de cuatro

departamentos financiados principalmente a través de las fundaciones: Anatomía

(53%) o Cirugía Plástica y Reparadora (43%). Por último un grupo constituido por 30

departamentos cuya principal fuente de obtención de fondos son los proyectos de

investigación, dentro de éstos podemos reseñar Medicina Interna (69%) con 117

proyectos, Área de Oncología (51%) con 95 o el Área de Terapia Génica (84%) con

83. En el la figura 103 se analizan más detalladamente los proyectos de investigación

en relación con diferentes indicadores bibliométricos. Se observa que existe un núcleo

de 9 departamentos que aportan entre el 5% y el 18% a la cantidad económica final

de la UNAV. Sobresalen de este grupo Medicina Interna con el 18%€, Terapia Génica

con el 16%€, Área de Neurociencias con el 13%€ y Oncología 13%€. Respecto a la

relación de la financiación de proyectos y los indicadores número de ISItemCit y

número de citas en los dos gráficos se observa como la cantidad de euros obtenida

correlaciona con ambos indicadores con un valor de R2 superior a 0,8. Los

departamentos con más solvencia económica también son los más citados y los más

productivos como es el caso evidente de la Medicina Interna, el Área de Terapia

Génica y Área de Neurociencias. Sin embargo como la correlación no es perfecta hay

departamentos que se escapan positivamente a este patrón; es la situación de

Neurología y Neurocirugía y Cardiología y Cirugía Cardiovascular que con menos

recursos económicos han obtenido buenos resultados en cuanto a producción

científica y tiene un mayor impacto que otros departamentos similares como puede ser

Page 307: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

303

el caso del Área de Oncología o Histología y Anatomía Patológica. En la cola de

ambas gráficas existen un grupo amplio que han recibido menos del 1,5% de la

financiación económica y que son poco productivos y citados

Figura 102. Número y porcentaje que representan los contratos y ensayos clínicos, proyectos financiados por fundaciones y los proyectos de investigación para los departamentos. 1999-2005

Contratos Fundaciones Proyectos % del Tipo de financiación

Departamento Nº % Nº % Nº % Total 0%---------------------| 50%-----------------|

MEDICINA INTERNA 28 24 8 7 81 69 117 |■■■■■■■■■■■■■■■■■■■■| AREA ONCOLOGIA 34 36 13 14 48 51 95 |■■■■■■■■■■■■■■■■■■■■| AREA TERAPIA GENICA 6 7 7 8 70 84 83 |■■■■■■■■■■■■■■■■■■■■| AREA NEUROCIENCIAS 19 24 5 6 56 70 80 |■■■■■■■■■■■■■■■■■■■■| FAR Y TEC. FARMACEUTICA 55 71 2 3 21 27 78 |■■■■■■■■■■■■■■■■■■■■| NEUROLOGIA Y NEUROCIRUGIA 29 39 5 7 40 54 74 |■■■■■■■■■■■■■■■■■■■■| CARDIOLOGIA Y CIRUGIA CAR. 38 58 8 12 20 30 66 |■■■■■■■■■■■■■■■■■■■■| ONCOLOGIA 58 91 1 2 5 8 64 |■■■■■■■■■■■■■■■■■■■■| HEMATOLOGIA Y HEMATOTER 38 61 2 3 22 35 62 |■■■■■■■■■■■■■■■■■■■■| AREA CARDIOVASCULAR 18 31 6 10 34 59 58 |■■■■■■■■■■■■■■■■■■■■| HISTOLOGIA ANATOMIA PATOL. 4 8 7 14 38 78 49 |■■■■■■■■■■■■■■■■■■■■| BROMATOLOGIA, TEC ALI. 25 54 0 0 21 46 46 |■■■■■■■■■■■■■■■■■■■■| FISIOLOGIA Y NUTRICION 17 40 0 0 25 60 42 |■■■■■■■■■■■■■■■■■■■■| BIOQUIMICA Y BIOLOGIA MOL. 1 3 3 9 30 88 34 |■■■■■■■■■■■■■■■■■■■■| QUIMICA Y EDAFOLOGIA 7 23 0 0 23 77 30 |■■■■■■■■■■■■■■■■■■■■| MICROBIOLOGIA Y PARASIT. 6 22 0 0 21 78 27 |■■■■■■■■■■■■■■■■■■■■| GENETICA 3 12 3 12 19 76 25 |■■■■■■■■■■■■■■■■■■■■| PSIQUIATRIA Y PSICOLOGIA MED 8 32 3 12 14 56 25 |■■■■■■■■■■■■■■■■■■■■| QUIMICA ORGANICA Y FA. 16 67 0 0 8 33 24 |■■■■■■■■■■■■■■■■■■■■| ENDOCRINOLOGIA Y NUTRICION 8 35 1 4 14 61 23 |■■■■■■■■■■■■■■■■■■■■| FARMACOLOGIA CLINICA 17 81 0 0 4 19 21 |■■■■■■■■■■■■■■■■■■■■| NEFROLOGIA 13 65 0 0 7 35 20 |■■■■■■■■■■■■■■■■■■■■| MED PREVENTIVA Y SALUD PUB 1 6 0 0 16 94 17 |■■■■■■■■■■■■■■■■■■■■| OFTAMOLOGIA 10 59 2 12 5 29 17 |■■■■■■■■■■■■■■■■■■■■| CIRUGIA ORTOPEDICA Y TRAU. 3 20 8 53 4 27 15 |■■■■■■■■■■■■■■■■■■■■| ANATOMIA 2 13 2 13 11 73 15 |■■■■■■■■■■■■■■■■■■■■| OTORRINOLARINGOLOGIA Y PAT 6 40 0 0 9 60 15 |■■■■■■■■■■■■■■■■■■■■| DERMATOLOGIA 7 50 0 0 7 50 14 |■■■■■■■■■■■■■■■■■■■■| FARMACOLOGIA 3 21 0 0 11 79 14 |■■■■■■■■■■■■■■■■■■■■| PEDIATRIA 4 29 1 7 9 64 14 |■■■■■■■■■■■■■■■■■■■■| MEDICINA NUCLEAR 4 31 0 0 9 69 13 |■■■■■■■■■■■■■■■■■■■■| I+ D DE MEDICAMENTOS 9 90 0 0 1 10 10 |■■■■■■■■■■■■■■■■■■■■| ANESTESIOLOGIA Y REANI. 6 75 0 0 2 25 8 |■■■■■■■■■■■■■■■■■■■■| CIRUGIA PLASTICA, REPARA. 2 29 3 43 2 29 7 |■■■■■■■■■■■■■■■■■■■■| ALERGOLOGIA E INMUNOLOGIA 2 33 0 0 4 67 6 |■■■■■■■■■■■■■■■■■■■■| HUMANIDADES BIOMEDICAS 0 0 1 17 5 83 6 |■■■■■■■■■■■■■■■■■■■■| RADIOLOGIA 3 50 3 50 0 0 6 |■■■■■■■■■■■■■■■■■■■■| UNIDAD MORFOLOGIA E IMAGEN 0 0 1 17 5 83 6 |■■■■■■■■■■■■■■■■■■■■| FARMACIA CLINICA 4 80 0 0 1 20 5 |■■■■■■■■■■■■■■■■■■■■| UROLOGIA 1 20 3 60 1 20 5 |■■■■■■■■■■■■■■■■■■■■| BIOLOGIA DE TUMORES CER. 0 0 1 25 3 75 4 |■■■■■■■■■■■■■■■■■■■■| CIRUGIA GENERAL Y DIGESTIVA 3 75 0 0 1 25 4 |■■■■■■■■■■■■■■■■■■■■| ENF COMUNITARIA Y MATERNO 0 0 0 0 4 100 4 |■■■■■■■■■■■■■■■■■■■■| ENF. DE LA PERSONA ADULTA 0 0 1 25 3 75 4 |■■■■■■■■■■■■■■■■■■■■| INMUNOLOGIA 0 0 2 50 2 50 4 |■■■■■■■■■■■■■■■■■■■■| U PROTEOMICA , GENOMICA Y 0 0 0 0 4 100 4 |■■■■■■■■■■■■■■■■■■■■| DIETETICA Y DIETOTERAPIA 3 100 0 0 0 0 3 |■■■■■■■■■■■■■■■■■■■■| SERVICIO ANIMALARIO 3 100 0 0 0 0 3 |■■■■■■■■■■■■■■■■■■■■| DIGESTIVO 1 100 0 0 0 0 1 |■■■■■■■■■■■■■■■■■■■■|

Se marca el Tipo de Financiación que mayor porcentaje obtiene en cada una de las filas

Page 308: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

304

Figura 103. Número de proyectos investigación, porcentaje de euros que representan sobre el montante global de la universidad y confrontación de éstos con el número de ítems citables y el número de citas para los departamentos. 1999-2005.

Departamento Nº Proy %Euro

ALERGOLOGIA E INMUNOLOGIA CLINICA 4 0,75 GENETICA 19 3,37 ANESTESIOLOGIA Y REANIMACION 2 0,18 HEMATOLOGIA Y HEMATOTERAPIA 22 5,42 ANATOMIA 11 1,57 HISTOLOGIA ANATOMIA PATOLOGICA 38 8,56 AREA CARDIOVASCULAR 34 6,08 HUMANIDADES BIOMEDICAS 5 0,21 AREA NEUROCIENCIAS 56 13,51 INMUNOLOGIA 2 0,13 AREA ONCOLOGIA 48 12,68 I+D DE MEDICAMENTOS 1 0,08 AREA TERAPIA GENICA 70 16,08 MEDICINA INTERNA 81 18,11 BIOLOGIA DE TUMORES CEREBRALES 3 0,34 MEDICINA NUCLEAR 9 2,19 BIOQUIMICA Y BIOLOGIA MOLECULAR 30 2,77 MEDICINA PREVENTIVA Y SALUD PUBLICA 16 3,2 BROMATOLOGIA, TECNOLOGIA DE LOS 21 3,51 MICROBIOLOGIA Y PARASITOLOGIA 21 3,53 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 20 4,37 NEFROLOGIA 7 3,2 CIRUGIA GENERAL Y DIGESTIVA 1 0,19 NEUROLOGIA Y NEUROCIRUGIA 40 8,24 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 4 0,16 OFTAMOLOGIA 4 0,44 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 2 0,14 ONCOLOGIA 5 0,77 DERMATOLOGIA 7 0,36 ORL Y PATOLOGIA CERVICO FACIAL 9 1,01 ENDOCRINOLOGIA Y NUTRICION 14 1,49 PEDIATRIA 9 0,7 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 4 0,1 PSIQUIATRIA Y PSICOLOGIA MEDICA 14 0,69 ENFERMERIA DE LA PERSONA ADULTA 3 0,03 QUIMICA ORGANICA Y FARMACEUTICA 8 2,03 FARMACIA CLINICA 1 0,03 QUIMICA Y EDAFOLOGIA 23 3,6 FARMACIA Y TECNOLOGIA FARMACEUTICA 21 6,1 UNIDAD MORFOLOGIA E IMAGEN 5 0,56 FARMACOLOGIA 11 4,1 U PROTEOMICA , GENOMICA Y BIOINFORMATICA 4 0,58 FARMACOLOGIA CLINICA 4 0,32 UROLOGIA 1 0,04 FISIOLOGIA Y NUTRICION 25 6,56

En Rojo los Departamentos que aportan más del 10% al total de euros obtenidos por la UNAV a través de proyectos de investigación, en naranja aquellos que han aportado entre el 5 y el 10%

INPUT

% €

Microbiología

Química y EdaBromatologia

Quimica Org

Cardiología y Cirugia...Hematologia y ..

Med Interna

A Terapia Génica

A NeurocienciasA Oncología

Neurología y...Histología y Anatomía...

Fisiología y NutriciónA Cardiovascular

Farmacia y Tec.

Bioquímica y...Genética

M. Preventiva

Oncología

FarmacologíaNefrología

R2 = 0,8338

0

2

4

6

8

10

12

14

16

18

20

0 50 100 150 200 250 300

NÚMERO DE ITEMS CITABLES ► OUTPUT

INPUT

% €

Química y ..BromatologíaNefrología

Farmacología

Oncología

M. PreventivaGenética

Bioquímica y...

Farmacia y Tec.A Cardiovascular

Fisiología y Nutrición

Histología y Anatomía...Neurología y...

A OncologíaA Neurociencias

A Terapia Génica

Med Interna

Hematologia y ..Cardiología y Cirugia...Microbiología

Endocrinología y ..

R2 = 0,8062

0

2

4

6

8

10

12

14

16

18

20

0 500 1000 1500 2000 2500 3000

NÚMERO DE DE CITAS ► IMPACTO

Page 309: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

305

En la figuras 104 y 105 aparecen desglosados los proyectos de investigación según el

ámbito para cada uno de los departamentos. La mayor parte de los mismos, un total

de 22, obtienen la mayor parte de sus fondos a través de los proyectos de carácter

nacional y se corresponden con los departamentos que obtienen mayor producción y

tasas de citación como ocurre con Medicina Interna, Área de Neurociencias, Área de

Terapia Génica, Neurología y Neurocirugía, Cardiología y Cirugía Cardiovascular y

Área de Oncológica. El segundo ámbito por porcentaje económico son los proyectos

internos, principal financiación de 13 departamentos, en general todos con producción

media-baja y con un bajo promedio de citas. Respecto al número de proyectos

europeos destacan el Área de Neurociencias y Medicina Preventiva y Salud Pública

con 5 y 4 respectivamente. El proyecto del NHI está a cargo de un investigador de

Medicina Interna y del Área de Terapia Génica.

Page 310: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

306

Figura 104. Distribución de los proyectos de investigación en los departamentos por programas financiadores

Formato

Programas de Investigación (agrupados según el ámbito) Tamaño: Nº de proyectos financiados (max 110) // Color: ámbito proyecto (Azul: Europeo ; Verde: Interno ; Rojo: Nacional ; Naranja : Regional

Departamento (Ordenados de mayor a menor según el Nº de items citables) Tamaño: Nº de proyectos financiados (max 81) // Color: Promedio de citas (Rojo: > 9 ; Naranja: <9 y >5 ; Amarillo: < 5)

Page 311: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

307

Figura 105. Número y porcentaje de proyectos de investigación y porcentaje de euros obtenidos sobre el montante total por las diferentes tipologías de proyectos (europeo, internacional, interno, nacional y regional) para los departamentos. 1999-2005.

Europeo Internacional Interno Nacional Regional Ámbito con > % de proyectos

Departamento Nº % %€ Nº % %€ Nº % %€ Nº % %€ Nº % %€ 0% -----------| 50% ---------| 100%

MEDICINA INTERNA 2 2 8 1 1 4 0 0 0 52 64 77 26 32 11 |■■■■■■■■■■■■■| 64%

AREA TERAPIA GENICA 2 3 9 1 1 5 0 0 0 44 63 75 23 33 11 |■■■■■■■■■■■■■| 63%

AREA NEUROCIENCIAS 5 9 24 0 0 0 2 4 2 28 50 63 21 38 10 |■■■■■■■■■■| 50%

AREA ONCOLOGIA 3 6 21 0 0 0 2 4 2 19 40 59 24 50 19 |■■■■■■■■■■| 50%

NEUROLOGIA Y NEUROCIRUGIA 3 8 14 0 0 0 1 3 3 17 43 69 19 48 13 |■■■■■■■■■■| 48%

HISTOLOGIA ANATOMIA PATOLOGICA 1 3 8 0 0 0 4 11 5 18 47 73 15 39 14 |■■■■■■■■■| 47%

AREA CARDIOVASCULAR 0 0 0 0 0 0 0 0 0 17 50 81 17 50 19 |■■■■■■■■■■| 50%

BIOQUIMICA Y BIOLOGIA MOLECULAR 0 0 0 0 0 0 8 27 14 10 33 56 12 40 30 |■■■■■■■■| 40%

FISIOLOGIA Y NUTRICION 3 12 24 0 0 0 3 12 58 5 20 7 14 56 11 |■■■■■■■■■■■| 58%

QUIMICA Y EDAFOLOGIA 0 0 0 0 0 0 10 43 58 6 26 22 7 30 20 |■■■■■■■■■| 43%

HEMATOLOGIA Y HEMATOTERAPIA 1 5 29 0 0 0 3 14 7 12 55 46 6 27 18 |■■■■■■■■■■■| 55%

BROMATOLOGIA, TECNOLOGIA DE LOS 0 0 0 0 0 0 6 29 27 8 38 56 7 33 17 |■■■■■■■■| 38%

FARMACIA Y TECNOLOGIA FARMACEUTICA 0 0 0 0 0 0 2 10 67 7 33 21 12 57 13 |■■■■■■■■■■■| 57%

MICROBIOLOGIA Y PARASITOLOGIA 2 10 27 0 0 0 6 29 15 10 48 52 3 14 6 |■■■■■■■■■■| 48%

CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 0 0 0 0 0 0 1 5 1 9 45 87 10 50 12 |■■■■■■■■■■| 50%

GENETICA 0 0 0 0 0 0 2 11 27 6 32 47 11 58 26 |■■■■■■■■■■■■| 58%

MEDICINA PREVENTIVA Y SALUD PUBLICA 4 25 25 0 0 0 2 13 2 5 31 66 5 31 7 |■■■■■■| 31%

ENDOCRINOLOGIA Y NUTRICION 0 0 0 0 0 0 3 21 13 4 29 57 7 50 30 |■■■■■■■■■■| 50%

PSIQUIATRIA Y PSICOLOGIA MEDICA 0 0 0 0 0 0 4 29 14 2 14 50 8 57 36 |■■■■■■■■■■■| 57%

FARMACOLOGIA 2 18 52 0 0 0 0 0 0 6 55 43 3 27 5 |■■■■■■■■■■■| 55%

ANATOMIA 0 0 0 0 0 0 2 18 9 6 54 76 3 27 14 |■■■■■■■■■■■| 54%

MEDICINA NUCLEAR 0 0 0 0 0 0 2 22 30 3 33 65 4 44 6 |■■■■■■■■■| 44%

ORL Y PATOLOGIA CERVICO FACIAL 0 0 0 0 0 0 3 33 45 2 22 33 4 44 22 |■■■■■■■■■| 44%

PEDIATRIA 0 0 0 0 0 0 3 33 19 1 11 41 5 56 40 |■■■■■■■■■■■■| 56%

QUIMICA ORGANICA Y FARMACEUTICA 0 0 0 0 0 0 3 38 60 2 25 30 3 38 10 |■■■■■■■■| 38%

DERMATOLOGIA 0 0 0 0 0 0 3 43 50 2 29 30 2 29 19 |■■■■■■■■■| 44%

NEFROLOGIA 0 0 0 0 0 0 1 14 5 3 43 92 3 43 4 |■■■■■■■■■| 43%

HUMANIDADES BIOMEDICAS 0 0 0 0 0 0 4 80 88 0 0 0 1 20 12 |■■■■■■■■■■■■■■■■| 80%

ONCOLOGIA 1 20 47 0 0 0 1 20 7 1 20 25 2 40 21 |■■■■■■■■| 40%

UNIDAD MORFOLOGIA E IMAGEN 0 0 0 0 0 0 1 20 8 1 20 51 3 60 41 |■■■■■■■■■■■■| 60%

ALERGOLOGIA E INMUNOLOGIA CLINICA 0 0 0 0 0 0 0 0 0 4 100 100 0 0 0 |■■■■■■■■■■■■■■■■■■| 100%

CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 0 0 0 0 0 0 2 50 83 0 0 0 2 50 17 |■■■■■■■■■■| 50%

ENF COMUNITARIA Y MATERNO INFANTIL 0 0 0 0 0 0 1 25 6 0 0 0 3 75 94 |■■■■■■■■■■■■■■■| 75%

FARMACOLOGIA CLINICA 0 0 0 0 0 0 1 25 12 0 0 0 3 75 88 |■■■■■■■■■■■■■■■| 75%

OFTAMOLOGIA 0 0 0 0 0 0 1 20 6 1 20 62 3 60 31 |■■■■■■■■■■■■| 60%

U PROTEOMICA , GENOMICA Y … 0 0 0 0 0 0 0 0 0 2 50 73 2 50 27 |■■■■■■■■■■| 50%

BIOLOGIA DE TUMORES CEREBRALES 0 0 0 0 0 0 1 33 36 1 33 50 1 33 13 |■■■■■■| 33%

ENFERMERIA DE LA PERSONA ADULTA 0 0 0 0 0 0 0 0 0 0 0 0 3 100 100 |■■■■■■■■■■■■■■■■■■| 100%

ANESTESIOLOGIA Y REANIMACION 0 0 0 0 0 0 2 100 100 0 0 0 0 0 0 |■■■■■■■■■■■■■■■■■■| 100%

CIRUGIA PLASTICA, REPARADORA Y … 0 0 0 0 0 0 2 100 100 0 0 0 0 0 0 |■■■■■■■■■■■■■■■■■■| 100%

INMUNOLOGIA 0 0 0 0 0 0 1 50 84 0 0 0 1 50 16 |■■■■■■■■■■| 50%

CIRUGIA GENERAL Y DIGESTIVA 0 0 0 0 0 0 1 100 100 0 0 0 0 0 0 |■■■■■■■■■■■■■■■■■■| 100%

FARMACIA CLINICA 0 0 0 0 0 0 0 0 0 0 0 0 1 100 100 |■■■■■■■■■■■■■■■■■■| 100%

I+D DE MEDICAMENTOS 0 0 0 0 0 0 0 0 0 0 0 0 1 100 100 |■■■■■■■■■■■■■■■■■■| 100%

UROLOGIA 0 0 0 0 0 0 1 100 100 0 0 0 0 0 0 |■■■■■■■■■■■■■■■■■■| 100%

Se indica en gris el ámbito de financiación que mayor porcentaje de Euros obtiene para cada departamento

Page 312: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

308

» 4.8.3. Recursos Humanos

En el desarrollo de la investigación de la UNAV han participado una cifra

acumulada de 5154 investigadores, lo que supone una media anual 764 (figura 106).

El 52% del personal son licenciados y el resto doctores; tanto el global como las dos

categorías se incrementan anualmente.

Por departamentos los que más investigadores anuales poseen son Medicina

Interna, Área de Terapia Génica, Área de Neurociencias y Farmacia y Tecnología

Farmacéutica. Si relativizados el número de ISItemCit con el número de investigadores

obtenemos la producción por investigador (figura 107). Para este valor destacan

Medicina Preventiva y Salud Pública con 14,5 publicaciones por investigador,

Hematología y Hematoterapia con 9,2, Farmacología y Genética con 7,6. Además

estos departamentos también obtienen valores elevados para otro indicador, el

número de citas por investigador ya que superan las 50 por investigador. Para los

departamentos más productivos destaca Neurología y Neurocirugía con 6,6 trabajos y

103 citas por investigador. Los valores más bajos para ambos indicadores los obtienen

los departamentos de enfermería y los valores medios se sitúan en torno a los 4

trabajos y las 40 citas por investigador comos es el caso de Medicina Interna,

Bioquímica y Biología Molecular o el Área de Oncología. Todos estos valores quedan

resumidos en la gráfica 16.

Page 313: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

309

Figura 106. Número y porcentaje de licenciados y doctores para la universidad. 1999-2005.

Licenciados Doctores

Año Nº % Nº % Total % Licenciados y Doctores

1999 338 52 308 48 646 2000 354 52 328 48 682 2001 368 53 332 47 700 2002 416 53 368 47 784 2003 445 53 395 47 840 2004 435 51 412 49 847 2005 443 52 412 48 855

Total 2799 52 2555 48 5354

Doctores; 2555; 48% Licenciados

; 2799; 52%

Evolución anual del Nº de investigadores con % de Licenciados y Doctores

0100200300400500600700800900

1999 2000 2001 2002 2003 2004 2005

Page 314: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

310

Figura 107. Media de investigadores para el período, porcentaje de doctores, número de ítems citables (ISItemCit) por investigador y número de citas por investigador para los departamentos. 1999-2005.

RRHH ISItemCit/Investigador Citas/Investigador Departamento MInv* % doc** | 0 -------------| 7,5 -------- | 15 | 0 -----------| 65 ---- | 110

ANATOMIA 10 70 | ■■■■■ | 5,5 | ●●●● | 38,5 ANESTESIOLOGIA Y REANIMACION 30 44 | ■ | 0,5 | ● | 1,7 AREA CARDIOVASCULAR 24 58 | ■■■■■■■ | 7,0 | ●●●●●● | 62,1 AREA NEUROCIENCIAS 42 56 | ■■■■■■ | 5,7 | ●●●●●●● | 69,7 AREA ONCOLOGIA 40 49 | ■■■■ | 4,9 | ●●●●● | 47,0 AREA TERAPIA GENICA 76 49 | ■■■ | 3,2 | ●●●● | 37,4 BIOLOGIA DE TUMORES CEREBRALES 2 6 27 | ■ | 1,3 | ● | 4,5 BIOQUIMICA Y BIOLOGIA MOLECULAR 31 50 | ■■■■ | 3,8 | ●●●● | 40,7 BROMATOLOGIA, TECNOLOGIA DE LOS 21 39 | ■■■■ | 4,0 | ●● | 23,3 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 32 43 | ■■■■■■ | 6,3 | ●●●●●● | 60,6 CIRUGIA GENERAL Y DIGESTIVA 13 37 | ■■■■■ | 5,0 | ●● | 22,2 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 21 37 | ■■ | 2,0 | ●●●●● | 4,8 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 9 29 | ■■■ | 3,4 | ●●●●● | 4,8 DERMATOLOGIA 9 47 | ■■■■■ | 5,4 | ●● | 24,4 DIETETICA Y DIETOTERAPIA 15 39 | ■ | 0,3 | ● | 0,5 DIGESTIVO 12 44 | ■■ | 2,0 | ●● | 18,0 ENDOCRINOLOGIA Y NUTRICION 11 50 | ■■■■■■ | 5,6 | ●●●●●● | 60,8 ENF COMUNITARIA Y MATERNO INFANTIL 9 13 | ■ | 0,2 | ● | 2,6 ENFERMERIA DE LA PERSONA ADULTA 14 26 | ■ | 0,1 | ● | 0,6 FARMACIA CLINICA 14 39 | ■ | 1,4 | ●● | 6,7 FARMACIA Y TECNOLOGIA FARMACEUTICA 41 41 | ■■■ | 3,3 | ●● | 21,0 FARMACOLOGIA 15 56 | ■■■■■ | 4,7 | ●●●● | 38,0 FARMACOLOGIA CLINICA 8 51 | ■■■■■■■■ | 8,0 | ●●● | 33,1 FISIOLOGIA Y NUTRICION 30 55 | ■■■■■■ | 5,9 | ●●●● | 39,2 GENETICA 14 50 | ■■■■■■■■ | 7,6 | ●●●●●●● | 74,4 GINECOLOGIA Y OBSTETRICIA 10 51 | ■■■■ | 4,2 | ●● | 24,9 HEMATOLOGIA Y HEMATOTERAPIA 16 58 | ■■■■■■■■■ | 9,2 | ●●●●●●●● | 77,1 HISTOLOGIA ANATOMIA PATOLOGICA 36 52 | ■■■■■ | 4,9 | ●●●●● | 48,4 HUMANIDADES BIOMEDICAS 11 71 | ■ | 0,7 | ●●●●● | 4,6 INMUNOLOGIA 7 53 | ■■■■■■ | 5,7 | ●●● | 27,6 I+D DE MEDICAMENTOS 14 48 | ■■■■■ | 4,6 | ●●● | 29,5 MEDICINA INTERNA 77 64 | ■■■■ | 4,1 | ●●●● | 42,7 MEDICINA NUCLEAR 9 50 | ■■■■ | 4,5 | ●●● | 29,0 MEDICINA PREVENTIVA Y SALUD PUBLICA 7 76 | ■■■■■■■■■■■■■■■ | 14,5 | ●●●●●●●●●● ● | 109,9 MICROBIOLOGIA Y PARASITOLOGIA 31 46 | ■■ | 2,5 | ●●● | 25,9 NEFROLOGIA 8 38 | ■■■ | 3,3 | ● | 12,3 NEUROLOGIA Y NEUROCIRUGIA 33 57 | ■■■■■■■ | 6,6 | ●●●●●●●●●● | 103,3 OFTAMOLOGIA 19 35 | ■■ | 1,6 | ● | 10,1 ONCOLOGIA 35 24 | ■■■ | 2,9 | ●● | 28,1 ORL Y PATOLOGIA CERVICO FACIAL 12 54 | ■■■ | 3,3 | ● | 6,2 PEDIATRIA 14 55 | ■■■■■ | 5,2 | ●● | 18,3 PSIQUIATRIA Y PSICOLOGIA MEDICA 21 47 | ■■ | 2,5 | ● | 13,6 QUIMICA ORGANICA Y FARMACEUTICA 20 39 | ■■■■ | 3,6 | ●● | 20,1 QUIMICA Y EDAFOLOGIA 40 51 | ■■ | 2,0 | ● | 9,0 RADIOLOGIA 15 44 | ■■■■ | 4,3 | ●● | 17,0 SERVICIO ANIMALARIO 3 32 | ■ | 1,0 | ● | 13,4 U MORFOLOGIA E IMAGEN 5 42 | ■■■■■ | 5,5 | ●● | 22,5 U PROTEOMICA , GENOMICA Y BIOINFORMATICA 4 46 | ■■■■■■■ | 7,3 | ●●●●●●●●●● ● | 110,5 UROLOGIA 9 44 | ■ | 0,5 | ● | 7,3

*MInv: Media de Investigadores al año para el departamento durante el período 1999-2005 **%doc: porcentaje de Doctores

Page 315: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Inputs científicos y su relación con los indicadores…

311

Gráfica 16. Número de ítems citables (ISItemCit) por investigador VS número de citas por investigador para los departamentos.1999-2005.

Microbiol. y..Oncología

Bioquímica y ...A. Ter. Genica

A. OncologíaHistología y...Medicina Interna

Fisio. Y Nutr.Farmacología Clin

Endocrinologia y...Cardiología y ...

A Cardiovascular

A NeurocienciasGenética

Hematologia y..

U. ProteomicaNeurologia y... Med. Preventiva

0,0

20,0

40,0

60,0

80,0

100,0

120,0

0,0 2,0 4,0 6,0 8,0 10,0 12,0 14,0

Nº ISItemCit X Investigador

Nº C

itas

X In

vest

igad

or

Page 316: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

312

» 4.9. EVALUACIÓN MEDIANTE ANÁLISIS DE SUPERFICIES DE RESPUESTA

» 4.9.1. Marco evaluativo y variables seleccionadas.

Con los resultados obtenidos hasta el momento nos ha sido posible determinar el

nivel científico de la Universidad de Navarra y sus departamentos. Sin embargo los

diferentes análisis no nos han permitido establecer contrastadamente las diversas

relaciones existentes entre las variables, sobre todo aquellas de causa-efecto que nos

pueden ayudar a llegar a alcanzar una mejor compresión del funcionamiento de la

actividad científica de la UNAV. Para ello vamos a hacer uso del Diseño de Superficies

de Respuesta (DSR) ya que ésta parece ser una metodología adecuada para estudiar

como afectan un conjunto de variables a una respuesta y permiten, además, analizar

detalladamente todas las combinaciones posibles de los valores tomados por variables.

Una ventaja más de los DSR es la generación de los gráficos de superficie de

respuesta, que en nuestro contexto tienen un gran poder explicativo y pueden

complementar, si el modelo es válido, los diferentes resultados obtenidos hasta ahora.

Comumente el DSR está bastante difundido en la ingeniería como herramienta de

optimización de un producto por lo que se suele emplear en diseños estadísticos de

experimentos de tipo caja negra cuyas entradas son los factores controlables y no

controlables y cuyas salidas se refieren a las respuestas del sistema. Es por tanto un

método que implica el uso de datos experimentales. En nuestro caso lo emplearemos

sobre los datos observacionales recopilados de los 50 departamentos evaluados.

Para aplicar este método lo primero es plantear y escoger los factores que se

creen más influyentes de una determinada respuesta que en nuestro contexto pueden

ser adaptados al esquema tradicional de la ciencia Inputs-Output-Impact (Callon,

Courtial, et al. 1995, p. 41; Garret, 2000, p. 117). Para Callon este modelo lleva a

Page 317: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

313

medir volúmenes de producción e impactos y a interesarse por las relaciones entre

inputs y outputs con el fin de valorar eventualmente algún rendimiento. Siguiendo el

esquema planteado en la figura 108 podemos barajar al menos dos escenarios

encadenados que dan lugar a una respuesta diferente. En primer lugar, los recursos

humanos y económicos son variables que provocan la respuesta producción. El

segundo escenario analiza en que medida la citación está condicionada y puede ser

explicada a partir de la respuesta anterior, que es ahora utilizada como factor, y dos

nuevas variables como el prestigio de las revistas y la colaboración internacional. Los

dos modelos si cumplen con los requisitos necesarios de fiabilidad nos permitirán

acercarnos a los factores que influyen en estos dos importantes indicadores

bibliométricos. Asimismo los gráficos de superficies describirán como son las

respuestas en función de diferentes valores de las variables. Por último, nos facilitarán

un modelo polinomial que será empleado para enfrentar valores teóricos y observados.

Figura 108. Factores y respuestas escogidos para el análisis de superficies de respuesta a partir del esquema tradicional de la ciencia Input-output-impact planteado por Callor & Courtial.

F= Factor // R = Respuesta

Page 318: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

314

» 4.9.2. Efecto de los recursos humanos y la financiación de proyectos de investigación en la producción científica citable de los departamentos de la UNAV.

» 4.9.2.1. Análisis estadístico del diseño (I)+(€)→(P).

Para analizar este primer escenario se ha considerado que el número de

investigadores medio del período y la cantidad económica recibida por cada

departamento a través de los proyectos de investigación influyen y determinan su

producción. Este planteamiento puede ser sistematizado de la siguiente forma:

Nº Investigadores (I) + Miles de Euros (€) → Nº ítems Citables (P)

Para la selección de los valores observados de las variables o factores se ha

utilizado el diseño central compuesto de cara centrada o CCF. Como se han

seleccionado dos factores para la respuesta producción el número de observaciones o

departamentos necesarios para el diseño CCF es de 4 para cada factor más tres

puntos centrales, por tanto son once el número total de puntos a partir del cual

construiremos el modelo y que se presentan en la tabla 39:

Tabla 39. Departamentos que conforman el diseño de cara centrada para la respuesta producción

Factores Respuesta

Departamento Recursos humanos=

I

Miles de Euros =

Número de ISITemCit =

P ANESTESIOLOGIA Y REANIMACION 30 67 16 AREA ONCOLOGIA 40 4658 195 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 32 1605 202 ENDOCRINOLOGIA Y NUTRICION 11 546 60 FARMACIA Y TECNOLOGIA FARMACEUTICA 41 2241 135 FISIOLOGIA Y NUTRICION 30 2409 175 INMUNOLOGIA 7 49 40 MEDICINA INTERNA 77 6651 313 NEFROLOGIA 8 1174 25 OFTAMOLOGIA 19 161 30 QUIMICA Y EDAFOLOGIA 40 1321 80

Page 319: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

315

Estos resultados se procesaron con el programa Modde y generaron la siguiente

función polinómica compuesta de las variables del diseño y sus respectivos

coeficientes:

Función polinómica, variables del diseño R2

P = 218 - 5,6*I - 146*Log(€) - 0,04*(I)2 + 26,2*(Log(€))2 + 3,2* I *(Log(€))2 0,88

En la tabla 40 se presenta el test de significación de los coeficientes del modelo.

Cuanto más se acercan a 0 los valores de p de los coeficientes mayor es la influencia

de la variable en la respuesta PROD. Como se puede observar € es la variable más

determinante en la producción científica.

Tabla 40. Test de significación de los coeficientes del diseño (I) + (€) → (P).

Producción P Conf.int (±)Constante 0,123 105,928

I 0,867 186,029

€ 0,052 144,392

I2 0,459 177,129

€2 0,702 191,355

I * € 0,33 293,344

Como algunas variables tienen poco peso e influencia podemos mejorar y

simplificar nuestro modelo polinómico eliminándolas dejando aquella combinación que

ofrezca un rendimiento óptimo. Tan solo hemos suprimido del modelo I2 quedando la

función reducida a la expresión simplificada:

Page 320: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

316

Función polinómica, variables del diseño R2

P = 233 - 2,6*I - 191*Log(€) + 44,2*(Log(€))2 + 1,2*I *(Log(€))2 0,865

Se puede observar a través del test de significación de los coeficientes como sigue

siendo el factor € el más influyente en la producción científica de los departamentos de

la UNAV frente a los recursos humanos y las diferentes combinaciones de los factores

(tabla 41).

Tabla 41. Test de significación de los coeficientes del modelo simplificado del diseño (I) + (€) → (P).

Producción P Conf.int (±)Constante 0,101 97,7

I 0,558 117,1 € 0,031 97,1 €2 0,482 165,7

I * € 0,475 152,2

Un último paso es verificar la bondad del modelo final simplificado que hemos

obtenido, para ello hemos realizado un análisis ANOVA (gráfica 17), se establece que

los valores de R2 y Q2 están dentro de los parámetros que garantizan la validez del

modelo. También el test de significación de la f nos ofrece un resultado positivo como

muestra la tercera columna. Por último la gráfica 18 compara la relación lineal entre

los valores esperados o teóricos generados a partir de la ecuación y los valores

observados para cada uno de los departamentos con un coeficiente final de

correlación de 0,813. Confirman estos resultados que el modelo polinómico es válido y

fiable, por tanto la producción citable de los departamentos depende ampliamente de

la financiación obtenida a partir de proyectos de investigación y en menor medida del

tamaño de los departamentos.

Page 321: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

317

Gráfica 17. Test ANOVA para el modelo simplificado del diseño (I) + (€) → (P).

Gráfica 18. Valores de P observados (reales) frente a los esperados (teóricos) para el diseño (I) + (€) → (P).

R2 = 0,813

050

100150200250

300350

0 100 200 300 400

Valores esperados

Valo

res

obse

rvad

os

Page 322: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

318

» 4.9.2.2. Análisis de las superficies y los contornos de respuesta para el diseño (I)+(€)→(P).

A través de los gráficos de respuesta 19 y 20 se han establecido cuatro

tendencias o movimientos de respuesta bien definidos en los departamentos de la

UNAV en función de todas las posibles combinaciones de los valores que I y €

pueden adoptar:

• Movimiento 1: Cuando existen pocos recursos económicos y se incrementa el

número de investigadores se produce una caída en la producción. Esta

situación se puede explicar por la existencia de pocos recursos para muchos

investigadores por lo que los éstos pueden entorpecerse unos a otros en el

desarrollo de su actividad perjudicando su rendimiento. También se pone de

manifiesto como el factor humano por sí solo en el área de medicina de la

UNAV no determina la producción y es necesario superar cierto umbral

económico para publicar más de 50 trabajos.

• Movimiento 2: Cuando los departamentos disponen de recursos económicos

elevados cualquier incremento en el número de investigadores va acompañado

de un aumento de la producción científica. Al haber suficientes recursos los

nuevos investigadores que se incorporan se ocupan rápidamente con provecho.

En este escenario se pueden alcanzar los valores máximos de producción

• Movimiento 3: Cuando hay pocos investigadores y se produce una subida de

la financiación también se aumenta la producción. Sin embargo este

crecimiento productivo no es demasiado acusado y aunque se invierta el

máximo de dinero nunca se va alcanzar los valores de producción más

elevados y difícilmente se pasará de 200 trabajos. Efectivamente aunque

existan sobrados recursos económicos no hay suficiente personal para que

éstos puedan ser aprovechados.

Page 323: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

319

Gráfica 19. Superficie de respuesta para el efecto de los recursos humanos y el montante total de euros de los proyectos de investigación sobre la producción citable de los departamentos ( (I) + (€) → (P) )

Gráfica 20. Contorno de respuesta para el efecto de los recursos humanos y el montante total de euros de los proyectos de investigación sobre la producción citable de los departamentos ( (I) + (€) → (P) )

Page 324: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

320

• Movimiento 4: cuando existen muchos investigadores trabajando cualquier

incremento económico supone una subida rápida de la producción, siendo la

tendencia más acusada de todos los departamentos. Al existir suficiente

personal los recursos económicos son rápidamente dispuestos y aprovechados

siendo éste el escenario óptimo ya que se llega rápidamente a los valores más

altos de producción

A través de las superficies de respuesta se puede observar gráficamente como

efectivamente la producción de los departamentos depende ampliamente de los

recursos obtenidos a través de proyectos de investigación, siempre que se produce un

incremento en su valor (movimiento 1 y 3) se consigue una mayor cantidad de

publicaciones, sin embargo esta situación no se produce con los recursos humanos ya

pueden llegar a crear un efecto negativo.

» 4.9.2.3. Rendimiento de los departamentos en función de los valores esperados del diseño (I)+(€)→(P).

Como pudimos comprobar a través de los análisis de la bondad el modelo

polinómico es bastante fiable por lo que la función puede ser utilizada para calcular los

valores teóricos o esperados de la respuesta P a partir de los factores I y € (tablas

42). Los valores esperados nos indican por tanto si las expectativas a partir de los

recursos económicos y humanos se han alcanzado dentro del contexto de la propia

universidad. Si dividimos la Producción Observada (valor real de ISItemCit) entre la

Producción Esperada obtenemos el Índice de Rendimiento de la Producción (IRP) que

normaliza el valor esperado y nos permiten comparar los resultados entre los

diferentes departamentos. Si IRP es mayor de 1,5 nos índica que el departamento

consigue valores muy superiores de producción teniendo en cuenta su financiación y

recursos humanos, asimismo si es menor de 0,50 describiría la situación contraria.

Page 325: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

321

Tabla 42. Valores observados de la producción citable frente a valores esperados calculados con la función polinómica del diseño (I) + (€) → (P) e Índice de Rendimiento de la Producción (IRP)

Departamento Producción Observada*

Producción Esperada**

Índice de rendimiento

P***

ALERGOLOGIA E INMUNOLOGIA CLINICA 55 35 1,58 ANATOMIA 57 62 0,92 ANESTESIOLOGIA Y REANIMACION 16 22 0,72 AREA CARDIOVASCULAR 170 127 1,33 AREA NEUROCIENCIAS 241 215 1,12 AREA ONCOLOGIA 195 206 0,94 AREA TERAPIA GENICA 240 301 0,8 BIOLOGIA DE TUMORES CEREBRALES 7 27 0,26 BIOQUIMICA Y BIOLOGIA MOLECULAR 118 94 1,25 BROMATOLOGIA, TECNOLOGIA DE LOS 85 94 0,91 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 202 120 1,68 CIRUGIA GENERAL Y DIGESTIVA 65 27 2,36 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 43 25 1,7 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 31 32 0,98 DERMATOLOGIA 51 27 1,86 ENDOCRINOLOGIA Y NUTRICION 60 51 1,18 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 2 37 0,05 ENFERMERIA DE LA PERSONA ADULTA 2 60 0,03 FARMACIA CLINICA 20 61 0,33 FARMACIA Y TECNOLOGIA FARMACEUTICA 135 154 0,88 FARMACOLOGIA 70 93 0,75 FARMACOLOGIA CLINICA 65 27 2,39 FISIOLOGIA Y NUTRICION 175 141 1,24 GENETICA 110 83 1,32 HEMATOLOGIA Y HEMATOTERAPIA 143 109 1,32 HISTOLOGIA ANATOMIA PATOLOGICA 176 169 1,04 HUMANIDADES BIOMEDICAS 7 27 0,26 INMUNOLOGIA 40 33 1,2 INVESTIGACION Y DESARROLLO DE MEDICAMENTOS 65 37 1,75 MEDICINA INTERNA 313 315 0,99 MEDICINA NUCLEAR 42 61 0,69 MEDICINA PREVENTIVA Y SALUD PUBLICA 106 72 1,46 MICROBIOLOGIA Y PARASITOLOGIA 79 107 0,74 NEFROLOGIA 25 74 0,34 NEUROLOGIA Y NEUROCIRUGIA 216 162 1,34 OFTAMOLOGIA 30 30 1,01 ONCOLOGIA 102 46 2,2 ORL Y PATOLOGIA CERVICO FACIAL 39 42 0,93 PEDIATRIA 74 35 2,09 PSIQUIATRIA Y PSICOLOGIA MEDICA 52 38 1,38 QUIMICA ORGANICA Y FARMACEUTICA 74 69 1,07 QUIMICA Y EDAFOLOGIA 80 119 0,67 UNIDAD MORFOLOGIA E IMAGEN 30 29 1,02 UNIDAD PROTEOMICA , GENOMICA Y BIOINFORMATICA 29 30 0,98 UROLOGIA 5 61 0,08

*Producción Observada: Nº real de ISItemCit logrados por los departamentos **Producción Esperada: Nº de ISItemCit calculados a partir del modelo polinómico ***Índice de Rendimiento P: Producción Observada / Producción Esperada

Page 326: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

322

Como se puede ver en la tabla nueve departamentos han producido más de los

esperado, de acuerdo con el modelo, mientras que siete están muy por debajo. Este

indicador añade por tanto una nueva visión y permite obtener valores comparativos en

función los recursos disponibles superándose los problemas de interpretación que

conllevan las comparaciones únicas de producción.

» 4.9.3. Efecto del prestigio de la revistas, de la producción citable y del número de socios de investigación en el número de citas de los departamentos de la UNAV.

» 4.9.3.1. Análisis estadístico del diseño P+F+S→(C)

Siguiendo el esquema encadenado planteado en la figura 108 se estudiarán

cuales son los factores más determinantes en los departamentos a la hora de recibir

un elevado número de citas. En principio se han seleccionado tres posibles factores

que pueden incidir en la citación recibida: producción citable, prestigio de las revistas

donde se han publicado los trabajos y el número de instituciones diferentes con las

que se ha colaborado, a las que hemos denominado socios de investigación. De tal

forma que podemos esquematizar el diseño de la siguiente forma:

Nº ISItemCit (P) + %ISItemCit en el 1ºC (F) + Nº de socios (S) → Nº de Citas (C)

Para la selección de puntos del nuevo modelo se ha vuelto a emplear el diseño

central compuesto de cara centrada o CCF. Como se han seleccionado tres factores

para la respuesta producción el número de observaciones o departamentos necesarios

para el diseño CCF es de 17, éstos se presentan en la tabla 43.

Page 327: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

323

Tabla 43. Departamentos que conforman el diseño de cara centrada para la respuesta citación

Factores Respuesta

Departamento

ISItemCit 1º Cuartil=

F

Número de colaboradores=

S

Número ISItemCit=

P

Nº de Citas=

C ANATOMIA 0 26 57 402 GENETICA 17 135 110 1074 MEDICINA INTERNA 20 166 313 3273 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 22 129 202 1930 ONCOLOGIA 23 104 102 987 FARMACOLOGIA CLINICA 28 30 65 270 AREA ONCOLOGIA 34 132 195 1880 ENFERMERIA DE LA PERSONA ADULTA 38 3 2 8 FISIOLOGIA Y NUTRICION 39 51 175 1166 MEDICINA PREVENTIVA Y SALUD PUBLICA 41 55 106 801 HISTOLOGIA ANATOMIA PATOLOGICA 42 103 176 1735 MEDICINA NUCLEAR 48 23 42 273 FARMACIA CLINICA 52 4 20 94 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 54 6 31 44 FARMACIA Y TECNOLOGIA FARMACEUTICA 64 54 135 855 UROLOGIA 67 5 5 67 AREA NEUROCIENCIAS 75 156 241 2939

La función polinómica completa generada presenta un valor de R2 de 0,99 por lo

que en principio parece que los tres factores explican totalmente el número de citas:

Función polinómica, variables del diseño R2

C = 7,6E-05 + 0,26*F + 7,17E-05*S + 2,72E-05*P + 0,515*F2+ 0,8*S2 + 0,2*P2 + 0,046*F*S

+ 0,12*F*P + 0,9*S*P

0,99

Sin embargo a través de la tabla 44 vemos como podemos eliminar algunos de las

variables ya que no tienen demasiado peso. Del conjunto de variables las que más

influyen en la citación son la producción seguida del número de socios mientras que el

prestigio de la revista representa por %1ºC tiene una influencia menos acusada.

Page 328: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

324

Tabla 44. Test de significación de los coeficientes del diseño P + F + S → (C)

Producción P Conf.int(±)Constante 7,61E-05 98,556

F 0,265 152,279 S 7,17E-05 196,129 P 2,72E-05 242,798 F2 0,515 178,418 S2 0,829 565,116 P2 0,199 722,696

F*S 0,046 770,599 F*P 0,122 1016,62 S*P 0,891 979,165

Por tanto podemos excluir de nuestro modelo en función de sus valores de p y de

su influencia en el modelo las variables F2, S2, F*P .Finalmente obtenemos la ecuación

simplificada:

Función polinómica, variables del diseño R2

C = 2,9E-12+ 0,01*F + 1,58E-05*S + 4,31E-07*P + 0,5*P2 + 0,006*F*S + 0,4*S*P 0,99

En tabla 45 presentamos la influencia de las variables de la ecuación a través de

su valor p. Se consuma que efectivamente la citación en la Universidad de Navarra

está determinada y explicada fundamentalmente por la producción y por la

colaboración científica, aunque el factor F (prestigio de las revistas) tiene cierta

importancia no determina de una manera tan definitiva la citación que han recibido los

departamentos. A través del modelo polinomial hemos podido medir la influencia

comparada que realmente tienen estos factores.

Page 329: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

325

Tabla 45. Test de significación de los coeficientes del modelo simplificado para el diseño P + F + S → (C)

Producción P Conf.int(±)

Constante 2,98E-12 73,3

F 0,014 109,2

S 1,58E-05 175,1

P 4,31E-07 215,6

P2 0,509 718,5

F*S 0,006 148,4

S*P 0,413 651,8

A continuación presentamos la bondad del modelo polinómico. Como vemos los

ajustes finales de R2 y Q2 son casi perfectos ya que sitúan ambos en 0,99 siendo el

máximo que se puede alcanzar de 1 (gráfica 21). La varianza explicada por el modelo

(SD) y la columna tercera del análisis ANOVA correspondiente al test de la f alcanzan

también valores óptimos de fiabilidad. Una última verificación es la correlación entre

los valores esperados y los observados que es de 0,95, un valor también bastante

elevado (gráfica 22). Estos resultados garantizan con muy poco margen de error la

bondad y validez de nuestro modelo otorgándole un alto poder predictivo y explicativo

de la situación de los departamentos de la UNAV. Una última consecuencia del mismo

es que podemos afirmar que al menos en la UNAV el número de citas se explica

prácticamente en su totalidad gracias a los tres factores empleados: producción citable

(P), socios de investigación (S) y el número de ISItemCit publicados en el primer

cuartil (F).

Page 330: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

326

Gráfica 21. Test ANOVA para el modelo simplificado del diseño P + F + S → (C)

Gráfica 22. Valores de P observados (reales) frente a los esperados (teóricos) para el diseño P + F + S → (C)

R2 = 0,9532

0500

1000150020002500300035004000

0 1000 2000 3000 4000

Valores esperados

Valo

res

obse

rvad

os

» 4.9.3.2. Análisis de las superficies y los contornos de respuesta para el diseño P+F+S→(C).

Para la representación de las superficies y los contornos de respuesta se han

escogido para los ejes x e y a los dos principales factores que explican la citación: S y

P (gráfica 23). Para explicar la influencia de F se presentan juegos de gráficas con tres

representaciones correspondientes a un grado de publicación en el 1ºC medio, bajo y

alto. Se han identificado un refuerzo positivo y de nuevo un total de cuatro

movimientos o tendencias que explican la citación en función de los distintos valores

de las variables en los departamentos de la UNAV.

Page 331: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

327

Gráfica 23. Contornos y superficie de respuesta para el efecto de la producción, el prestigio de las revistas y el número de socios colaboradores sobre el número de citas de los departamentos

oooooo

Page 332: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

328

• Refuerzo positivo. Sobre los cuatro movimientos que vamos a describir el

factor F tiene un efecto positivo ya que ayuda a lograr un mayor número de

citas. De hecho aunque se alcanzarán niveles óptimos de producción y

colaboración (gráfica 23, 1) si no se ha publicado ningún trabajo en el primer

cuartil nunca se alcanzará el mayor número de citas posible. El refuerzo

positivo de F se percibe claramente en los gráficos de contorno donde se

observa como inclina las escalas de citación favoreciendo su subida conforme

aumentamos el número de socios y la producción.

• Movimiento 1. Aunque se tenga una producción pequeña un número de

instituciones colaboradoras cada vez mayor contribuye a aumentar las citas,

este movimiento sin embargo empieza a ser significativo cuando se cuenta con

un número de documentos mínimos en el primer cuartil.(37%) Sin bien es cierto

que con poca producción por grande que sea el número de socios y elevado el

factor de impacto nunca se lograran más de 1300 citas.

• Movimiento 2. Con lo valores máximos de producción cualquier aumento en el

número de colaboradores supone una subida en el número de citas pudiéndose

alcanzar el mayor umbral situado en 3500 citas. También en el inicio de este

movimiento se observa que aunque se publique el máximo posible situado en

330 ítems citables aunque sean en las revistas más prestigiosas sino existen

colaboradores no se sobrepasa un determinado umbral de citación, conforme

se van consiguiendo colaboradores se va ampliando el número de citas esta

apertura a nuevos contactos es lo que permite que los trabajos de la UNAV

vayan siendo citados más intensamente.

• Movimiento 3. Con pocos socios y subidas en la producción se pueden

conseguir elevar el número de citas pero de manera más ralentizada y con un

umbral de citación que no se supera por mucho que se produzca. Sin

colaboradores, por tanto, para los departamentos es imposible alcanzar un

Page 333: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

329

impacto destacado. En este movimiento además el cuartil de las revistas donde

se publica tampoco influye de forma determinante y su efecto apenas se

percibe.

• Movimiento 4. Es el es escenario óptimo ya que se parte de una base amplia

de colaboradores y en cuanto se producen incrementos en los trabajos, por

mínimos que sean, se sube rápidamente en las escalas y por tanto en el

número de citas hasta lograr el valor máximo. El refuerzo del cuartil de las

revistas en interacción con este escenario es bastante positivo, de hecho

partiendo de una situación donde se tienen el máximo de colaboradores y un

75% de los documentos en el primer cuartil garantiza de partida un gran

número de citas

» 4.9.3.3. Rendimiento de los departamentos en función de los valores esperados del diseño P+F+S→(C).

Gracias a la bondad de nuestro diseño y a que la citación se explica en su

totalidad por tres factores podemos calcular los valores esperados de los

departamentos con el modelo simplificado final con un alto grado de fiabilidad y como

una herramienta evaluativa de gran interés. En este caso la división de los valores

observados entre los esperados entre los valores esperados la hemos denominado

como Índice de Rendimiento de la Citación (IRC). Como en el caso anterior para

valores superiores a 1,50 nos indica que el departamento ha obtenido un número

considerablemente mayor de citas de las esperadas y para valores menores 0,50 se

ha producido el efecto contrario.

En la tabla 46 se puede observar como siete de los departamentos han recibido un

número mayor de citas de las observadas y 8 de ellos un número considerablemente

inferior. El gran número de departamentos que obtienen un valor cercano a uno ponen

Page 334: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 4.RESULTADOS. | Evaluación mediante análisis de superficies de respuesta.

330

de manifiesto por un lado la fuerza predictiva de los modelos polinómicos y por otro el

buen rendimiento de los departamentos en cuanto al número de citas obtenidas.

Tabla 46. Valores observados de la citación frente a valores esperados calculados con la función polinómica del diseño P + F + S → (C) e índice de rendimiento de la citación (IRC)

Departamento

Citación Observada*

Citación Esperada*

Índice de rendimiento

C* ALERGOLOGIA E INMUNOLOGIA CLINICA 319 298 1,07 ANATOMIA 402 358 1,12 ANESTESIOLOGIA Y REANIMACION 50 53 0,95 AREA CARDIOVASCULAR 1507 1202 1,25 AREA NEUROCIENCIAS 2939 2952 1 AREA ONCOLOGIA 1880 1932 0,97 AREA TERAPIA GENICA 2839 2402 1,18 BIOLOGIA DE TUMORES CEREBRALES 25 120 0,21 BIOQUIMICA Y BIOLOGIA MOLECULAR 1266 1176 1,08 BROMATOLOGIA, TECNOLOGIA DE LOS ALIMENTOS 493 497 0,99 CARDIOLOGIA Y CIRUGIA CARDIOVASCULAR 1930 1883 1,03 CIRUGIA GENERAL Y DIGESTIVA 289 301 0,96 CIRUGIA ORTOPEDICA Y TRAUMATOLOGIA 101 317 0,32 CIRUGIA PLASTICA, REPARADORA Y ESTETICA 44 102 0,43 DERMATOLOGIA 230 216 1,06 DIETETICA Y DIETOTERAPIA 8 38 0,21 DIGESTIVO 221 196 1,13 ENDOCRINOLOGIA Y NUTRICION 648 360 1,8 ENFERMERIA COMUNITARIA Y MATERNO INFANTIL 24 38 0,63 ENFERMERIA DE LA PERSONA ADULTA 8 33 0,24 FARMACIA CLINICA 94 59 1,58 FARMACIA Y TECNOLOGIA FARMACEUTICA 855 958 0,89 FARMACOLOGIA 565 402 1,4 FARMACOLOGIA CLINICA 270 397 0,68 FISIOLOGIA Y NUTRICION 1166 1155 1,01 GENETICA 1074 1137 0,94 GINECOLOGIA Y OBSTETRICIA 256 203 1,26 HEMATOLOGIA Y HEMATOTERAPIA 1200 1266 0,95 HISTOLOGIA ANATOMIA PATOLOGICA 1735 1592 1,09 HUMANIDADES BIOMEDICAS 49 27 1,79 I+D DE MEDICAMENTOS 413 390 1,06 INMUNOLOGIA 193 195 0,99 MEDICINA INTERNA 3273 3305 0,99 MEDICINA NUCLEAR 273 254 1,08 MEDICINA PREVENTIVA Y SALUD PUBLICA 801 757 1,06 MICROBIOLOGIA Y PARASITOLOGIA 803 655 1,23 NEFROLOGIA 93 105 0,88 NEUROLOGIA Y NEUROCIRUGIA 3365 2292 1,47 OFTAMOLOGIA 187 84 2,22 ONCOLOGIA 987 963 1,03 ORL OTORRINOLARINGOLOGIA Y PATOLOGIA 74 307 0,24 PEDIATRIA 259 581 0,45 PSIQUIATRIA Y PSICOLOGIA MEDICA 284 399 0,71 QUIMICA ORGANICA Y FARMACEUTICA 410 428 0,96 QUIMICA Y EDAFOLOGIA 357 442 0,81 RADIOLOGIA 263 350 0,75 SERVICIO ANIMALARIO 42 4 11,1 U PROTEOMICA , GENOMICA Y BIOINFORMATICA 442 209 2,11 UNIDAD MORFOLOGIA E IMAGEN 122 236 0,52 UROLOGIA 67 3 19

*Citación Observada: Nº real de citas logradas por los departamentos **Producción Esperada: Nº citas calculadas a partir del modelo polinómico presentado en la tabla X ***Índice de Rendimiento PROD: Citación Observada / Citación Esperada

Page 335: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

331

55.. DDIISSCCUUSSIIÓÓNN YY CCOONNCCLLUUSSIIOONNEESS..

»»»

Page 336: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Sobre el sistema de información científica

332

» 5.1. SOBRE EL SISTEMA DE INFORMACIÓN CIENTÏFICA

Unos de los principales resultados obtenidos en este trabajo de investigación ha

sido el diseño y la implementación de un sistema de información que tiene como

objetivo principal la evaluación de la actividad científica. En la actualidad este sistema

está siendo utilizado por los diferentes encargados de la política científica de la UNAV

y entre las principales características del mismo podemos reseñar las siguientes:

1.- Multidisciplinar: Está diseñado para contemplar la actividad de todo tipo de

comunidades científicas, ya sean de humanidades, ciencias sociales o ciencia

y tecnología. Es versátil, de forma, que en caso de necesitar adaptar los

indicadores que midan la actividad científica específica de un campo puede

hacerse sin problemas. Esto es muy importante dadas las prácticas de

investigación y comunicación que poseen las distintas especialidades. De

modo que los indicadores bibliométricos basados en el impacto generado a

partir del WOS, imprescindibles en CyT podrían ser complementados por

indicadores nacionales (IN-RECS) en ciencias sociales o ni siquiera tenidos en

cuenta en el área de humanidades.

2. Omnicomprensivo de toda la actividad científica: Pretende recoger toda la

actividad desplegada por los investigadores que sea útil desde el punto de vista

científico. Por tanto, no se limita exclusivamente a los resultados traducidos en

publicación, y menos aún sólo en los resultados visibles a partir de una base de

datos como WoS, sino que contempla otros output como la invención

(patentes), la dirección de equipos y de investigadores (tesis), la participación

en los sistemas de control científico de la ciencia (revisor en agencias de

financiación de la investigación o de las revistas científicas), la actuación en los

Page 337: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Sobre el sistema de información científica

333

congresos y eventos que reunen a los miembros de una comunidad científica o

la capacidad para atraer fondos económicos y competir por los mismos

(financiación de proyectos, contratos, etc..).

3.-Ciencimétrico: Gran parte del sistema se apoya en indicadores y métodos

ciencimétricos de amplio uso y concensuados por parte de la comunidad

internacional. Así se cubre un gran arco que abarca desde los indicadores

basados en la citación, el Impact Factor y las categorías del Journal Citation

Reports hasta indicadores menos empleados como congresos, revistas

nacionales, o producción en libros y monografías. Cubre y reúne, por tanto, en

una sola plataforma una gran parte de los indidcaores de actividad. Éstos se

ven complementados por información relacionada con la colaboración

pudiéndose examinar los colaboradores habituales de los investigadores, las

instituciones con las que se firma y el impacto que se alcanza con ellas o

incluso aspectos novedosos como los análisis de los hábitos de firma.

4.- Versátil y adaptable a las distintas unidades organizativas en que se

vertebra una institución de investigación como la universidad: organismo,

departamento, grupo, investigador. El sistema es capaz de trabajar sobre

diferentes niveles de agregación preestablecidos y dos niveles configurables

por los usuarios a partir de los investigadores y departamentos ingresados y

que hemos denominado grupos. Por tanto, respecto a los niveles de

agregación, el sistema es capaz de abarcar todas las escalas ciencimétricas

micro por lo que puede ser utilizado y adaptado tanto a un instituto concreto, un

grupo de investigación o una universidad.

5. Calidad en la información. Una de las principales fortalezas del sistema que

ha permitido el diseño de una gran cantidad de indicadores que pueden ser

Page 338: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Sobre el sistema de información científica

334

utlizados para la toma de decisiones reside en la calidad de la información,

ésta se puede resumir en tres características:

» Exhaustiva: se utilizan diversas fuentes de información, internas y

externas, que son capaces de recoger gran parte de las actividades

científicas desplegadas por un investigador en sus respectivas

organizaciones de trabajo.

» Contrastada: La utilización de diversas fuentes ha ayudado a corregir,

ampliar y contrastar los datos contenidos en las diferentes fuentes, con lo

cual se refuerza la fiabilidad y validez de los resultados.

» Normalizada: Al movernos en un entorno muy reducido se ha podido

lograr un alto grado de normalización de la información superándose

problemas habituales de los estudios ciencimétricos. Esta normalización

ha abarcado las unidades de los departamentos, los investigadores, los

títulos de revistas, categorías temáticas, instituciones colaboradoras, etc…

6.- Interfaz amigable. Como consecuencia directa también de la gran cantidad

de información generada se ha buscado el diseño de un interfaz adaptable a

los distintos niveles de agregación que permite el descenso jerárquico por los

diferentes indicadores. El diseño de este descenso a través de fichas facilita la

navegación desde los resultados generales a los particulares alcanzándose un

gran nivel de detalle. Para que sea rápidamente combinable e inteligible la

información tabulada también puede consultarse mediante una amplia

colección gráfica. Es por tanto un interfaz dirigido a la explotación y la

exploración a través de la información evitándose fotos fijas que limiten las

capacidades interpretativas. El interfaz además permite consultas con gran

rapidez y sencillez de las unidades que se desean analizar, asimismo, gracias

a diversas opciones como los rankings y grupos se identifican con rapidez los

puntos fuertes y débiles de las instituciones, desde un punto bibliométrico.

Page 339: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Sobre el sistema de información científica

335

7.- Actualizable en su diseño y contenido. El esquema y navegación a través de

fichas y gráficos está pensado para que en cualquier momento se puedan

incorporar nuevos objetos en virtud de las necesidades informativas que

puedan surgir. Asimismo, en lo que respecta a la información y su actualización

se orienta para que ésta sea lo más cercana en el tiempo. De esta forma

desde que concluye un año se comienza los períodos de carga con una

duración aproximada de dos o tres meses por lo que los gestores cuentan

rápidamente con los resultados más inmediatos de sus investigadores.

En definitiva, podemos considerar el resultado final como una base de

conocimiento destinada a la evaluación científica mediante unos criterios y unos

indicadores normalizados y concensuados con capacidad para responder gran

cantidad de interrogantes sobre el sistema científico que conforma la UNAV. En virtud

del resultado el sistema puede ser empleado con diferentes propósitos generales entre

los que podemos destacar:

• Control bibliográfico y documental.

• Tener conocimiento del desarrollo cientíico

• Herramienta para la orientación de la política científica general

• Toma de decisiones en centros y departamentos

• Herramienta complementaria para los comités de expertos destinados a

la promoción del personal.

A pesar de su utilidad el sistema cuenta con una serie de limitaciones, todas ellas

relativas a los aspectos tecnológicos:

• En primer lugar en un sistema monopuesto que no ofrece las ventajas

de un servicio distribuido vía web.

Page 340: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Sobre el sistema de información científica

336

•El sistema está pensado para un número de usuarios limitado

esencialmente a los gestores de la política científica de la UNAV y por

tanto, la información no puede ser aprovechada directamente por el resto

de la comunidad universitaria.

• La tecnología de Access no permite un almacenamiento masivo y

seguro de la información, por lo puede no rendir lo suficiente si lo

aplicamos a grandes dominios universitarios

• Para su utlización es necesario software propietario de Microsoft, esta

situación conlleva diversos problemas en lo que respecta a sus licencias y

a la incompatibilidad de los diferentes paquetes de Microsoft Office.

Para conluir este apartado de la discusión no podemos dejar de referirnos a otras

iniciativas a nivel nacional como es el Sistema de Información Científica de

Andalucía9 o el Atlas de la Ciencia10 . Estas propuestas se dirigen a evaluar grandes

regiones geográficas con diferente grado de especialización y normalización. El

primero se especializa en controlar la producción científica de los grupos integrados

dentro del Plan Andaluz de Investigación con una cobertura amplia de la actividad

científica y orientada más como un servicio público de apoyo al investigador. El

segundo se especializa más en la representación gráfica y esquemática de grandes

dominios temáticos, geográficos, institucionales, basados en la cocitación y en ofrecer

indicadores bibliométricos limitados a la cobertura del WoS, desde el punto de vista de

la producción, y al Impact Factor, desde el punto de vista de los aspectos cualitativos.

Si embargo ambos proyectos financiados por la administración pública no pueden ser

consideradas herramientas útiles en nuestro contexto ya que no son modelos

extrapolables a la evaluación de un centro de investigación concreto (como puede ser

una universidad, instituto…) y sus unidades (investigadores, grupos, departamentos),

9 www.grupos-pai-cica.es [Consultad de 12 de Diciembre de 2006] 10 www.atlasofscience.net [Consultad de 12 de Diciembre de 2006]

Page 341: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Sobre el sistema de información científica

337

debido, principalemente a los gran cantidad de información a la que se enfrentan y que

generan todo tipo de problemas en su normalización, tratamiento y fiabilidad final.

Page 342: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

338

» 5.2. DISCUSIÓN DE LOS INDICADORES BIBLIOMÉTRICOS

Uno de los principales esfuerzos en la presentación de los resultados se ha

dirigido a la representación y exposición de los indicadores a través de gráficas,

figuras y tablas autoexplicativas en sí mismas y rápidamente inteligibles. En ellas,

sobre todo las aplicadas a departamentos y categorías JCR, se identifican con

rapidez los aspectos positivos y negativos y las unidades que alcanzan un alto o un

bajo rendimiento para cada uno de los indicadores. Consideramos, por ello, más

fructífero para la discusión comparar y ahondar en diversos resultados que atañen con

carácter general al conjunto de la universidad y concluir con una síntesis de los

indicadores con el fin de identificar la excelencia científica.

» 5.2.1. Indicadores de producción.

La UNAV ha producido un total 3753 trabajos publicados en revistas científicas

excluyendo las categorías documentales de los meetings abstracts, con una tendencia

positiva de crecimiento. El número de publicaciones ISI (ISItem) alcanza para todo el

período un 65%, existiendo un nivel de internacionalización bastante elevado que se

incrementa con el tiempo ya que en el último año el porcentaje de producción ISI es

del 75%, un valor que ha de interpretarse positivamente. Este último porcentaje

aumentaría si no contabilizáramos dos revistas científicas estrechamente vinculadas

con la UNAV: Revista de Medicina de la Universidad de Navarra y los Anales del

Sistema Sanitario de Navarra que conjuntamente aportan 201 trabajos para todo el

período. Existe por tanto una política de publicación claramente dirigida hacía las

revistas más internacionales, entendiendo como tales la revistas indizadas en las

bases de la WoS. Este fenómeno queda reflejado en la producción de trabajos de

Page 343: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

339

trabajos citables que también, aunque más moderado e irregular, presenta un

crecimiento positivo. Es importante destacar como la producción citable de la

Comunidad Foral de Navarra en el campo de la medicina depende y está totalmente

determinada por la Universidad de Navarra. Según Moya-Anegón, Carretero Guerra, et.

(2006, p. 41) para el bienio 2003-2004 la comunidad en la cual más cual porcentaje de

su producción científica se dedicaba a la biomedicina fue Navarra, con más del 60%

de sus resultados perteneciente a esta área. Esta especialización de la CFN se debe

principalmente al esfuerzo de la Universidad de Navarra ya que el 75% de los trabajos

citables en esta disciplina están firmados por la misma.

Como se puede observar en la gráfica 24 en España la producción citable en

ciencias de la salud ha crecido durante el período 1999-2004 a un ritmo más estable y

continuo que la Universidad de Navarra. Por tanto aunque la UNAV crece en

producción lo hace a un ritmo más irregular que el nacional.

Gráfica 24. Nº de ítems citables anuales en producidos en ciencias de la salud para la UNAV y España. 1999-2004.

Universidad de Navarra España

0

100

200

300

400

500

1999 2000 2001 2002 2003 2004

0

2000

4000

6000

8000

10000

12000

1999 2000 2001 2002 2003 2004

Fuente: MB04

Page 344: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

340

La producción ISI de la UNAV se compone predominantemente de la categoría

documental articles con un 69% y Meeting Abstract con un 18% sobre el total. Estos

valores se acercan al perfil nacional en el ámbito de la biomedicina y las ciencias de la

salud ya que durante el período 1999-2002 estos mismos porcentajes se situaban en

el 62,45% y el 14,67% (Moya-Anegón & Solís Cabrera, 2004, p. 57). Si aparecen

diferencias más considerables respecto a las letters que en la UNAV son el 5%

mientras que España es del 13%. También respecto al idioma tanto para España

como para la UNAV el inglés prevalece como lengua de publicación de los trabajos

científicos; sin embargo el porcentaje de la UNAV en este caso es mayor ya que

alcanza hasta un 91% mientras que España se sitúa en un 79% (Moya-Anegón & Solís

Cabrera 2004, p. 54).

El crecimiento productivo de publicaciones en revistas ha ido también

acompañado del aumento en otros medios de difusión del conocimiento científico,

especialmente las aportaciones a congresos. Normalmente los resultados destinados

a una revista son presentados previamente en las reuniones científicas del campo por

lo que sus dinámicas productivas han de estar estrechamente relacionadas. En la

UNAV ambas, la producción en revistas y las aportaciones a congresos, tienen una

evolución similar. Esta situación se pone de pone manifiesto en la tendencia anual de

crecimiento ya que el último año donde se dispone de información completa, 2004, se

cuentan 1041 aportaciones frente las 732 de 1999. Las tesis doctorales también han

de reproducir los mismos esquemas ya que de ellas se derivan gran parte de las

publicaciones y son fiel reflejo de las líneas de investigación de los departamentos. Si

consideramos los años que no sufren ninguna distorsión en la recopilación de los

datos durante los cursos 2000-2005 se está produciendo un crecimiento en las

lecturas de tesis doctorales como queda reflejado, lógicamente, en el aumento

progresivo del número de doctores que se van incorporando anualmente a la UNAV.

Page 345: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

341

» 5.2.2. Indicadores de visibilidad e impacto.

Un aspecto positivo de la producción citable del ISI es la evolución de la visibilidad

de sus trabajos. El análisis por cuartiles pone de manifiesto como disminuye

progresivamente la publicación en revistas con menor Impact Factor correspondientes

a aquellas que se posicionan en el 3º y 4º cuartil de su categoría JCR. Este descenso

hace que la producción en revistas del 1º y 2º cuartil aumente porcentual y

numéricamente en los últimos años. Esta tendencia puede explicar porque el

crecimiento en la producción es más ralentizado que en el caso español ya que el

incremento de la UNAV va unido a una mejora en el impacto y el prestigio de las

revistas en las que se publica. Al ser más dura la competencia para acceder a las

revistas situadas en las zonas de mayor Impact Factor el esfuerzo requerido para

poder publicar también se eleva. Esta circunstancia es más positiva para una

institución que busca el prestigio internacional que el aumento de la producción más

aceleradamente pero sin incremento del Impact Factor. El esfuerzo realizado por

conseguir una mayor presencia en las mejores revistas queda también reflejado en el

indicador TOP3 ya que 12 de cada de 100 trabajos citables se publican en este tipo de

publicaciones. Esta situación muestra un cambio en la difusión de los trabajos

orientado no tanto a aumentar el aspecto cuantitativo sino el cualitativo de las

publicaciones aspectos que va unido irremediablemente a una investigación de mayor

interés para la comunidad científica internacional.

En cuanto a los indicadores de citación algunos de ellos, quizás los más

importantes, pueden ser comparados con los obtenidos en el Mapa Bibliométrico de la

Investigación de Biomedicina y Ciencias de la Salud 1996-2004 (MB04). Debemos

apuntar a este respecto como, a pesar de las diferencias en las ventanas de citación y

números de categorías JCR contempladas en el MB04 y en nuestro trabajo, los

resultados son bastantes similares tal y como queda reflejado en la tabla 47.

Page 346: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

342

Tabla 47. Comparación entre UNAV y España para el Promedio de citas y porcentaje de documentos no citados.

Prom. citas % No citados

España(MB04) 8,25 27% Universidad de Navarra (Propios) 8,25 26% Universidad de Navarra (MB04) 8,16 25%

Así el promedio de citas obtenidos por la UNAV para nuestro trabajo es de 8,25

mientras que el presentado en el MB04 es de 8,16; en el caso del porcentaje de

documentos no citados las cifras son prácticamente idénticas. Estos datos validan en

cierta medida ambos trabajos en lo que compete, al menos, a los indicadores de

impacto. A partir de la misma tabla también podemos comprobar como la UNAV,

siguiendo nuestros valores, tiene un promedio de citas por documento igual al logrado

por todo el conjunto español. Aunque a priori esta comparativa puede dar lugar a una

interpretación negativa hemos de tener en cuenta que tan solo 6 universidades en

España, incluida la UNAV, consiguen igualar o superar el valor de referencia nacional

de 8,25 citas por documento (tabla 48). Dentro de este conjunto la Universidad

Autónoma de Madrid y la Universitat de Barcelona presentan los valores más elevados.

Se puede afirmar por tanto que la UNAV forma parte del grupo privilegiado de

universidades con un impacto destacado en el ámbito de las ciencias de la salud a

nivel nacional.

Page 347: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

343

Tabla 48. Promedio de citas y porcentaje de documentos no citados en ciencias de la salud para las principales universidades españolas

Universidad Prom. citas

% No citados

Universidad Autónoma de Madrid 11,60 18,9%

Universitat de Barcelona 10,65 21,6%

Universidad Complutense 8,90 23,7%

Universitat Autónoma de Barcelona 8,62 22,7%

Universidad de Oviedo 8,40 28,2%

Universidad de Navarra (propios) 8,25 26,0%

Universidad de Salamanca 7,79 24,5%

Universitat de Valencia 7,66 29,3%

Universidad de Murcia 7,13 26,8%

Universidad de Santiago de Compostela 6,68 26,4%

Universidad de Granada 6,37 28,9%

Universidad de Sevilla 6,33 30,9%

Universidad del País Vasco 6,29 25,8%

En cuanto al porcentaje de documentos no citados los resultados entre las

diversas universidades son bastantes variables y no es tan significativo como el

promedio de citas, al menos dentro de este grupo de alto impacto. Podemos apuntar

como la UNAV con el 26% de documentos no citados se sitúa en un punto intermedio

entre el 19% de la Universidad Autónoma de Madrid y el 30% de la Universidad de

Sevilla, por lo que sigue en líneas generales el mismo patrón que el grupo que ha

servido como marco comparativo.

Para aproximarnos al nivel alcanzado por las distintas categorías JCR hemos

tomado también los datos del MB04 por lo que no todas las categorías analizadas en

este trabajo han podido ser comparadas; aunque si las más relevantes para la UNAV y

aquellas directamente relacionadas con la medicina. El indicador de referencia ha sido

Page 348: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

344

el promedio de citas. Como vemos en la tabla 49 existen 14 categorías donde se

supera el promedio de citas nacional, además en 6 de ellas de manera destacada.

Tabla 49. Promedios de citas de la UNAV en diferentes categorías temáticas del Journal Citation comparadas con los resultados del MB04.

Promedio citas

Categoría JCR. UNAV MB04 ALERGIA 5,7 6 ANESTESIOLOGIA 3,6 6 BIOFISICA 8,5 10 BIOLOGIA CELULAR 10,3 13 BIOQUIMICA Y BIOLOGIA MOLECULAR 9,3 11 CIRUGIA 4 5 DERMATOLOGIA Y ENFERMEDADES VENEREAS 4,7 4 ENDOCRINOLOGIA Y METABOLISMO 14 10 ENFERMEDAD VASCULAR PERIFERICA 16,8 14 ENFERMEDADES INFECCIOSAS 6,6 9 FARMACIA Y FARMACOLOGIA 6,5 7 FISIOLOGIA 2,8 8 GASTROENTEROLOGIA Y HEPATOLOGIA 11,9 10 GENETICA 12,1 11 HEMATOLOGIA 11,3 13 INMUNOLOGIA 8 10 MEDICINA EXPERIMENTAL 13,7 10 MEDICINA GENERAL E INTERNA 10 7 METODOLOGIA INVESTIGACIÓN BIOQUIMICA 6,8 0 MICROBIOLOGIA 10,2 9 NEUROCIENCIAS 11,9 8 NEUROLOGIA CLINICA 13,4 5 NUTRICION Y DIETETICA 7,3 5 OBTESTRICIA Y GINECOLOGIA 5,1 6 OFTAMOLOGIA 7,2 7 ONCOLOGIA 8,8 12 OTORRINOLARINGOLOGIA 1,9 4 PEDIATRIA 4,8 4,44 PSIQUIATRIA 6 6 QUIMICA MEDICA 5,8 5,28 SISTEMA CARDIOVASCULAR 8,6 6,91

En naranja aquellas categorías que superan el valor nacional

Page 349: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

345

Entre todas es significativo el valor alcanzado por la Neurología Clínica con 13,4

citas por trabajo frente a las 5 nacionales. Gran parte de este grupo de alto impacto ya

había sido localizado en los resultados de este trabajo (figura 70) (Enfermedad

Vascular y Periférica, Endocrinología y Metabolismo, Neurociencias, etc...) pero los

promedios del MB04 nos ayudan a matizar positiva y negativamente los indicadores

finales de algunas categorías. En primer lugar hemos de señalar la Medicina General e

Interna y Sistemas Cardiovascular que salen reforzadas tras esta comparación ya que

sus valores son superiores a la media nacional y demuestran buenos resultados

científicos, situación que pasó inadvertida en nuestro análisis. Igualmente se produce

el efecto contrario en la Bioquímica y Biología Molecular y Hematología, que en

nuestros resultados aparecían bien posicionadas pero que tras compararse con los

promedios del MB04 aparecen levemente por debajo del valor de referencia.

Para aproximarnos al impacto alcanzado por la UNAV respecto al mundo hemos

tomado el promedio de citas general alcanzado por la Medicina Clínica en los

Essential Science Indicators (ESI)11 publicados por ISI. Como ISI no específica las

revistas incluidas en esta macroárea se han seleccionado para calcular el promedio de

la UNAV las revistas englobadas en las categorías JCR que en el MB04 aparecen

incluidas bajo la denominación de Medicina Clínica12. En general para el período 1999-

2004 siguiendo los ESI los documentos publicados a nivel mundial en Medicina Clínica

han alcanzado un promedio de 10,6 citas por documento mientras que el mismo

indicador para la UNAV ha sido de 10. Como se puede apreciar en la gráfica 25 en dos

de los años centrales, 2000-2001, el promedio de la UNAV ha sido superior al mundo,

en tres ha sido inferior y en el último año el valor ha sido el mismo. Para todo el

período las diferencias, ya sean éstas positivas o negativas, no han sido demasiado

significativas por lo que la UNAV se sitúa, al menos en Medicina Clínica, en un buen 11 http://portal.isiknowledge.com [consultado el 13 de Diciembre de 2006] 12 En el MB04 se han considerado un total de 70 categorías JCR como integrantes de la investigación en Biomedicina y Ciencias de la Salud. A su vez este grupo se ha clasificado en tres macroáreas: Ciencias de la Vida (22 categorías), Medicina Clínica (37 Categorías) y Sociales, Enfermería y Psicología (11 categorías).

Page 350: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

346

nivel de impacto caracterizado por su gran homogeneidad ya que no existe desviación

con respecto al patrón mundial describiendo ambos conjuntos curvas de citación

estándar.

Gráfica 25. Comparación del promedio de citas de la UNAV frente al Mundo en Medicina Clínica (Essential Science Indicators). 1999-2005.

02468

1012141618

1999 2000 2001 2002 2003 2004

Unav Mundo

Otra información relevante que arrojan los análisis de citación es la audiencia de

los trabajos publicados por la UNAV en el ISI reflejada en los países y las instituciones

citantes. En primer lugar se ha demostrado como la investigación de la UNAV está

siendo seguida desde los países que conforman la Main Stream Science, encabezada

por Estados Unidos que ha emitido un total de 6219 citas una vez excluida la

autocitación. Es una citación, por tanto, caracterizada por su carácter internacional

como confirma que sólo 1627 citas, excluida autocitación, provienen de España.

Además siete de las instituciones que más citan emiten se encuentran entre las más

prestigiosas a nivel mundial si tenemos en cuenta diversos rankings institucionales

como los Essential Science Indicators de la Web of Knowledge (figura 109) o el

Academic Ranking of World Universites 200613. Ser citado demuestra el impacto y la

utilidad de los trabajos pero este tipo de información sobre el origen de las citas otorga

valor cualitativo a la citación y una determinada significación. Los datos son el reflejo

13 http://ed.sjtu.edu.cn/ranking.htm [consultada el 13 de Diciembre de 2006]

Page 351: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

347

de la pertenencia de la UNAV a un núcleo internacional de investigación ya que sus

trabajos están siendo revisados, utilizados e incorporados al conocimiento por

prestigiosas instituciones en el campo de la medicina clínica. Estas instituciones

marcan las grandes directrices de los frentes de investigación y los trabajos firmados

por la UNAV están siendo parte de los referentes en la generación de este nuevo

conocimiento reconocido a través de la citación. Este aspecto cualitativo del análisis

de citas parece confirmarse en la caracterización de la citación. Es evidente que si la

UNAV está siendo citada desde los países y las instituciones con mayor impacto las

revistas de emisión de las citas también han de ser las más prestigiosas. Esta

argumentación explicaría el hecho significativo de la emisión de un 50% de las citas

desde revistas del primer cuartil y un 13% desde TOP3. Asimismo la incorporación del

conocimiento generado por la UNAV se manifiesta a través de las 4185, 21%,

recibidas desde la categoría documental Review.

Figura 109. Instituciones que han emitido más de 199 citas presentes en los diez primeros puestos del ranking de citación de instituciones del Essential Science Indicador para Medicina Clínica.

Page 352: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

348

La distribución del número de citas recibidas por la UNAV entre los trabajos sigue

la típica distribución asimétrica descrita por Seglen (1992) y se manifiesta en una

pequeña parte de trabajos citables que acumulan gran parte de la citación global de la

universidad; el 20% acopia el 64% de las citas. Son un total de 366 publicaciones que

están recibiendo una mayor atención de las cuales se han identificado 16, un 1% de la

producción, que abarca un 12% de total de las citas ya que todos ellos tienen un

mínimo de 94 citas. Este fenómeno no es exclusivo de la UNAV. En Noruega y con

una ventana de citación de cinco años se demostró como un solo trabajo de Medicina

Clínica, el 0,1% de la producción, obtuvo el 6% de las citas y los 5 artículos más

citados dentro de la misma categoría alcanzaron el 10% de las citas (Asknes, 2004,

pag 218), éstos datos apuntan la importancia de estos trabajos en cualquier nivel de

agregación. En la UNAV también se produce este efecto, en la gráfica 26 podemos

observar como el promedio de citas de la UNAV varía considerablemente si los

Trabajos Altamente Citados no se tuvieran en cuenta. Si sacamos los 366 trabajos con

más de 12 citas la UNAV alcanzaría menos de la mitad del promedio actual. Si nos

limitamos a los 16 trabajos que obtuvieron más de 93 citas y los omitiéramos el

promedio también se vería alterado negativamente, y en términos globales se pasaría

de las 8,2 citas de promedio actuales a 7,6. Se verifica por tanto que el impacto de la

UNAV también depende en buena medida de la citación conseguida por este tipo de

trabajos. Consideramos de gran utilidad la identificación de los agentes productores de

los mismos ya que gracias a ellos el promedio de citas de la UNAV se ha situado entre

los más destacados del conjunto universitario nacional.

Page 353: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

349

Gráfica 26. Influencia de los Trabajos Altamente Citados en el promedio de citas de la UNAV. 1999-2005.

0,0

2,0

4,0

6,0

8,0

10,0

12,0

14,0

16,0

1999 2000 2001 2002 2003 2004 2005

Promedio Real Promedio1 Promedio2 Promedio3

Promedio Real: promedio de citas real de la UNAV

Promedio 1: Promedio de citas que alcanza la UNAV si excluimos de su cálculo los 366 trabajos (20% de la producción) que obtuvieron más de 13 citas

Promedio 2: Promedio de citas que alcanza la UNAV si excluimos de su cálculo los 77 trabajos (4% de la producción) que obtuvieron más de 42 citas

Promedio 3: Promedio de citas que alcanza la UNAV si excluimos de su cálculo los 16 trabajos (1% de la producción) que obtuvieron más de 93 citas

En el orden puramente metodológico se ha realizado un test para probar la

eficiencia de la utilización de la base de datos Scopus frente a los Citation Indexes del

ISI. El resultado general es que Scopus aporta un 14% más de citas, sin embargo este

superávit no se distribuye por igual entre las categorías, en ellas no hemos encontrado

la misma cifra y el porcentaje varía entre unas y otras. Se observa como las categorías

del campo de la medicina clínica son las más beneficiadas ya que la mayor parte de

las mismas obtienen un incremento de citas superior al 14% tal y como se puede ver

en la tabla 50. Estos porcentajes pueden estar producidos por una mayor presencia de

revistas de este campo por lo que existe un equilibrio distinto al que hay en ISI que

dan lugar a dos universos de citación diferentes. De hecho si utilizamos Scopus para

Page 354: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

350

propósitos evaluativos genera diferentes rankings de los ISI sobre todo a partir de las

cinco primeras posiciones. También es reseñable como a pesar de la existencia de un

mayor número de revistas indizadas en Scopus, casi 6000 más que en ISI, no se

rescatan un número mayor de citas, máxime cuando la plataforma de Elsevier contiene

Medline en su totalidad. Los datos obtenidos no permiten aclarar esta situación pero

puede deberse a circuitos de citación diferentes entre las revistas del centro y la

periferia.

Tabla 50. Categorías temáticas del Journal Citation Reports que han obtenido más del 14% de diferencia entre las citas rescatadas en Scopus y en los Citation Indexes.

Categoría JCR Campo Nº CitasScopus

Nº Citas ISI

Diferencia Scopus-

ISI

% de citas aportadas por

Scopus respecto a ISI

OTORRINOLARINGOLOGIA Medicina Clínica 97 61 36 59 ALERGIA Medicina Clínica 421 301 120 40 OBTESTRICIA Y GINECOLOGIA Medicina Clínica 176 127 49 39 SALUD PUB, MEDIAMBIENTAL Y LABORAL Medicina Clínica 179 133 46 35 BIOLOGIA Otros Campos 324 243 81 33 ORTOPEDIA Medicina Clínica 100 77 23 30 ANESTESIOLOGIA Medicina Clínica 64 50 14 28 DERMATOLOGIA Y ENF. VENEREAS Medicina Clínica 240 189 51 27 NEUROLOGIA CLINICA Medicina Clínica 3232 2525 707 28 RADIOLOGIA, MED NUCLEAR E … Medicina Clínica 403 320 83 26 NEUROCIENCIAS Ciencias de la Vida 2360 1902 458 24 SISTEMA RESPITATORIO Medicina Clínica 96 78 18 23 PEDIATRIA Medicina Clínica 231 191 40 21 NUTRICION Y DIETETICA Medicina Clínica 789 660 129 20 CIRUGIA Medicina Clínica 671 570 101 18 SISTEMA CARDIOVASCULAR Medicina Clínica 1179 979 200 20 MEDICINA GENERAL E INTERNA Medicina Clínica 1177 986 191 19 PSIQUIATRIA Medicina Clínica 343 287 56 20 ENDOCRINOLOGIA Y METABOLISMO Medicina Clínica 1158 977 181 19 VIROLOGIA Ciencias de la Vida 204 175 29 17 TRASPLANTES Medicina Clínica 267 225 42 19 TEC. DE LABORATORIOS MEDICOS Medicina Clínica 62 53 9 17 GASTROENTEROLOGIA Y HEPATOLOGIA Medicina Clínica 1290 1105 185 17 UROLOGIA Y NEFROLOGIA Medicina Clínica 153 133 20 15 QUIMICA MULTIDISCIPLINAR Otros Campos 230 199 31 16 INMUNOLOGIA Ciencias de la Vida 1388 1203 185 15

Page 355: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

351

» 5.2.3. Indicadores de colaboración.

Para los indicadores de colaboración puede ser una buena medida de

comparación los resultados obtenidos para España en el campo de la medicina el año

central de 2003. Como podemos observar en la tablas 51 en ambos dominios existe

un predominio de los trabajos firmados por un número de autores situados entre 3-6,

este grupo de firmantes acumulan el 55% del total. Es por tanto un perfil similar al que

ofrecía la medicina en el año 2003 en España cuya distribución se mueve igualmente

entre el mismo número de firmantes alcanzando todos ellos el 52%.

Tabla 51. Porcentajes destacados de la distribución de los trabajos según el número de autores para la UNAV y España. 2003.

% trabajos

Nº de autores UNAV España* 3 14% 10% 4 15% 14% 5 13% 13% 6 13% 15%

%total trabajos 55% 52%

*El dato se ha extraído de: FECYT (2005), p.208, tabla 29. Corresponde a la distribución de la producción según el Nº de firmantes para Medicina para el año 2003

Page 356: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

352

El índice de coautoría también es bastante similar al de España. En líneas

generales, el ICO nacional en medicina el año 2003 obtuvo un promedio general de

5,9 autores por trabajo (FECYT, 2005, p. 208, tab. 29) mientras que si nos limitamos a

la misma área científica pero tenemos en cuenta tan solo el sistema universitario el

ICO se reduce a 5,6 (2005, p. 224, tab. 32) un valor muy cercano al que tiene la

UNAV de 5,4 para todo el período 1999-2005. Por tanto estos indicadores para la

UNAV se mueven dentro de la normalidad nacional.

En el caso de los Patrones de colaboración los trabajos sin colaboración en la

UNAV fueron del 53% mientras que en España para este mismo indicador en el campo

de la Medicina se situaba en el 37% (2005, p. 219, graf. 241). Si tenemos en cuenta

los trabajos firmados en colaboración con otras instituciones internacionales la UNAV

supera levemente el porcentaje nacional ya que alcanza el 26% frente al 25%. Para la

otra fuente de información que hemos empleado, el MB04, la colaboración

internacional española en se eleva al 27% pero también los resultados de este trabajo

aumentan el porcentaje de la UNAV hasta el 29%, un valor similar al de nuestro de

estudio que la sitúa como la segunda universidad que más colabora

internacionalmente. Como vemos, independientemente de los valores que tomemos,

todos apuntan a un elevado grado de colaboración como uno de los rasgos que

definen no solo a la UNAV sino también a las universidades españolas con más

impacto en el área de ciencias de la salud tal y como queda reflejado en la tabla 52.

Como ya apuntábamos en la introducción de este trabajo diversos autores han

puesto de manifiesto (Glänzel 2001; Bordons, Gómez, et al., 1996) como la

colaboración contribuye a elevar el impacto de la producción científica, situación que a

la luz de nuestros resultados también se produce en la UNAV. En el caso de los

Page 357: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

353

Tabla 52. Porcentaje de trabajos colaborados internacionalmente por principales universidades españolas

Universidad % Col. Internac.

Universidad de Salamanca 30,1% Universidad de Navarra (MB04) 29% Universidad Autónoma de Madrid 27,8% Universidad del País Vasco 27,8% Universitat de Barcelona 27,7% Universitat Autónoma de Barcelona 27,5% Universidad de Santiago de Compostela 26,5% Universidad de Oviedo 26,1% Universidad de Navarra (propios) 26,0% Universitat de Valencia 25,2% Universidad Complutense 25,1% Universidad de Granada 24,2% Universidad de Sevilla 23,2% Universidad de Murcia 21,1%

indicadores bibliométricos que utilizaban el Impact Factor como medida de la

visibilidad. Pudimos comprobar como la UNAV obtiene un mayor porcentaje de

documentos publicados en el primer cuartil en el patrón de colaboración internacional,

seguido del nacional y por último de los trabajos sin colaboración. Este fenómeno no

se limita a la UNAV ya que para la medicina española se describe un efecto parecido

para con el indicador Factor de Impacto Normalizado (FIN) (2005, pag, 220, graf. 243).

En este caso el valor de FIN para los patrones internacional, nacional y sin

colaboración fue aproximadamente de 1,20, 1,15 y 1,05 respectivamente. La UNAV

por tanto vuelve a reproducir un idéntico comportamiento al nacional.

Si atendemos exclusivamente a la influencia de la colaboración sobre el número

de citas de la UNAV se puede afirmar que este indicador está bastante determinado

por las citas logradas por los trabajos firmados en colaboración, especialmente los

Page 358: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

354

internacionales que aunque suponen solo el 26% de producción acumulan el 40% de

las citas. Al concentrarse las citas también en los denominados Trabajos Altamente

Citados, como advertimos líneas más arriba, es lógico pensar que los trabajos más

citados incluyan entre los responsable que los firman una institución internacional.

Para testar esta hipótesis los 16 trabajos con más de 93 citas nos puede ayudar a

discernir hasta que punto depende la UNAV de la colaboración para generar este tipo

de trabajos que elevan sus tasas de citación. Para ello en la tabla 53 hemos

especificado la firma de los trabajos más citados observándose como diez de ellos

tenían como socio de investigación una institución internacional en ocasiones de gran

prestigio como Johns Hopkins, Cambridge o University of California (Los Ángeles).

Parece por tanto que una de las causas que determinan los Trabajos Altamente

Citados es la elección de los socios de investigación. Está situación quedó confirmada

a través del análisis de superficies de respuesta que estableció como el factor que

más determina el número de citas es el número de socios de investigación.

En cuanto a la colaboración por regiones geográficas del mundo los resultados del

MB04 identifican a los países de la Unión Europea y Norteamérica como los coautores

predominantes a nivel nacional, situación ésta que también se repite con la UNAV. Si

tomamos los diez primeros países con los que más colabora España y la UNAV

veremos que los listados, presentados en la tabla 54, son idénticos y solo se

producen algunos cambios en el orden, por lo que los colaboradores principales de la

UNAV, con los cuales se logran los promedio de citación más elevados, revelan la

integración y pertenencia a las redes europeas y norteamericanas al igual que ocurre

en España.

Page 359: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

355

Tabla 53. Instituciones colaboradoras en los Trabajos Altamente Citados con más de 96 citas

Nº de citas Tipo

Colaboración Instituciones colaboradoras ; socios de investigación

299 Sin colaboración

► 260 Internacional Johns Hopkins

► 174 Internacional Boston University / Brandeis University / Brigham and Women's Hospital / Harvard Medical School /

► 162 Internacional Sahlgrenska Univ Hosp Ostra / Ullevaal Univ Hosp / AstraZeneca R&D

► 160 Internacional Erasmus Univ/ Odense Univ/Royal Liverpool Univ Hosp/. Natl Res Council/Univ Cambridge,/Univ Zaragoza

146 Sin colaboración .

133 Nacional Hosp Univ La Fe, // Univ Oviedo // Hosp Clin San Carlos, // Hosp Clin Univ, Valencia, // Hosp Insular, Las Palmas // Hosp Clin, Barcelona, // Gen Hosp, Alicante, // Otras instituciones nacionales…

► 123 Internacional Sahlgrens Univ / Univ Perugia / Guys Kings Thomas Sch Med / Ullevaal Univ Hosp / Frankfurt Hochst Clin /

► 121 Internacional Knoll Pharmaceut Spa (Milan)/Europharma SA, Grp /Hosp Principe Asturias/ Univ Barcelona/ Univ Autonoma Barcelona/ Hosp Clin Univ Granada/ Hosp Princesa/ Hosp Clin Univ Zaragoza,

117 Sin colaboración

114 Sin colaboración

► 114 Internacional Natl Hosp Neurol & Neurosurg, Inst Neurol, London / Dept Neurosci, Grenoble, France/ Clin Quiron / Catholic Univ, Inst Neurol, Rome

► 111 Internacional Univ Michigan

► 97 Internacional University of California at San Francisco/ Hospital Vall d'Hebron/ Pharma Research Penzberg

► 96 Internacional Johns Hopkins / Univ Frankfurt / Hosp Clin San Carlos/ Cambridge Inst Med Res

94 Sin colaboración

Page 360: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

356

Tabla 54. Colaboración por países para España y la UNAV

Datos MB04 Camí para TOP10 países colaboradores para España

Datos propios para TOP10 Países colaboradores para la UNAV (excluida España)

País Nº ISItemCit

Prom Citas País Nº

ISItemCit Prom Citas

ESTADOS UNIDOS 7.345 19,0 ESTADOS UNIDOS 375 17,9 INGLATERRA 4.052 19,0 FRANCIA 125 18,1 FRANCIA 3.907 20,7 INGLATERRA 113 16,3 ALEMANIA 3.291 19,9 ALEMANIA 102 16,2 ITALIA 3.080 20,2 ITALIA 81 20,5 HOLANDA 1.914 23,0 HOLANDA 47 21,1 BÉLGICA 1.491 20,8 CANADA 41 18 SUECIA 1.368 19,7 SUECIA 31 30,3 SUIZA 1.228 22,0 SUIZA 29 15,1 CANADÁ 1.085 23,9 BELGICA 21 15,3

Un aspecto interesante que han enriquecido y complementado considerablemente

los Patrones de Colaboración han sido los análisis de la posición de la firma. Su

interpretación no es fácil pero en líneas generales situados en un contexto de

colaboración nacional e internacional firmar en primer o último lugar nos indica que la

institución analizada ha participado en algún aspecto importante de desarrollo del

trabajo. Añaden por tanto un valor social a los indicadores ya que localizan el liderazgo

de la UNAV en la investigación con otros centros y matiza la dirección de la

colaboración. Si se firma en posición inicial o final son otras instituciones las que

colaboran con la UNAV e intervienen en sus proyectos mientras que si ésta firma en

un lugar intermedio es la UNAV la que colabora en las líneas de investigación de otros

centros. Los aspectos señalados se han querido reflejar con el conjunto de indicadores

dedicados a la posición firmante diseñados. En virtud de esta interpretación los

resultados obtenidos manifestaron como la UNAV lidera el 60% de los trabajos con

colaboración independientemente de su carácter nacional o internacional para los que

se obtienen porcentajes similares. Sin embargo, cuando la posición firmante se

combina con la visibilidad y el impacto los resultados no pueden ser interpretados

Page 361: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

357

positivamente. Los trabajos donde la UNAV tiene un rol de liderazgo logran un

promedio de citas inferior que aquellos en los que firma en alguna de las posiciones

intermedias. En principio esta situación nos indicaría como la UNAV obtiene sus cotas

más altas de impacto colaborando con otras instituciones y por tanto supeditada a

ellas. La situación ideal sería aquella en que los trabajos colaborados firmados

inicialmente logran mayor promedio de citas ya que apuntarían a unas líneas de

investigación de las que se quieren hacer partícipes otros centros. Estos indicadores

pueden ser también de gran utilidad en el futuro con una mayor cobertura cronológica

de la ventana de citación ya que las variaciones en los promedios de citas de las

diferentes formas de firmas en la colaboración denotarían los cambios de rol en la

dirección de la investigación.

» 5.2.4. Determinando la excelencia científica

En función de los resultados científicos y en el marco del MB04 estamos en

disposición de identificar de forma más concluyente las categorías JCR y los

departamentos que pueden ser catalogados como excelentes desde un punto vista

bibliométrico. Para caracterizar la excelencia científica hemos seleccionado, en primer

lugar, una serie de indicadores significativos del conjunto empleado a lo largo de este

trabajo. En segundo lugar, se ha determinado un umbral para cada uno de los

indicadores a partir del cual se puede considerar que se obtiene un buen rendimiento.

Por el marco que se ha utilizado para establecer este umbral podemos dividir los

indicadores seleccionados en externos e internos. Los externos son aquellos que han

sido confrontados con los resultados del MB04 por lo que determinarían una

excelencia respecto al territorio nacional. Para el segundo conjunto de indicadores, los

internos, los umbrales se han establecido en función de los valores obtenidos por la

propia UNAV por lo que demostrarían unos mejores resultados dentro del contexto de

Page 362: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

358

la propia universidad. Cuando los departamentos o las categorías obtienen valores

superiores en todos los indicadores han sido considerados como excelentes, asimismo

si solo para un indicador se presenta un valor por debajo del umbral se ha catalogado

como muy buenos.

Del total de 50 departamentos que han sido sometidos a evaluación seis de ellos

pueden considerarse como excelentes y tres como muy buenos (tabla 55). Como se

puede ver tres de los departamentos asociados a la excelencia científica pertenecen al

Centro de Investigación Médica Aplicada (CIMA): Área de Neurociencias, Área de

Terapia Génica y Área de Oncología. En todos ellos se supera los indicadores

nacionales y los umbrales internos. Tan solo ha quedado fuera el Área de

Cardiovascular ya que no tiene asociado ningún proyecto europeo y no supera los

umbrales de colaboración internacional. Sin embargo a favor de este departamento

hemos de decir que su número de citas está determinado por los trabajos sin

colaboración y su impacto, por tanto, no depende del grado de colaboración ya que

son capaces por sí mismos de obtener un alto rendimiento de su propia investigación.

Estos departamentos reúnen gran parte de la producción científica de la UNAV y son

los responsables del aumento de su producción y visibilidad anual poniendo de

manifiesto la solidez de los pilares sobre los que asienta la investigación médica de la

UNAV. Los otros tres departamentos excelentes son Medicina Interna, Neurología y

Neurocirugía e Histología y Anatomía Patológica. Frente a la excelencia científica

hemos de resaltar un conjunto de departamentos temáticamente afines entre sí como

Farmacia y Tecnología Farmacéutica, Farmacología Clínica, Investigación y Desarrollo

de Medicamentos y Química Orgánica y Farmacéutica que, pese a tener un gran

presencia dentro de la UNAV, no consiguen destacar al mismo tiempo en todos los

indicadores. Hay que mencionar en último lugar aunque no figure en ninguno de los

grupos de alto rendimiento a Medicina Preventiva y Salud Pública que presentó unos

Page 363: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

359

Tabla 55. Excelencia científica de los departamentos.1999-2005.

Nivel científico Departamento

Nº ISItemCit

% ISItemCit

1ºC Nº Top3 % no

citados* Prom citas*

% Colab Interna*

Proye Europ.

Excelente ► MEDICINA INTERNA 313 64 73 16 10,5 31 2

Excelente ► AREA NEUROCIENCIAS 241 52 35 18 12,2 27 5

Excelente ► AREA TERAPIA GENICA 240 67 61 14 11,8 38 2

Excelente ► NEUROLOGIA Y NEUROCIRUGIA 216 53 31 23 15,6 27 3 CARDIOLOGIA Y CIRUGIA CARDIOV. 202 39 20 22 9,6 7 0

Excelente ► AREA ONCOLOGIA 195 55 23 17 9,6 42 3

Excelente ► HISTOLOGIA ANATOMIA PATOLOGICA 176 42 25 14 9,9 32 1 FISIOLOGIA Y NUTRICION 175 28 7 25 6,7 19 3 AREA CARDIOVASCULAR 170 49 16 24 8,9 12 0 HEMATOLOGIA Y HEMATOTERAPIA 143 54 9 27 8,4 20 1 FARMACIA Y TECNOLOGIA FARMACEUTICA 135 32 2 16 6,3 33 0

Muy Bueno ► BIOQUIMICA Y BIOLOGIA MOLECULAR 118 54 20 14 10,7 30 0

Muy Bueno ► GENETICA 110 55 11 15 9,8 45 0 MEDICINA PREVENTIVA Y SALUD PUBLICA 106 41 15 19 7,6 23 4 ONCOLOGIA 102 42 10 29 9,7 19 0 BROMATOLOGIA, TECNOLOGIA DE 85 41 6 15 5,8 28 0 QUIMICA Y EDAFOLOGIA 80 29 3 26 4,5 6 0

Muy Bueno ► MICROBIOLOGIA Y PARASITOLOGIA 79 48 4 16 10,2 48 2 QUIMICA ORGANICA Y FARMACEUTICA 74 17 1 27 5,5 42 0 PEDIATRIA 74 22 3 35 3,5 25 0 FARMACOLOGIA 70 41 4 13 8,1 14 2 I+D DE MEDICAMENTOS 65 39 2 22 6,4 44 0 FARMACOLOGIA CLINICA 65 27 1 42 4,2 13 0 CIRUGIA GENERAL Y DIGESTIVA 65 36 10 34 4,4 4 0

Se señalan en rojo % ISItemCit en el 1ºC: Cuando es superior al 40% Nº TOP3·: cuando es superior a 10 % de documentos no citados: cuando es inferior o igual al valor nacional: 27% Promedio de citas: cuando supera el valor nacional: 8,25 % trabajos colaborados internacionalmente: cuando supera o iguala el valor nacional: 27% Proyectos Europeos: Cuando se a obtenido al menos 1 proyecto europeo Criterios para determinar la excelencia científica:

1) Publicar más de 50 documentos citables en el período 2) Tener publicado un 40% de los documentos en el primer cuartil 3) Tener al menos 10 documentos indizados en revistas TOP3 4) Superar o igualar los valores nacionales para los indicadores: % documentos citados, Promedio de citas y % de trabajos colaborados internacionalmente 5) Contar al menos con un proyecto europeo

Se consideran asimismo categoría con un nivel muy bueno - Cuando cumplen seis de los siete criterios anteriores ** Los valores nacionales de referencia para cada una de las categoría se ha tomado del MB04

Page 364: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

360

altos índices de citas y documentos por investigador muy por encima del resto de

departamentos.

En cuanto a las categorías JCR (tabla 56) tan solo dos de ellas han obtenido la

excelencia científica: Neurología Clínica y Gastroenterología. Seis han sido

consideradas como muy buenas, entre las que destacan Neurociencias, Sistema

Cardiovascular y Medicina General e Interna. Como vemos de nuevo las líneas

asociada al CIMA son las que presentan los mejores indicadores, tan solo Oncología

queda fuera de este dos grupos al no tener suficientes trabajos TOP3 ni un promedio

de citas superior al nacional; que la categoría no alcance la excelencia y su

departamento más afín, el Área de Oncología, si lo haga se explica ya que éste tiene

su producción dispersa en 49 categorías diferentes y concretamente en la de

Oncología solo tiene un 25% de su producción.

Page 365: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

361

Tabla 56. Excelencia científica para las categorías temáticas del Journal Citation Reports. 1999-2005.

Nivel científico Categoría JCR Nº

ISItemCit FIC Nº

Top3 % no

citados* Promedio de citas*

% Colab Interna*

BIOQUIMICA Y BIOLOGIA MOLECULAR 238 1,12 0 18 9,3 39 ONCOLOGIA 197 1,29 0 12 8,8 45 Excelente ► NEUROLOGIA CLINICA 189 1,48 16 28 13,4 28 FARMACIA Y FARMACOLOGIA 180 0,9 0 19 6,5 31 Muy bueno ► NEUROCIENCIAS 160 1,43 0 17 11,9 35 INMUNOLOGIA 151 0,83 0 26 8 30 CIRUGIA 141 1,31 0 37 4 14 HEMATOLOGIA 134 1,95 27 22 11,3 34 Muy buena ► SISTEMA CARDIOVASCULAR 114 1,63 18 26 8,6 14 Muy bueno ► MEDICINA GENERAL E INTERNA 99 2,71 16 36 10 8 BIOLOGIA CELULAR 93 1,21 0 16 10,3 44 Excelente ► GASTROENTEROLOGIA Y HEPATOLOGIA 93 2,28 32 16 11,9 29 Muy bueno ► NUTRICION Y DIETETICA 90 1,25 0 18 7,3 21 Muy bueno ► ENFERMEDAD VASCULAR PERIFERICA 89 1,99 15 13 16,8 15 Muy bueno ► GENETICA 88 1,49 0 11 12,1 50 ENDOCRINOLOGIA Y METABOLISMO 70 1,11 0 23 14 38 RADIOLOGIA, MED NUCLEAR E IMAGEN MED 69 1,05 0 35 4,6 14 CIENCIA Y TEC. DE LOS ALIMENTOS 67 1,81 0 sin dato sin dato sin dato QUIMICA MEDICA 65 1 0 14 5,8 45 QUIMICA ANALITICA 62 1,23 0 sin dato sin dato sin dato MEDICINA EXPERIMENTAL 61 2,13 0 8 13,7 29 ALERGIA 53 1,4 25 36 5,7 11 BIOTECNOLOGIA Y MICROBIOLOGIA APLIC 53 2,36 0 sin dato sin dato sin dato

Se señalan en rojo FIC (Factor de Impacto Comparado): Cuando supera la media de su categoría Nº TOP3·: cuando es superior a 10 % de documentos no citados: cuando es inferior o igual al valor nacional de la categoría Promedio de citas: cuando supera el valor nacional de la categoría % trabajos colaborados internacionalmente: cuando supera el valor nacional de la categoría Criterios para determinar la excelencia científica:

1) Publicar más de 50 documentos citables en el período 2) Tener valores de Factor de Impacto Comparado mayores a 1 y por tanto superiores a la media 3) Tener al menos 10 documentos indizados en revistas TOP3 4) Superar los valores nacionales de la categoría para los indicadores: % documentos citados, Promedio de

citas y % de trabajos colaborados internacionalmente Se consideran asimismo categoría con un nivel muy bueno

1) Publicar más de 50 documentos citables en el período 2) Tener valores de Factor de Impacto Comparado mayores a 1 y por tanto superiores a la media 3) Cumplir las condiciones de excelencia en tres de los cuatro indicadores restantes

** Los valores nacionales de referencia para cada una de las categoría se ha tomado del MB04

Page 366: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

362

» 5.2.5. Redes sociales de investigadores

En este trabajo además de estudiar la UNAV desde un punto de vista atributivo a

partir de indicadores bibliométricos se ha representando socialmente su estructura,

basada en la coautoría de los trabajos. Con el método empleado se han identificado

un total de 26 grupos a los que hemos asociado sus diferentes indicadores de

producción e impacto. Además de por su enorme valor descriptivo la información

relativa a la red social nos puede ayudar a determinar cuales son los principios

organizativos de la comunidad científica de la UNAV. Es conveniente, pues,

determinar qué tipo de red forman los científicos de Navarra. Principalmente a través

de los trabajos de Newman (2001a, 2001b) se pudo establecer que la comunidad

investigadora en medicina, considerada como todos aquellos que han publicado un

trabajo en Medline, presentaba las características de una red aleatoria (free-scale)

estrechamente relacionada con los mundos pequeños de Milgram. Es interesante

testar esta posibilidad ya que nos permitiría establecer con exactitud el perfil

colaborador interno de la UNAV y se este se adapta al patrón general.

La principal característica de las redes aleatorias es que siguen una distribución

de las enlaces entre los nodos de carácter logarítmico en lugar de seguir una

distribución normal de Poison (Barabasi, 2003, p. 51). Esto tiene una serie de

consecuencias ya que todos los investigadores no son iguales al existir unos pocos

que acumulan un gran número de colaboradores y viceversa por lo que reproducen la

Ley de Zipt. Como se puede observar en la figura 110 en la UNAV también se

produce este efecto ya que la mayor parte de sus investigadores tienen entre 1 y 10

colaboradores o enlaces habituales. A partir de este umbral existen muy pocos

investigadores que concentren un gran número de colaboradores. Estos nodos

extremadamente bien relacionados son los denominados hubs que forman una

Page 367: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

363

minoría selecta con alto grado de conexión con el resto. Esta situación tiene una

consecuencia directa en la UNAV que se concreta en la existencia de un proceso

denominado enlazado preferencial; este provoca que todos los investigadores noveles

que se incorporen a la red seleccionen a estos hubs como colaboradores

reproduciéndose un Efecto Mateo donde el que más contactos tiene seguirá

acumulando más contactos y, por tanto, un papel más determinante en el desarrollo y

dirección de la investigación.

Figura 110. Distribución de los enlaces de los nodos

Distribución logarítmica en la redes aleatorias (Barabasi & Bonabeu, 2003, p. 53)

Distribución de los enlaces en la UNAV Escala normal Escala Logarítmica

0102030405060708090

100

0 20 40 60 80 100

Nº de Links

Nº d

e In

vest

igad

ores

1

10

100

1000

1 10 100

Nº de Links

Nº d

e In

vest

igad

ores

Investigadores que concentran un gran número de enlaces (HUBS) Investigador Departamentos Enlaces PRIETO VALTUEÑA, JESUS MARIA AREA TERAPIA GENICA / MEDICINA INTERNA 156 GARCIA FONCILLAS, JESUS MIGUEL AREA ONCOLOGIA / ONCOLOGIA 92 SOLA GALLEGO, JESUS JAVIER HISTOLOGIA Y ANATOMIA PATOLOGICA 76 RUIZ ECHEVERRIA, JUAN AREA TERAPIA GENICA / MEDICINA INTERNA 70 SANGRO GOMEZ ACEBO, BRUNO CARLOS MEDICINA INTERNA 69 MARTINEZ HERNANDEZ, JOSE ALFREDO FISIOLOGIA Y NUTRICION 68 QIAN, CHENG AREA TERAPIA GENICA / MEDICINA INTERNA 64

Page 368: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

364

Otro aspecto que caracteriza a las redes aleatorias según Newman (2001b, p. 2)

y que también está estrechamente relacionado con el rol que juegan los investigadores

en la red es la distribución de sus valores de betweeness o intermediación. Los nodos

que tienen mayor intermediación tienen el control efectivo de la información de la red y

son los primeros en conocer la nueva información; la información generada por ellos

además alcanza otras zonas de la red más rápidamente que las de otros. Según

Newman en una red científica aleatoria la medidas de intermediación, como ocurría en

Medline, se distribuye de manera que el científico con mayor valor presenta una gran

diferencia sobre el segundo, a su vez el segundo presenta una gran distancia sobre el

tercero de manera que llega rápidamente un momento en que los nodos tiene un rol

de intermediador escaso o nulo que abarca la mayor parte de la red. En el caso de la

UNAV también se produce este fenómeno y son cuatro los investigadores que se

destacan del resto, existiendo un gran grupo de 631 y otro de 291 investigadores con

valores bajos o nulos de intermediación (figura 111). Esta situación genera el efecto de

funneling donde una serie de nodos controla el paso de un grupo a otro tal y como

puede verificarse en las diferentes zonas de nuestro mapa de colaboración: Zona1,

Zona2; Zona4; Zona5. Esta situación además se produce en redes donde los caminos

entre los investigadores son cortos, es decir donde todos los investigadores se pueden

alcanzar rápidamente, el funneling provoca que este paso sea controlado por

determinadas personas. Efectivamente en la UNAV la distancia entre investigadores

es escasa tal y como se exige para una red aleatoria; en nuestro caso esta distancia

media es de 3.5 mientras que en Medline Newman la estableció en 4.6. Es por tanto

una de las características definitorias de los denominados Small Worlds (mundos

pequeños). Las redes de mundo pequeño se caracterizan porque por grande que sea

el número de los nodos la distancia entre ellos es escasa.

Page 369: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Discusión de los indicadores bibliométricos

365

Figura 111. Distribución de la intermediación en la red de colaboración de investigadores de la Universidad de Navarra. 1999-2005

Valores intermediación Nº de nodos % nodos

( ... 0.0000] 291 314.255 ( 0.0000 ... 0.0434] 631 681.425 ( 0.0434 ... 0.0868] 3 0.3240 ( 0.0868 ... 0.1302] 1 0.1080

Investigadores con mayor intermediación en la UNAV

1 "PRIETO VALTUEÑA, JESUS MARIA"

AREA TERAPIA / MEDICINA INTERNA

2 "MARTINEZ HERNANDEZ, JOSE ALFREDO" FISIOLOGIA Y NUTRICION

3 GARCIA FONCILLAS, JESUS MIGUEL" AREA ONCOLOGIA /ONCOLOGIA

4 SOLA GALLEGO, JESUS JAVIER"

HISTOLOGIA ANATOMIA PATOLOGICA

Otra de las características que han de tener estas redes de colaboración sería la

existencia de un componente gigante que debe abarcar gran parte de la red y que nos

indicaría que la mayor parte de los científicos están conectados entre sí a través de la

colaboración. En este caso en la UNAV la mayor parte está conectada ya que el

componente gigante abarca el 99% de la red mientras que para Medline rondaba el

92% (Newman, 2001a, p. 3), por lo tanto también parece cumplir esta característica.

La presencia de una elevada conectividad, las longitudes de camino globales

cortas, la presencia de un componente gigante y la distribución logarítmica hacen que

la red de la UNAV sea un buen modelo de red aleatoria. Esta gran conexión y la

estructura de colaboración compacta de la comunidad científica de la UNAV es un

síntoma inequívoco según Watts (2005, p. 124) de un sistema científico saludable

donde la comunicación de ideas y la colaboración es fluida y eficiente

Page 370: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | La aplicación del análisis de superficies…

366

» 5.3. LA APLICACIÓN DEL ANÁLISIS DE SUPERFICIES DE RESPUESTA.

En este trabajo de investigación de investigación se ha introducido un método para

el análisis de un sistema científico donde entran en juego un conjunto de variables: el

análisis de superficies de respuesta. Este método nos ha permitido:

1.- Identificar y valorar los factores o variables que influyen en una respuesta.

Siguiendo el esquema input-output-impact se han identificado los factores que

han determinado la producción y el número de citas de la Universidad de

Navarra. La respuesta se ha sintetizado en una ecuación polinomial formada

por los diferentes factores y sus coeficientes.

2.- Obtener las superficies y contornos de respuesta para la producción y

número de citas. Estos diagramas permiten obtener una representación

gráfica que explica el comportamiento de las variables y su influencia en la

respuesta final.

3.- Obtener los valores esperados o teóricos que los departamentos deberían

haber obtenido en función de los diversos factores en juego. Estos valores

confrontados con los reales generan unos nuevos indicadores de rendimiento

que permiten establecer comparaciones entre los departamentos a partir de un

modelo obtenido que resume las características internas de la UNAV

De esta forma la producción citable de los departamentos se explica a través de

los recursos humanos y la financiación de proyectos de investigación. De los dos

factores el que más peso tiene sobre la producción es la financiación seguido de la

interacción entre la financiación y los recursos humanos. La respuesta viene explicada

a través de la función polinómica:

Page 371: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | La aplicación del análisis de superficies…

367

P = 233 - 2,6*I - 191*Log(€) + 44,2*(Log(€))2 + 1,2*I *(Log(€))2

Una vez establecido el modelo y su bondad, que para este caso y por los

resultados de los diferentes test puede considerarse como óptimos, la función

polinómica se ha empleado para representar las superficies y contornos de respuesta.

Gracias a los gráficos de superficies de respuesta se puede comprender la producción

citable de los departamentos en función de los diferentes factores y sus posibles

combinaciones, identificándose los valores de los mismos para alcanzar máximos y

mínimos. Con una sola representación se resume y describe fácilmente parte de la

actividad científica de la UNAV que nosotros hemos sintetizado en cuatro movimientos,

considerándose como óptimo el número 4.

Una segunda aplicación del modelo polinomial ha sido el cálculo con el mismo de

los valores esperados o teóricos que deberían haber obtenido los departamentos en

función de sus recursos humanos y su financiación. Normalizados con los valores

observados hemos obtenido un nuevo indicador al que hemos denominado Índice de

Rendimiento de la Producción (IRP). En función de su valor este indicador puede

tomar tres escalas de valores:

-Sí IRP es = 0 y ≤ 0,50: los departamentos no producen lo suficiente en función

los recursos humanos disponibles y los proyectos financiados.

-Sí IRP es > 0,50 y < 1,50: la producción citable de los departamentos se

adecúa a sus recursos humanos y los proyectos financiados. Cuanto más

cercana sea la cifra a 1 mayor será la proximidad entre los valores observados

y esperados.

-Sí IRP es ≥ 1,50: la producción citable de los departamentos es superior a lo

esperado en función de sus recursos humanos disponibles y proyectos

financiados.

Page 372: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | La aplicación del análisis de superficies…

368

Una vez establecidos lo factores determinantes la producción hemos intentado ver

que cuales tienen una mayor influencia sobre la citación. Hemos evaluado tres

variables que explican el número de citas: número de documentos citables, porcentaje

de documentos indizados en el primer cuartil y el número de instituciones diferentes de

socios con los que se colabora. El factor más importante que determina la citación es

el número de socios, seguido de la producción y por último el prestigio de la revista

donde se publica. La función polinómica obtenida para la respuesta de la citación ha

sido la siguiente:

C = 2,9E-12+ 0,01*F + 1,58E-05*S + 4,31E-07*P + 0,5*P2 + 0,006*F*S + 0,4*S*P

Para los test de bondad de la ecuación se obtuvieron valores óptimos con R2 y Q2

de 0,99 y una correlación de 0,95 entre valores esperados y observados. Situación

que garantiza con creces la fiabilidad de modelo. Mediante esta ecuación se han

generado las superficies y contornos. Hemos identificado en este escenario un

refuerzo positivo para la citación generado por el prestigio de la revista y cuatro

movimientos o tendencias determinadas ampliamente por la colaboración o socios, el

movimiento cuatro ha vuelto a ser el más rentable para la citación. Estos resultados

ponen de manifiesto algunas cuestiones. En primer lugar si el prestigio de la revistas

influyen limitadamente o al menos no de forma determinante sobre la citación las

medidas basadas en el Impact Factor no son efectivamente una medida buena para

medir el impacto final de los trabajos, tal y como ya poníamos de manifiesto en la

introducción (apartado 2.3.1.2.1). Por otro lado, la influencia del número de socios se

puede poner en relación con la importancia del capital social y con el campo del

networking donde la adquisición de contactos y su adecuada gestión pueden ser

beneficiosos para personas o instituciones. Esta visión instrumental de la red de

relaciones fue objeto de estudio por la denominada Escuela de Manchester que

Page 373: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | La aplicación del análisis de superficies…

369

utilizaba el término Investments (Inversiones) para referirse a los contactos (Molina,

2001, p. 51). En la UNAV una inversión adecuada en el número de socios se ha

retribuido con mayor citación, es decir con un reconocimiento explícito de la

comunidad investigadora. Siguiendo la visión de Barnes de la ciencia este

reconocimiento servirá de intercambio a los departamentos para tener acceso a todo

tipo de recursos (Barnes, 1987, p. 43), por tanto una gestión dirigida del capital social,

socios de investigación, puede conducir no solo a un impacto elevado sino también a

nuevas entradas económicas en el sistema.

Al igual que con la producción la ecuación polinómica se ha empleado para

calcular los valores esperados de citación. Por la alta fiabilidad del modelo destaca su

capacidad predictiva tal como se pone de manifiesto en la tabla 46. Destacan por su

grado de ajuste algunos departamentos como Bromatología y Tecnología de los

Alimentos, Genética o Dermatología entre otros. Se ha vuelto a proponer un nuevo

indicador, el Índice de Rendimiento de la Citación (IRC), asentado sobre los mismos

principios que el anterior índice y cuyo significado también se determina a través de

tres escalas de valores:

-Sí IRC es = 0 y ≤ 0,50: los departamentos no reciben un número de citas

suficiente en función del prestigio de las revistas, los socios y la producción

citable.

-Sí IRC es > 0,50 y < 1,50: el número de citas de los departamentos se ajusta

al prestigio de las revistas, los socios y la producción citable. Cuanto más

cercana sea la cifra a 1 mayor será la adecuación entre los valores

observados y esperados.

-Sí IRC es ≥ 1,50: el número de citas de los departamentos es superior a lo

esperado en función del prestigio de las revistas, los socios y la producción

citable.

Page 374: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Conclusiones

370

» 5.4. CONCLUSIONES.

LLaass pprriinncciippaalleess ccoonncclluussiioonneess oobbtteenniiddaass eenn eessttee ttrraabbaajjoo ddee tteessiiss ddooccttoorraall ssoonn llaass

ssiigguuiieenntteess::

1) Se ha creado un sistema basado en Microsoft Access destinado a la

evaluación y monitorización de la actividad científica. El sistema puede ser

empleado útilmente para la toma de decisiones en política científica en

universidades de tamaño medio o centros e institutos de investigación.

2) El sistema permite la consulta de diferentes niveles de agregación

preestablecidos (organismos, departamentos, categorías temáticas del JCR e

investigadores) y la formación de grupos ad-hoc (departamentos e

investigadores).

3) El sistema está diseñado para abarcar gran parte de la actividad científica a

través de múltiples indicadores de producción, impacto y visibilidad,

colaboración y financiación. Asimismo la información presenta un alto grado de

normalización y fiabilidad al haberse empleado diversas fuentes de

información internas (memorias, bases de datos de la UNAV, etc.) y externas

(bases de datos internacionales). La información se presenta a través de fichas

jerárquicas, una amplia variedad gráfica y rankings, asimismo ésta es

exportable a través de informes.

4) La producción científica en revistas crece anualmente. La producción indizada

en el ISI abarca cada año más porcentaje de documentos y también presenta

un crecimiento positivo aunque a un ritmo más irregular que la producción

Page 375: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Conclusiones

371

científica española en ciencias de la salud para el mismo período. Este

incremento de la productividad se manifiesta también en las aportaciones

realizadas a congresos y en el número de tesis leídas.

5) Existe una tendencia clara al aumento del Impact Factor de las revistas donde

se publica con una política de publicación claramente dirigida hacías las

revistas del primer cuartil de las categorías temáticas del Journal Citation

Report. El porcentaje de ítems citables publicados en el primer cuartil durante

el período 1999-2005 ha sido del 41%. El incremento de la visibilidad también

se pone de manifiesto a través del indicador TOP3 que se sitúo en torno al

12% de la producción citable.

6) La UNAV se sitúa como una de las universidades españolas especializadas en

biomedicina y ciencias de la salud de mayor impacto. Su promedio de citas,

que alcanza las 8,25 citas por ítem citable. Esta cifra la ubica en sexta posición

en el ranking nacional si tenemos en cuenta el MB04. Si atendemos solo al

campo de la Medicina Clínica su promedio de citas es más elevado y llega a

las 10 citas por ítem citable, un valor muy cercano a la media mundial si

tenemos en cuenta los Essential Science Indicadors de Thomsom-ISI. Para dos

de los años, 2000 y 2001, la UNAV supera la media de citas por documento

mundial.

7) En 14 categorías temáticas del Journal Citation Reports la UNAV tiene valores

superiores a las medias nacionales obtenidas en el MB04. Dos de ellas pueden

ser catalogadas como excelentes: Neurología Clínica y Gastroenterología y

Hepatología. Asimismo un grupo de seis categorías presentan un nivel muy

bueno: Neurociencias, Sistema Cardiovascular, Medicina General e Interna,

Nutrición y Dietética, Enfermedad Vascular y Periférica y Genética.

Page 376: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Conclusiones

372

8) La UNAV es una institución con una clara orientación internacional en su

publicación y en su impacto. A nivel nacional es una de las universidades con

un mayor porcentaje de trabajos colaborados internacionalmente y su citación

proviene esencial y mayoritariamente de países de la Main Stream Science y

de las instituciones más prestigiosas a nivel mundial en el ámbito de la

Medicina Clínica.

9) El número de citas se ha concentrado en los denominados Trabajos Altamente

Citados que contribuyen de manera significativa al impacto final de la UNAV

aunque se depende de la colaboración internacional para la generación de

dichos trabajos.

10) La colaboración reflejada a través del número autores y los patrones siguen un

perfil similar al nacional en el ámbito de la biomedicina y ciencias de la salud.

Los trabajos presentes en el Science Citation Index publicados en colaboración

internacional o nacional obtienen mejores indicadores de visibilidad e impacto

que los publicados sin colaboración.

11) Cuando la UNAV firma en posición inicial o final los trabajos con colaboración

nacional o internacional estas publicaciones obtienen un menor impacto que

cuando la UNAV aparece en una posición intermedia de la cadena de coautoria.

No se lidera por tanto la investigación que tiene un mayor impacto.

12) Los indicadores basados en la posición firmante ayudan a determinar el rol que

desempeñada el agente evaluado en los trabajos con colaboración nacional e

internacional y reflejan desde un punto visto cuantitativo un aspecto social.

Ayudan a establecer si los trabajos con mayor impacto se deben a un liderazgo

Page 377: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Conclusiones

373

propio o por el contrario se han obtenido supeditadas a otras instituciones,

matizan por tanto de forma significativa los patrones de colaboración.

13) Seis departamentos a partir de los indicadores bibliométricos pueden ser

catalogados de excelentes: Medicina Interna, Área de Neurociencias, Área de

Terapia Génica, Neurología y Neurocirugía, Cardiología y Cirugía

Cardiovascular, Área Oncología e Histología y Anatomía Patológica.

14) Los indicadores por departamentos confirman como la producción y el impacto

de la Unav está esencialmente determinado por los departamentos del Centro

de Investigación Médica Aplicada que han mostrado una evolución positiva en

la mayor parte de los indicadores. Se confirma cuantitativamente la excelente

selección de las áreas de investigación que conforman el CIMA y su futura

proyección.

15) La red de colaboración interna de la UNAV es de carácter aleatorio y reproduce

las características de un mundo pequeño. La red presenta una serie de

características bien definidas: distribución logarítmica del número de enlaces,

intermediación concentrada en determinados investigadores, presencia de una

elevada conectividad, longitudes de camino globales cortas y existencia de un

componente gigante que abarca la mayor parte de la red.

16) La aplicación del diseño de superficies de respuesta se ha mostrado una

metodología útil y objetiva para el estudio de la actividad científica. Nos ha

permitido establecer una nueva visión del modelo tradicional de la ciencia

Input-Output-Impact.

Page 378: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 5.DISCUSIÓN Y CONCLUSIONES | Conclusiones

374

17) La producción de los departamentos ha estado influencia principalmente por la

financiación de proyectos de investigación y los recursos humanos. La

producción está determinada por el polinomio:

P = 233 - 2,6*I - 191*Log(€) + 44,2*(Log(€))2 + 1,2*I *(Log(€))2

18) El número de citas obtenido por cada uno de los departamentos puede se

explicado prácticamente en su totalidad a través de la producción citable, el

número de instituciones colaboradoras o socios de investigación y el porcentaje

de ítems citables publicados en el primer cuartil. La citas están determinadas

por las expresión polinonomial:

C = 2,9E-12+ 0,01*F + 1,58E-05*S + 4,31E-07*P + 0,5*P2 + 0,006*F*S + 0,4*S*P

19) Mediante la ecuación anterior se establece el papel fundamental que juega la

colaboración para conseguir un elevado número de citas y pone de manifiesto

el valor del capital social en la investigación. El Impact Factor pese a tener una

influencia sobre la citación no se muestra como un factor determinante a la

hora de influenciar el número de citas por lo que no parece conveniente su uso

para determinar el impacto final de la investigación.

20) Para la toma de decisiones los polinomios generados a partir de las superficies

de respuesta permiten determinar el rendimiento esperado de los

departamentos y demuestra su utilidad cuando se han contrastado con los

valores observados. A partir de ambos valores se han presentado dos nuevos

indicadores: Índice de Rendimiento de la Producción e Índice de Rendimiento

de la Citación.

Page 379: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» Torres Salinas, D . 375

66.. BBIIBBLLIIOOGGRRAAFFÍÍAA

»»»

Page 380: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

» Torres Salinas, D . 376

Abelson P. Mechanism for evaluation scientific information and the role of Peer Review. J Am Soc Inf Sci 1990; 41(3):216-22.

Adams J. Early citations counts correlate with accumulate impact. Scientometrics 2005; 63(3):567-81.

Agudelo D, Bretón-López J, Ortiz Recio G. Análisis de la productividad científica de la psicología española a través de las tesis doctorales. Psicothema 2003; 15(4):595-609.

Ajayi AA. Impact factor misleading, citing all references. J Natl Med Assoc 2004; 96(10):1374.

Aksnes DW. A macro study of self-citation. Scientometrics 2003a; 56(2):235-46.

Aksnes DW. Characteristic of highly cited papers. Res Evaluat 2003b; 12(3):159-70.

Aksnes DW. The effect of highly cited papers on national citation indicators. Scientometrics 2004; 59(2):213-23.

Aksnes DW. Citation and their use as indicators in science policy. Studies of validity and applicability issues with a particular focus on highly cited papers [tesis doctoral]. Twente: University of Twente; 2005.

Almeida-Filho N, Kawachi I, Filho AP, Dachs JN. Research on health inequalities in Latin America and the Caribbean: bibliometric analysis (1971-2000) and descriptive content analysis (1971-1995). Am J Public Health 2003; 93(12):2037-43.

Alonso Arroyo A. Producción científica de la Universidad Politécnica de Valencia 1973-2001 [tesis doctoral]. Valencia: Universidad Politécnica de Valencia; 2004.

Altmajer Vaz D. Formulaciones detergentes biodegradables: ensayos de lavado [tesis doctoral]. Granada: Universidad de Granada; 2004.

Arnau J. Técnica de análisis de superficies de respuesta. En: Arce C, editores. Métodos y técnicas avanzadas de análisis de datos en ciencias del comportamiento. Barcelona: Universitat de Barcelona; 1997.

Bailón-Moreno R. Ingeniería del conocimiento y vigilancia tecnológica aplicada a la investigación en el campo de los tensioactivos. Desarrollo de un Modelo Ciencimétrico Unificado [tesis doctoral]. Granada: Universidad de Granada; 2003.

Bailón-Moreno R, Jurado Alameda E, Ruiz-Baños R. The scientific network of surfactants: structural analysis. J Am Soc Inf Scie Technol 2006; 57(7):847-50.

Baird LM, Oppenheim C. Do citations matters? J Inf Sci 1994; 20(1):2-13.

Baños JE, Casanovas L, Guardiola E, Bosch F.Análisis de las revistas biomédicas españolas mediante el factor de impacto. Med Clin (Barc) 1992; 99(3):96-9.

Page 381: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

377

Bar-Ilan J, Levene M, Lin A. Some measures for comparing citation databases. Journal of Informetrics 2007; 1(1):26-34.

Barabasi A , Bonabeau E. Scale-free Networks. Sci Am 2003; May:50-9.

Barnes B. Sobre ciencia. Barcelona: Labor; 1985.

Bassecoulard E, Zitt M. Patents and publications. En: Van Raan A, editor. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 695-716.

Batagelj V, Mrvar A. Analysis and Visualization of Large Networks. Jünger M, Mutzel P, editores. Graph drawing software. Berlin: Springer; 2003. p. 77-103.

Bauin S, Michelet B, Schweighoffer MG, Vermeulin P. Using bibliometrics in strategic analysis - understanding chemical-reactions at the Cnrs. Scientometrics1991; 22(1):113-137

Bayer A, Smart JC, McLaughlin G. Mapping Intellectual structure of a scientific subfield through authors cocitacions. J Am Soc Inf Sci 1990; 41(6):444-52.

Beaver DJ. Patterns of co-authorship: statistical, philosophical and sociological implications. En: Ingwersen P, Larsen B, editores. Proceedings of ISSI 2005: 10th International Conference of the International Society for Scientometrics and Informetrics. Vol. II. Stockholm: Karolinska University Press; 2005. p. 727-30.

Beck M, Gaspar V. Scientometric evaluation of scientific performance at the Faculty of Natural Sciences, kossth Lajos University, Debrecen, Hungary. Scientometrics 1991; 20:27-54.

Begley S. Science journals artfully try to boost their rankings. Wall St J (East Ed) 2006; B1, B8.

Berghe HV, Houben J, Bruin R et al. Bibliometric indicators of university research performance in Flanders. J Am Soc Inf Sci 1998; 49(1):59-67.

Bienkowski A. More concerns about impact factors. J Med Libr Assoc 2003; 91(3):285.

Bordons M, Fernández MT, Gómez I. Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country. Scientometrics 2002; 53(2):195-206.

Bordons M, Gómez I, Fernández MT, Zulueta MA, Méndez A. Local, domestic and international scientific collaboration in biomedical research. Scientometrics 1996; 37(2):279-95.

Bordons M, Gómez I. Collaboration networks in science. Cronin, B, editor. The Web of Knowledge: A festschrift in honour of Eugene Garfield. Canadá: American Society for Information Science; 2000. p. 197-209.

Bordons M, Morillo F, Gómez I. Analysis of cross-disciplinary research through

Page 382: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

378

bibliometrics tools. En: Van Raan A, editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 437-56.

Bordons M, Morillo F, Fernández MT, Gómez I, León M, Diego DM. La investigación matemática española de difusión internacional. Estudio bibliométrico (1996-2001). Madrid: CSIC; 2005.

Bordons M, Zulueta MA. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol 1999; 52:790-800.

Borgman CL. Scholarly communication and bibliometrics revisited. En: Cronin B, Barsky H, editores. The Web of Knowledge: a festschrift in honour of Eugene Garfield. Medford: Information Today; 2000. p. 143-62.

Bornmann L, Hans-Dieter D. Does the h-index for ranking of scientist really work?. Scientometrics 2005a; 65(3):391-2.

Bornmann L, Hans-Dieter D. Selecting scientific excellence through committe Peer Review. A citation analysis of previous publications by successful and non-successful post-doctoral research fellowship applicants. En: Ingwersen, Peter and Larsen, Birger, editores. Proceedings of ISSI 2005: 10th International Conference of the International Society for Scientometrics and Informetrics. Stockholm: Karolinska University Press; 2005b. p. 343-351.

Bosman, J, Van Mourik, I, Rasch, M, Sieverts, E, Verhoeff, H. Scopus reviewed and compared: The coverage and functionality of the citation database Scopus, including comparisons with Web of Science and Google Scholar 2006. Disponible en: http://igitur-archive.library.uu.nl/DARLIN/2006-1220-200432/Scopus%20doorgelicht%20%26%20vergeleken%20-%20translated.pdf. (Consultada 16 de Febrero 2007).

Bourke P. Publication types, citation rates and evaluation. Scientometrics 1996; 37:437-94.

Box GE. Empirical model building and response surfaces. New York: Wiley; 1987.

Braun T. Bibliometric indicators for the evaluation of universities: intelligence from the quantisation of the scientific literature. Scientometrics 1999; 45(3):425-32.

Braun T, Glänzel W, Shubert A. How balance is the Science Citation Index´s coverage? A preliminary overview of macrolevel statistical data. En: Cronin B, Barsky H, editores. The Web of Knowledge: a festschrift in honour of Eugene Garfield. Medford: Information Today; 2000. p. 251-77.

Braun T, Shubert A. Dimensions of Scientometrics indicator datafiles world science in 1990-1994. Scientometrics 1997; 38(1):175-204.

Brooks CH. Perceived quality and citation rates of health care administration journals. Med Care 1994; 32(6):650-2.

Buchholz K. Criteria for the analysis of scientific quality. Scientometrics 1995; 32(2):195-218.

Page 383: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

379

Callon M, Law J, Rip A. Mapping the dynamics of Science and Technology. Londres: Macmillan Press; 1986.

Callon M, Courtial J-P, Penan H. Ciencimetría. El estudio cuantitativo de la actividad científica: de la bibliometría a la vigilancia tecnología. Gijón: Trea; 1995.

Campanario JM. El impacto de la producción científica de la Universidad de Alcalá de Henares. Rev Esp Doc Cient 1998; 21(4):402-15.

Campanario JM, Gónzalez L. Journal self-citations that contribute to the impact factor: Documents labeled “editorial material” in journals covered by the Science Citation Index. Scientometrics 2006; 69(2):365-86.

Camí J. Impactolatría: diagnóstico y tratamiento. Med Clin (Barc) 1997; 109(13):515-24.

Camí J. La evaluación como síntoma de buena salud. Med Clin (Barc) 1999; 112:218-9.

Camí J. Evaluación de la investigación biomédica. Med Clin (Barc) 2001; 117:510-3.

Camí J. Mapa bibliométrico de España 1994-2002: Biomedicina y Ciencias de la Salud. Med Clin (Barc) 2004; 124(3):93-101.

Camí J, Gómez I, Fernández MT. La producción científica española en Biomedicina y Ciencias de la Salud. Un estudio a través del Science Citation Index (1986-1989). Med Clin (Barc) 1993; 101:721-31.

Camí J, Suñen E, Carbó J, Coma L. Producción científica española en Biomedicina y Ciencias de la Salud (1994-2000). Informe del Instituto de Salud Carlos III - Fondo de Investigación sanitaria. Quark 2003; (30):13-79.

Camí J, Zulueta MA, Fernández MT, Bordons M, Gómez I. Producción científica española en Biomedicina y Ciencias de la Salud durante el período 1990-1993 (Science Citation Index y Social Science Citation Index) y comparación con el período 1986-1989. Med Clin (Barc) 1997; 109:481-396.

Carrasco-Rico R, Pérez-Cuevas R, Oviedo-Mota MA, Reyes-Morales H. Análisis de una década de investigación en hipertensión arterial en México (1990-2000). Gac Med Mex 2004; 140(6):611-8.

Castillo J, Figueredo E, Villalonga A, Sánchez G. Tesis doctorales españolas sobre anestesiología y publicaciones científicas de sus autores. Rev Esp Anestesiol Reanim 2002; 49(3):134-40.

Centeno C, Hernansanz S, López F, Rubiales A, Flores L. Tesis doctorales relacionadas con cuidados paliativos realizadas en la universidad española entre 1985 y 2000. Medicina Paliativa 2001; 8(4):181-9.

Chinchilla Rodríguez Z. Análisis del dominio científico español: 1995-2001 (ISI, Web of Science) [tesis doctoral]. Granada: Universidad de Granada; 2004.

Clay MA, Donovan C, Butler L, Oldenburg BF. The returns from cardiovascular research:

Page 384: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

380

the impact of the National Heart Foundation of Australia's investment. Med J Aust 2006; 185(4):209.

Cochran W, Cox G. Diseños experimentales. México: Trillas; 1971.

Codina L. Scopus: el mayor navegador científico de la Web. El Profesional De La Información 2005; 14(1):44-9.

Cole JR. A short history of the use of citation as a measure of the impact of scientific and scholarly work. En: Cronin B, Barsky H, editores. The Web of Knowledge: a festschrift in honour of Eugene Garfield. Medford: Information Today, 2000: 281-300.

Costas R, Bordons M. Bibliometric indicators at the micro-level: some results in the area of natural resources at the Spanish CSIC. Res Evaluat 2005; 14(2):110-20.

Cronin B. Hyperauthorship: a post-modern perversion or evidence of a structural shift in scholarly communication practices. J Am Soc Inf Scie Technol 2001; 52(7):558–569.

Cronin B, Overfelt K. Citation based auditing of academic performance. J Am Soc Inf Sci 1994; 45(2):61-72.

Cutcliffe SH. Ideas, máquinas y valores: Los estudios de Ciencia, Tecnología y Sociedad. Barcelona: Anthropos; 2003.

Davidse RJ, Van Raan AFJ. Out of particles: impact of CERN, DESY and SLAC research to fields other than physics. Scientometrics 1997; 40(2):171-93.

Delgado H, Russel J. Impact studies published in the international literature by scientist of National University of Mexico. Scientometrics 1992; 23:75-90.

Delgado López-Cózar E. El Profesional de la Información en el Social Science Citation Index. El Profesional De La Información 2006; 15(3):168-70.

Delgado López-Cózar E, Jiménez Contreras E, Ruiz Pérez R et al. INRECS: Índice de impacto de las revistas españolas de ciencias sociales. Biblio 3W, Revista Bibliográfica de Geografía y Ciencias Sociales [revista on-line] 2005; (574). Disponible en: http://www.ub.es/geocrit/b3w-574.htm

Delgado López-Cózar E, Moneda Corrochano M, Torres Salinas D. Proyectos de investigación en biblioteconomía y documentación en España (2000-2004). Bibliodoc 2005; 77-102.

Delgado López-Cózar E, Torres Salinas D, Jiménez-Contreras E, Ruiz-Pérez R. Análisis bibliométrico y de redes sociales aplicado a las tesis bibliométricas defendidas en España (1976-2002): temas, escuelas científicas y redes académicas. Rev Esp Doc Cient. En prensa 2007.

Den A, Voss D. Design and analysis of experiments. New York: Spinger-Verlag; 1999.

Díaz O, Requena F. Josemaría Escrivá de Balaguer y los inicios de la Universidad de Navarra (1952-1960). Pamplona: Navarra; 2002.

Page 385: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

381

Eaton JP, Ward JS, Kumar A, Reingen PH. Structural analysis of co-author relationships and author productivity in selected outlets for Consumer Behavior research. J Consum Psychol 1999; 8(1):39-59.

Egghe L, Rousseau R. Introduction to informetrics: quantitative methods in Library, Documentation and Information Science. Amsterdam: Elsevier; 1990.

Espinosa de los Monteros J, Díaz V, Toribio MÁ et al. La investigación biomédica en España (I). Evaluación del Fondo de Investigación Sanitaria (FIS) a través de los proyectos de investigación financiados en el período 1988-1995 a instituciones sanitaria asistenciales (hospitales). Med Clin (Barc) 1999; 112:182-97.

Falagas ME, Michalopoulos AS, Bliziotis IA, Soteriades ES. A bibliometric analysis by geographic area of published research in several biomedical fields, 1995-2003. CMAJ 2006; 175(11):1389-90.

FECYT. Indicadores bibliométricos de la actividad científica española: ISI Web of Science, 1998-2002. Madrid: Fundación Española para la Ciencia y la Tecnología; 2003.

FECYT. Indicadores bibliométricos de la actividad científica española: ISI Web of Science, 2004. Madrid: Fundación Española para la Ciencia y la Tecnología; 2005.

Fernández-Cano A, Bueno A. Multivariate evaluation of spanish educational research journals. Scientometrics 2002; 55(1):87-102.

Fernández-Cano A, Torralbo M, Vallejo M. Reconsidering Price´s model of scientific growth: An overview. Scientometrics 2004; 61(3):301-21.

Fernández Esquinas M, Pérez Yruela M, Merchán Hernández C. El sistema de incentivos y recompensas en la ciencia pública española. En: Sebastián J, Muñoz E, editores. Radiografía de la investigación pública en España. Madrid: Biblioteca Nueva; 2006. p. 148-206.

Flanagin A, Carey LA, Fontanarosa P et al. Prevalence of articles with honorary authors and ghost authors in peer-reviewed medicals journals. JAMA 1998; 280(3):222-4.

Frame JD. Mainstream research in Latin America and the Caribbean. Interciencia 1977; 2: 143-48

Frohlich C, Resler L. Analysis of publications and from a geophysics research institute. J Am Soc Info Scie Technol 2001; 52(9):701.

Galcerán Huguet M, Domínguez Sánchez M. Innovación tecnológica y sociedad de masas. Madrid: Síntesis; 1997.

Garfield E. Scientometrics come of age. Current Contents 1979; 12(46):5-10.

Garfield E. A tribute to Derek John de Solla Price: a bold, iconoclastic historian of science. Current Comments 1984; (28):3-7.

Garfield E. The history and meaning of the journal impact factor. J Med Libr Assoc 2006;

Page 386: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

382

295(1):90-3.

Garret Jones S. International trends in evaluating university research outcomes: what lessons for Australia? Res Evaluat 2000; 8(2):115-24.

Glänzel W. National characteristics in international scientific co-authorship relations. Scientometrics 2001; 51(1):69-115.

Glänzel W, Debackere K, Thijs B, Shubert A. A concise review of the role of author self-citation in Information Science, Bibliometrícs and Science Policy. Scientometrics 2006; 67:263-77.

Glänzel W, Moed HF. Journal Impact measures in bibliometric research. Scientometrics 2002; 53(2):171-93.

Glänzel W, Shubert A. Analysing scientific networks through co-authorship. En: Moed H, Glänzel W, Schmorch U, editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 257-76.

Godin B. Measurement and statistics on science and technology: 1920 to present. New York: Routledge; 2005.

Godin B. On the origins of bibliometrics. Scientometrics 2006; 68(1):109-33.

Gomez I, Fernandez MT, Bordons M, Morillo F. La producción científica española en Medicina en los años 1994-199. Rev Clin Esp 2004; 204(2):75-88.

Gómez I, Sancho R, Bordons M, Tersa Fernández M. La I+D en España a través de publicaciones y patentes. En: Sebastián J, Muñoz E, editores. Radiografía de la investigación pública en España. Madrid: Biblioteca Nueva; 2006. p. 275-302.

Gorbea Portal S. Modelo teórico para el estudio métrico de la información documental. Gijón: Trea; 2005.

Granadino B, Plaza LM, Vidal C. Analysis of Spanish scientific output following the Joint Action Program (Acciones Integradas) of the Ministry of Science and Technology (MCYT). Res Evaluat 2005; 14(2):97-102.

Granovsky YV. Is it possible to measure science? V.V.: Nalimov´s research in scientometrics. Scientometrics 2001; 52(3):127-50.

Gray Potter W. Lotka´s law revisited. Libr Trends 1981; 30(1):35-7.

Grohmann G, Stegmann J. German medical faculties in the 1990s: on-line bibliometrics analysis. Res Evaluat 2005; 14(2):157-64.

Grossi F, Belvedere O, Rosso R. Geography of clinical cancer research publications from 1995 to 1999. Eur J Cancer 2003; 39(1):106-11.

Grupo SCImago. Ranking de instituciones más productivas del sector sanitario español.

Page 387: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

383

El Profesional De La Información 2005; 14(5):347-8.

Grupos de Bibliometría y Cibermetría CINDOC-CSIC. Normalización de información para la elaboración de indicadores de CyT. En. Seminario Web of Knowledge. Criterios de normalización de campos bibliométricos: personas, instituciones y áreas. 25 y 26 Septiembre. Granada: Universidad de Granada; 2006.

Grupp H, Mogee ME. Indicators for national science and technology policy: their development, use, and possible misuse. En: Moed H, Glänzel W, Schmorch U, Editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordrecht: Kluwer; 2004. p. 75-94.

Guallar E, Conde J, Cal MA, Martín-Moreno JM. Guía para la evaluación de proyectos de investigación en ciencias de la salud. Med Clin (Barc) 1997; 108:460-71.

Gómez I, Bordons M, Fernández MT, Méndez A. Coping with the problem of subject classification diversity. Scientometrics 1996; 35(2):223-35.

Hamilton D. Publishing by - and for? The numbers. Science 1990; 250(4986):1331-2.

Hansson S. Impact factor as a misleading tool in evaluation of medical journals. Lancet 1995; 346(8979):906.

Hertzel DH. History of the development of the ideas in Bibliometrics. En: Encyclopaedia of Library and Information Science. Vol. 42. New York: Marcel Dekker; 1987. p. 144-218.

Hirsch, J. An Index to quantify and individual’s scientific research output. 2005; Disponible en http://xxx.arxiv.org/abs/physics/0598025 [Consultada el 16 de Agosto 2006]

Hoen WP, Walvoort HC, Overbeke JP. What are the factors determining authorship and the order of the author´s name. JAMA 1998; 280(3):217-8.

Horgan A. BMJ's impact factor increases by 24%. Br Med J 2002; 325(7354):8.

Ingwersen P, Bjöneborn L. Methodological issues of webometric studies. En: Moed H, Glänzel W, Schmorch U, Editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordrecht: Kluwer, 2004: 339-69.

Ingwersen P, Wormell I. Publication behaviour and international impact: scandinavian Clinical and Social Medicine. Scientometrics 1999; 46(3):487-499.

Jacso P. As we may search - Comparison of major features of the Web of Science, Scopus and Google Scholar citation-based and citation-enhanced databases. Curr Sci 2005; 89(9).

Jemec GB, Nybaek H. A bibliometric study of dermatology in central Europe 1991-2002. Int J Dermatol 2006; 45(8):922-6.

Page 388: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

384

Jiménez-Contreras E. Universidad de Granada: 1975-1987. La transición científica. Granada: Universidad de Granada; 1996.

Jiménez-Contreras E. Proyecto docente de Bibliometría-Infometría. Universidad de Granada. Granada: s.d.; 1997.

Jiménez-Contreras E. La selección de la literatura científica en el ámbito biomédico: el factor de impacto. Educación Médica 2004; 7(Sup. 2):27-35.

Jiménez-Contreras E, Delgado López-Cózar E, Ruiz-Pérez R, Fernández VM. Impact Factor rewards affect Spanish Research. Nature 2002; 417:898.

Jiménez-Contreras E, Delgado López-Cózar E, Ruiz Pérez R, Moneda Corrochano M, Ruiz-Baños R, Bailón-Moreno R. Co-Network Analysis. En: Ingwersen P, Larsen B, editores. Proceedings of ISSI 2005: 10th International Conference of the International Society for Scientometrics and Informetrics. Vol. II. Stockholm: Karolinska University Press; 2005. p. 417-25.

Jiménez-Contreras E, Delgado López-Cózar, E, Ruiz-Pérez, R, Pérez Ortega, JM, Tomás López, M. Indicadores tecnológicos de la Región de la Murcia: análisis de patentes y modelos de utilidad. Murcia: Fundación Séneca; 2006.

Jiménez-Contreras E, Moya-Anegón F, Delgado López-Cózar E. The evolution of research activity in Spain. The Impact of the National Commission for the Evaluation of Research Activity (CNEAI). Res Policy 2003; 32:123-142.

Jurdant B, Coordinador. Imposturas científicas: los malentendidos del Caso Sokal. Valencia: Frónesis; 2003.

Katelborn K, Kuhn K. The journal impact factor as a parameter for the evaluation of researchers and research. Rev Esp Enferm Dig 2004; 96(7):460-76.

Katz SJ, Martin BR. What is research collaboration? Res Policy 1997; 26:1-18.

Kessler M. Bibliographic coupling between scientific papers. Am Doc 1963; 14:10-25.

King DA. The scientific impact of nations. Nature 2004; 430(6997):311-6.

King J. A review of bibliometrics and other science indicators and their role in research evaluation. J Inf Sci 1987; 13:216-76.

Klavans R, Boyack KW. Mapping World-wide science at the paper level. En: Ingwersen P, Larsen B, editores. Proceedings of ISSI 2005: 10th International Conference of the International Society for Scientometrics and Informetrics. Vol. II. Stockholm: Karolinska University Press; 2005. p. 426-433.

Kostoff RN. The use and misuse of citacion analysis in research evaluation. Scientometrics 1998; 43(1):27-37.

Kostoff RN, Martínez WL. Is citation normalization realistic? J Inf Sci 2005; 31(1):57-61.

Page 389: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

385

Krull W. The Max Planck experience of evaluation. Scientometrics 1995; 34:441-50.

Kwok L. The White Bull effect: abusive coauthorship and publication parasitism. J Med Ethics 2005; 31:554-6.

Lange LL. Citation counts of multi-authored papers - First name authors and further authors. Scientometrics 2001; 52(3):457-70.

Lee Pao M. On the relationship of funding and research publications. Scientometrics 1991; 20(1):257-81.

Leeuwen T, Moed HF, Reedijk. Critical comments on Institute for Scientific Information impact factor: a sample of inorganic molecular chemistry journals. J Inf Sci 1999; 25(6):489-98.

Lewison G. Gastroenterology research in the United Kingdom: funding sources and impact. Gut 1998a; 43:288-93.

Lewison G. New bibliometric techniques for the evaluation of medical schools. Scientometrics 1998b; 41(1-2):5-16.

Lewison G. The definition and calibration of biomedical subfields. Scientometrics 1999; 46(3):529-37.

Lewison G. Evaluation of books as research outputs in history of medicine. Res Evaluat 2001; 10(2):89-95.

Lewison G, Dawson G. The effect of funding on the outputs of biomedical research. Scientometrics 1998; 41(1-2):17-27.

Lewison G, Paraje G. The classification of biomedical journals by research level. Scientometrics 2004; 60(2):145-57.

Leydesdorff L. Cluster and maps of science journals based on bi-connected graphs in Journal Citation Reports. J Doc 2004; 60(4):371-427.

Leydesdorff L. Evaluation of research and evolution of science indicators. Curr Sci 2005a; 89(9):1510-7.

Leydesdorff L. Mapping interdisciplinary at the interfaces between the Science Citation Index and the Social Science Citation Index. 2005b. Disponible en: http://user.fmg.uva.nl/lleydesdorff/sci_sosci/index.htm. (Consultada el 15 Julio 2006).

Leydesdorff L, Bihui J. Mapping the Chinese Citation Database in terms of aggregated journal-journal citation relations. J Am Soc Inf Sci Tech 2005; 56(14):1469-79.

Liang l, Wu Y, Li J. Selection of databases, indicator and models for evaluating research performance of chinese universities. Res Evaluat 2001; 10(2): 105-13

Linde A. On the pitfalls of journal ranking by Impact Factor. Eur J Oral Sci 1998; 106(1):525-6.

Page 390: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

386

López Piñero JM. El análisis estadístico y sociométrico de la literatura científica. Valencia: Centro de Documentación e Informática Médica; 1972.

López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico científica. (II) La comunicación científica en las distintas áreas de las ciencias médicas. Med Clin (Barc) 1992a; 98:101-6.

López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (III) Los indicadores de producción, circulación y dispersión, consumo de la información y repercusión. Med Clin (Barc) 1992b; (98):142-8.

López Piñero JM, Terrada ML. El consumo de información científica nacional y extranjera en las revistas médicas españolas: un nuevo repertorio destinado a su estudio. Med Clin (Barc) 1994; 102:104-12.

López-Yepes J. La publicación periódica de carácter científico como medio de información documental. Origen y evolución histórica. En: Fundamentos de Información y Documentación. Madrid: Eudema; 1989 .p. 101-33.

López-Yepes J, Ros García J, Orera Orera L, Fernández Bajón MT, Prat Sedeño J. Las tesis doctorales: producción, evaluación y defensa. Madrid: Fragua; 2005.

Luulkkonen T, Tijssen RJ, Persson O, Sivertsen G. The measurement of international scientific collaboration. Scientometrics 1993; 28(1):15-36.

Luwel M. The use of input data in the performance analysis of the R&D systems. En: Moed H, Glänzel W, Schmorch U, editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 315-38.

Macías-Chapula C, Rodea-Castro P, Gutiérrez Carrasco A, Medonza-Guerrero J. Producción científica institucional y posicionamiento nacional: el caso del Hospital General de México. Rev Esp Doc Cient 2004; 27(4): 482-97.

Maltrás Barba B. Los indicadores bibliométricos: fundamentos y aplicaciones al análisis de la ciencia. Gijón: Trea; 2003.

Mari JJ, Bressan RA, Miguel EC. Mental health and psychiatric research in Brazil. Br J Psychiatry 2004; 184:273.

Martin BR, Irvine J. Some partial indicators of scientific progress in radio-astronomy. Res Policy 1983; 12(2):61-90.

Masson SF. Historia de las ciencias: la revolución científica de los siglos XVI y XVII. Madrid: Alianza; 2001.

McCain KW. Cocited Author mapping as a valid representation of intellectual structure. J Am Soc Inf Sci 1986; 37(3):111-22.

McCain KW. Mapping authors in intellectual space: a technical overview. J Am Soc Inf Sci 1990a; 41(6):433-43.

Page 391: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

387

McCain KW. Mapping authors in intellectual space: population genetics in the 1980s. En: Borgman CL, editor. Scholarly communication and bibliometrics. London: Sage; 1990b. p. 194-216.

McCain KW, White H. Visualizing a discipline: an author co-citation analysis of information science, 1972-1995. J Am Soc Inf Sci 1998; 49(4 ):327-55.

McRoberts MH, McRoberts BR. Problems of citation analysis: a critical review. J Am Soc Inf Sci 1989; 40(5):342-9.

McRoberts MH, McRoberts BR. Problems of citation analysis. Scientometrics 1996; 36(3):435-44.

McVeigh ME. Beyond impact factors: understanding the data in the journal citation reports. Physiologist 2004; 47(6):458-60.

Melin G. Impact of national size on research collaboration: a comparison between northern european and american universities. Scientometrics 1999; 46(1):161-70.

Merton RK. A hombros de gigantes. 1 ed. Barcelona: Península; 1990.

Merton RK. On the Garfield input to the Sociology of Science: a retrospective collage. En: Cronin B, Barsky H, editores. The Web of Knowledge: a festschrift in honour of Eugene Garfield. Medford: Information Today, 2000; p. 435-47.

Meyer D. Response surface methodology in education and psychology. J Exp Educ 1963; 31:239-336.

Moed HF. Differences in the construction of Sci based bibliometric indicators among various producers: a first overview. Scientometrics 1996; 35(2):177-191.

Moed HF. The impact-factor debate: the ISI´s use and limits. Toward a critical, informative, accurate and policy relevant bibliometrics. Nature 2002; 415:731-2.

Moed HF. Citation analysis in research evaluation. Dordecht: Springer; 2005.

Moed HF, De Bruin T, Van Leeuwen T. New bibliometric tools for the assessment of national research performance: database description, overview of indicators and first applications. Scientometrics 1995; 33(3):381-422.

Moed HF, Luwel M, Houben JA, Spruyt E, Van Den Berghe H. The Effects of changes in the funding structure of the Flemish universities on their research capacity, productivity and impact during the 1980's and early 1990's. Scientometrics 1998; 43(2):231-255

Moed H, Van Raan A. Indicators of research performance: applications in university research policy. En: Van Raan A, editor. Handbook of quantitative studies of Science and Technology. Dordecht: Elsevier; 1988. p. 177-192.

Molina JL. El análisis de redes sociales. Aplicaciones al estudio de la cultura organizativa [tesis doctoral]. Barcelona: Universitat Autónoma de Barcelona; 2000.

Page 392: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

388

Molina JL, Doménech M. Redes de publicaciones científicas: un análisis de la estructura de coautorías. Redes. 2002; 1(3).

Moneda Cocharrano M. Análisis bibliométrico de la producción bibliográfica española en biblioteconomía y documentación 1984-1999. [tesis doctoral]. Granada: Universidad de Granada; 2003.

Montgomery DC, Reunger GC. Probabilidad y estadística aplicadas a la ingeniería. New York: Limusa Wiley; 2002.

Moravcsik MJ. ¿Por qué se ha de evaluar la ciencia y a los científicos? Rev Esp Doc Cient 1989; 12(3):313-25.

Moreno Martínez L. Producción científica de la Comunidad Autónoma del País Vasco en bases de datos ISI, 1995-2000 [tesis doctoral].Granada: Universidad de Granada; 2004.

Moros A, Bordons M. La memoria de investigación como fuente de información bibliométrica en el estudio de una escuela politécnica superior. Rev Esp Doc Cient 2003; 26 (2):143-61.

Moya-Anegón F, Carretero Guerra R, Sánchez Malo F, Solís Cabrera F. Indicadores científicos de la producción andaluza en biomedicina y ciencias de la salud (ISI, Web of Science, 2003-2004). Sevilla: Consejería de Salud; 2006.

Moya-Anegón, F, Chinchilla-Rodríguez, Z. Resultados de investigación científica con visibilidad internacional de la Universidad de Granada (ISI-WOS, 1990-2003). 2006; Disponible en: http://www.scimago.es/file.php?file=/1/Documents/ugr03.pdf. (Consultada el 2 de Julio 2006).

Moya-Anegón F, Jiménez-Contreras E, de la Moneda Cocharrano M. Research fronts in Library and Information Science in Spain (1985-1994). Scientometrics 1998; 42(2):229-46.

Moya-Anegón F, Solís Cabrera F. Indicadores científicos de la producción andaluza en biomedicina y ciencias de la salud (ISI, Web of Science, 1990-2002). Sevilla: Consejería de Salud; 2004.

Moya–Anegón F, Vargas–Quesada B, Chinchilla–Rodríguez Z et al. Visualización y análisis de la estructura científica española: ISI Web of science 1990–2005. El Profesional De La Información 2006; 15(4):258-69.

Myers, RH; Montgomery, DC; Vining, GG, et. A. Response Surface Methodology: A retrospective and literature survey. J Quali Technol. 2004; 36(1):53-77.

Narin F, Hamilton KS. Bibliometric performance measures. Scientometrics 1996; 36(3):293-310.

Narin F, Hamilton K, Olivastro D. The development of science indicators in the United States. En: Cronin B, Barsky H, editores. The Web of Knowledge: a festschrift in honour of Eugene Garfield. Medford: Information Today; 2000. p. 337-60.

Page 393: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

389

Navarrete Cortés J. La producción científica de las universidades andaluzas (1991-1999). Un análisis bibliométrico [tesis doctoral]. Granada: Universidad de Granada; 2003.

Nederhof A. The validity and reliability of evaluation of scholarly performance. En: Van Raan, editor. Handbook of quantitative studies of Science and Technology. Dordecht: Elsevier; 1988. p. 193-228.

Nederhof A, Meijerm H, Moed A, Van Raan F. Research performance indicators for university departments: a study of am agricultural university. Scientometrics 1993; 27(2):157-78.

Newman M. Scientific collaboration networks. I. Network construction and fundamental results. Phys Rev E 2001a; 64(1): 016131-8

Newman M. The structure of scientific collaboration networks. P Natl Acad Sci USA 2001b; 98(2):404-9.

Newman M. Who is the best connected scientist? A study of scientific coauthorship networks. Phys Rev 2001c; 64(4).

Newman M. Scientific collaboration networks. II. Shortest paths, weighted networks and centrality. Phys Rev E 2001d; 64(1): 016132-7

Newman M. Coauthorship networks and patterns of scientific collaboration. P Natl Acad Sci USA 2004; 10:5200-5.

Nguyen NQ, Moy RL. Authors in Dermatologic Surgery . Dermatol Surg 2000; 26(12):1092-5.

Nooy W, Mrvar A, Batagelj V. Exploratory Social Network Analysis with Pajek. Cambridge: Cambridge University Press; 2005.

Noyons E, Moed HF, Van Raan F. Integrating research performance analysis and science mapping. Scientometrics 1999a; 46(3):591-604.

Noyons E, Moed H, Luwel M. Combining mapping and citation analysis for evaluative bibliometric purposes: a bibliometric study. J Am Soc Inf Sci 1999b; 50(2):115-31.

OECD. The measurement of scientific and technical activities. Manual on the measurement of human resources devote to S&T. Paris: OECD, 1995.

Opthof T, Coronel R. The most frequently cited papers of Cardiovascular Research (1967-1998): 'the Millennium Minutes'. The Editorial Team. Cardiovasc Res 2000; 45(1):3-5.

Otte E, Rousseau. Social network analysis: a powerful strategy, also for information sciences. J Inf Scie 2002; 28(6):441-53.

Paisley W. An oasis where many trails cross: the improbable cocitation networks of a multidiscipline. J Am Soc Inf Sci 1990; 41(6):459-68.

Persson O, Beckmann M. Locating the network of interacting authors in scientific

Page 394: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

390

specialties. Scientometrics 1995; 33(3):351-66.

Persson O, Danell R. Descomposing national trends in activity and impact. En: Van Raan A, Editor. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 515-27.

Persson O, Melin G. Studying research collaboration using co-authorships. Scientometrics 1996; 36(3):363-76.

Persson O, Melin G, Danell R, Kalaoudis. Research collaboration at nordic universities. Scientometrics 1997; 39(2). 209-23.

Pestaña A. El Medline como fuente de información bibliométrica de la producción española en biomedicina y ciencias médicas. Comparación con el Science Citation Index. Med Clin (Barc) 1997; 109:506-511.

Picknett T, Davis K. The 100 most-cited articles from JMB. J Mol Biol 1999; 293(2):171-6.

Pope A. Bradford´s Law and the periodical literature of Information Science. J Am Soc Inf Sci 1975; (July-August):207-13.

Porter AL, Newman NC. Patent profiling for competitive advantage. En: Van Raan A, editor. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 587-612.

Pouris A. Evaluating academic science institutions in South Africa. J Am Soc Inf Sci 1989; 40:269-72.

Price DS. Networks of scientific papers. Science 1965; 149(3683):510-5.

Price DS. A general theory of bibliometric and other cumulative advantage processes. En: Griffith BC, editor. Key papers in information science. New York: American Society for Information Science; 1980. p. 177-91.

Rahman M, Fukui T. A decline in the U.S. share of research articles. N Engl J Med 2002; 347(15):1211-2.

Rahman M, Fukui T. Biomedical publication--global profile and trend. Public Health 2003; 117(4):274-80.

Ramón y Cajal S. Los tónicos de la voluntad. Reglas y consejos sobre investigación científica. Madrid: Gadir; 2006.

Ren S, Zu G, Wang HF. Statistics hide impact of non-English journals. Nature 2002; 415(6873):732.

Rice RE. Hierarchies and clusters among communication and library and information science journals, 1977-1987. En: Borgman CL, editor. Scholarly communication and bibliometrics. London: Sage; 1990. p. 138-53.

Page 395: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

391

Rivellini G, Rizzi E, Zaccarin S. The science network in Italian population research: An analysis according to the social network perspective. Scientometrics 2006; 67(3):407-18.

Rodríguez i Gairín JM, Somoza Fernández M. La gestión del conocimiento a partir de estudios bibliométricos. La producción científica española en Medline-PubMed. El problema de los estudios basados en afiliación. En: Procceedings X Jornadas Nacionales de Información y Documentación en Ciencias de la Salud. 2003.

Rodríguez JA. Análisis estructural y de redes. Madrid: Centro de Investigaciones Sociológicas; 1995.

Rogers JD, Bozeman B, Chompalov I. Obstacles and opportunities in the application of network analysis to the evaluation of R&D. Res Evaluat 2001; 10(3):162-72.

Rousseau R. Indicadores bibliométricos e econométricos para a avaliaçao de instituiçoes científicas. Ciencia Da Informaçao 1998; 149(27):149-58.

Ruiz-Baños R. Ciencimetría: análisis de la investigación internacional sobre Arqueología mediante el Método de las Palabras Asociadas (1980-1993) [tesis doctoral]. Granada: Universidad de Granada; 1997.

Ruiz-Baños RB-MR. El método de las palabras asociadas (I): La estructura de las redes científicas. Boletín De La Asociación Andaluza De Bibliotecarios 1999a; 53 (diciembre):43-60.

Ruiz-Baños RB-MR. El método de las palabras asociadas (II): los ciclo de vida de los temas de investigación. Boletín De La Asociación Andaluza De Bibliotecarios 1999b; 54 (marzo):59-71.

Ruiz-Pérez R, Delgado López-Cózar E, Jiménez-Contreras E. Spanish personal name variations in national and international biomedical databases: implications for information retrieval and bibliometric studies. J Med Libr Assoc 2002; 90:411-430.

Ruiz-Pérez R, Delgado López-Cózar E, Jiménez-Contreras E. Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodología e indicadores. Int J Clin Health Psychol 2006; 6(2):401-24.

Rusell JM, Delgado H, Rosas A, Blancas G. Estudio bibliométrico de la producción biomédica internacional de los investigadores de la Universidad Nacional Autónoma de México. Rev Esp Doc Cient 1992; 15(2):129-38.

Ruíz de Osma Delatas E. Evaluación de la producción científica del área biomédica de la Universidad de Granada (1988-1996) [tesis doctoral]. Granada: Universidad de Granada; 2003.

Sancho R. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tecnología. Revisión bibliográfica. Rev Esp Doc Cient 1990; 13(3-4):842-65.

Sancho R. Medición de las actividades de Ciencia y Tecnología, estadísticas e indicadores empleados. Rev Esp Doc Cient 2001; 24(4):382-404.

Page 396: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

392

Sanz-Casado E, Suárez-Balseiro C, Iribarren-Maestro I, Ramírez-de Santa Pau M, de Pedro-Cuesta J. Bibliometric mapping of scientific research on prion diseases, 1973–2002. Inform Process Manage 2007; 43:273-84.

Sanz Menéndez, L. Documento de trabajo 03-06: La investigación en la universidad española, la financiación competitiva en la investigación, con especial referencia a la Ciencias Sociales y Económicas 2003. Disponible en: http://www.iesam.csic.es/doctrab2/dt-0306.pdf. (Consultada el 13 de Octubre 2006).

Schoonbaert D. Citation patterns in tropical medicine journals. Trop Med Int Health 2004; 9(11):1142-50.

Schubert A, Zsindely S, Braun T. Scientometric analysis of attendance at international scientific meetings. Scientometrics 1983; 5(3):177-87.

Shubert A, Glänzel W, Thijs, B. The weight of author self-citations. A fractional approach to self-citation counting. Scientometrics. 2006; 67(3):503-514.

Schwarz AW, Schwarz S, Tijssen RJW. Research and research impact of a technical university - a bibliometric study. Scientometrics 1998; 41(3):371-78.

Seglen PO. The Skewness of science. J Am Soc Inf Sci 1992; 43(9):628-38.

Seglen PO. Why the impact factor of journals should not be used for evaluating research. Br Med J 1997; 314(7079):497.

Shaban SF, Abu-Zidan FM. A quantitative analysis of medical publications from Arab countries. Saudi Med J 2003; 24(3):294-6.

Shapiro DW, Wenger NS, Shapiro MF. The contribution of authors to multiauthored biomedical research papers. J Med Libr Assoc 1994; 271(6):438-42.

Shrum W, Mullins N. Network analysis in the study of Science and Technology. En: Van Raan A, editor. Handbook of quantitative studies of Science and Technology. Dordecht: Elsevier; 1988. p. 107-33.

Small HG. Co-citation in the scientific literature: a new measure of the relationship between two documents. J Am Soc Inf Sci 1973; 24(4): 265-9.

Small HG. A co-citation model of a scientific specialty: a longitudinal study of collagen research. En: Griffith BC, editor. Key papers in information science. New York: American Society for Information Science; 1980.

Small HG, GreenLee E. A co-citacion study of AIDS research. En: Borgman CL, editor. Scholarly communication and bibliometrics. London: Sage; 1990. p. 166-93.

Smith A. The counting house. Nature 2002; 415:726-9.

Smith R. Authorship: time for a paradigm shift? Br Med J 1997; 314 (7086).

So CYK. Citation ranking versus expert judgment in evaluation communication scholars:

Page 397: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

393

effect of research specialty size and individual prominence. Scientometrics 1998; 41(3):325-33.

Solís C, compilador. Alta Tensión: Filosofía, Sociología e Historia de la Ciencia. Barcelona: Paidós; 1998.

Spika P. The Serbian Citation Index: context and content. En: Ingwersen P, Larsen B, editores. Proceedings of ISSI 2005: 10th International Conference of the International Society for Scientometrics and Informetrics. Vol. II. Stockholm: Karolinska University Press; 2005. p. 710-1.

Spinak E. Indicadores cienciométricos. Ciencia Da Informacao Da Brasilia 1998; 27(2):141-8.

Srinivasan R, Raman V, Meyyappan N, Pichappan P. Assessment of the impact of the journal literature produced by Indian Csir Laboratories using subfield corrected impact. Scientometrics1999; 44(1):81-92.

Taylor AG, Andersen V. Access 2003. Programación con VBA 2003. Madrid: Anaya Multimedia; 2004.

Thackray A, Brock DC. Eugene Garfield: history, scientific information, and chemical endeavour. En: Cronin B, Barsky H, editores. The Web of Knowledge: a festschrift in honour of Eugene Garfield. Medford: Information Today; 2000. p. 11-23.

Thomas K, Moore CM, Gerharz EW, O'Brien T, Emberton M. Classic papers in Urology. Eur Urol 2003; 43(6):591-5.

Tiefenthaler W, Hohlrieder M, Hauffe H, Heidegger T, Benzer A. Proposal for a different ranking of anaesthesia journals. Anaesthesia 2004; 59(8):831-2.

Torres Salinas D, Jiménez-Contreras E, López-Cózar E. Validación de la producción de las memorias de la Unav indizada en el Science Citation Index (1999-2003) [informe interno]. Granada: Universidad de Granada; 2005.

Tortosa Serrano JA, Mulero Cervantes JF, Hernández-Palazón J, García-Cayuela JM. Análisis bibliométricos de los artículos publicados en la Revista Espanola de Anesthesiologia y Renimacion en 10 (1987-1996). Rev Esp Anestesiol Reanim 1998; 45(7):268-74.

Toutkoushian RK, Porter SR, Danielson C, Hollis PR. Using Publications counts to measure an institution's research productivity. Res High Educ 2003; 44(2):121-148.

Tscharntke T, Hochberg M, Rand TA, Resh VH, Krauss J. Author secuence and credit for contributions in multiathored publications. PLoS Biology 2007; 5(1):e18.doi:10.1371/journal.pbio.0050018.

Ugolini D, Bogliolo A, Parodi S, Casilli C, Santi L. Assessing research productivity in an oncology research institute: the role of the documentation center. Bull Med Libr Assoc 1997; 85(1):33.

Ugolini D, Parodi S, Santi L. Analysis of publication quality in a cancer research institute.

Page 398: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

394

Scientometrics 1997; 38(2):265-74.

Urbizagastegui Alvarado R. La ley de Lotka y la literatura de bibliometría. Investigación Bibliotecológica 1999; 13(27):125-37.

Valero JA, Compilador. Sociología de la Ciencia. Madrid: Edad; 2004.

Van Leeuwen T. Descriptive versus evaluative bibliometrics. En: Moed H, Glänzel W, Schmorch U, editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 373-88.

Van Raan A. Measuring science: capita selecta of current main issues. En: Moed H, Glänzel W, Schmorch U, editores. Handbook of quantitative science and technology research: the use of publication and patents statistics in estudies of S&T systems. Dordecht: Kluwer; 2004. p. 19-50.

Van Raan A, Peters H. Structuring scientific activities by co-authors analysis. Scientometrics 1991; 20(1):235-55.

Ventura ON, Mombrú AN. Use of bibliometric information to assist research policy making. A comparison of publication and citation profiles of full and associates professors at a school of chemistry in Uruguay. Scientometrics 2006; 69(2):287-313.

Vergidis PI, Karavasiou AI, Paraschakis K, Bliziotis IA, Falagas ME. Bibliometric analysis of global trends for research productivity in microbiology. Eur J Clin Microbiol Infect Dis 2005; 24(5):342-6.

Vinkler P. An attempt in surveying and classifying bibliometrics for scientometrics purpose. Scientometrics 1988; 13(5-6):239-59.

Waheed AA. Citation rate unrelated to journals' impact factors. Nature 2003; 426(6966):495.

Warner J. A critical review of the application of citation studies to the Research Assessment Exercises. J Inf Sci 2000; 26(6):453-60.

Watts DJ. Seis grados de separación: la ciencia de las redes en la era del acceso. Barcelona: Paidós; 2003.

Webster BM. International presence and impact of the biomedical research, 1989-2000. Aslib P 2005; 57(1):22-47.

White H. Author co-citacion analysis: overview and defense. En: Borgman CL, editor. Scholarly communication and bibliometrics. London: Sage; 1990. p. 84-106.

Whitehouse GH. Citation rates and impact factors: should they matter? Br J Radiol 2001; 74(877):1-3.

Wouters P. The signs of science. Scientometrics 1998; 41(1-2):225-41.

Page 399: Diseño de un sistema de información y evaluación ... · Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora

» 6.BIBLIOGRAFÍA

395

Wyllys R. Empirical and theoretical bases of Zipf´s Law. Libr Trends 1981; 30(1):53-64.

Ximénez MC, San Martín R. Application of response surface methodology to the study of person-organization fit. Psicothema 2000; 12(1):151-8.

Yoshikane F, Nozawa T, Tsuji K. Comparative analysis of co-authorship networks considering authors' roles in collaboration: differences between the theoretical and application areas. En: Ingwersen P, Larsen B, editores. Proceedings of ISSI 2005: 10th International Conference of the International Society for Scientometrics and Informetrics. Vol. II. Stockholm: Karolinska University Press; 2005. p. 509-10.

Zachos G. Research output evaluation of two university departments in Greece with the use of bibliometrics indicators. Scientometrics 1991; 21(2):195-221.

Zaidman B. Research area selection in academic departments. R & D Managament 1997; 27(1):17.

Ziman J. ¿Qué es la ciencia? Cambridge: Cambridge University Press; 2003.