La bibliometría en la evaluación de resultados de la investigación

La Bibliometría en la evaluación de resultados de la investigación

Daniel torres salinas

Máster en Dirección y Gestión de la I+D +I en Ciencias de la Salud

[email protected]

Madrid 8 de Julio de 2011

0. INTRODUCCIÓN Y RECURSOS RECOMENDADOS

Contenidos y características del curso

• Objetivos del curso:Conseguir que en 150 minutos seamos capaces de aprender que es la bibliometría, cuales son sus indicadores clave y aprender prácticamente a calcularlos en la Web of Knowledge.

• Contenidos del curso: Introducción teórica a la bibliometria, para qué sirve, set básico de indicadores, la Web of Science. Práctica: calculando indicadores a partir de la Web of Knowledge

• Fecha y duración:8 de Julio, 16 horas; 3 horas (con 30 minutos de descanso)

• Profesor:Daniel Torres-Salinas (GIEC3 – Univ. Navarra) [email protected]

Recursos básicos: monografías

• Maltrás Barba, Bruno. Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón, Trea, 2003

• Moed, Henk F. Citation analysis in research evaluation. Kluwer Academic, 2005

• Vinkler, Peter. Evaluation of research byscientometrics indicators. Oxford Publishing, 2010

Recursos básicos: miscelánea

• Boletines y sites Research Trends de ElsevierScienceWatch de Thomson Reuters

• BlogsBibliometría de Álvaro RoldánEc3noticias del Grupo de Investigación EC3

• Revistas científicasScientometricsRevista Española Documentación Científica

• Redes SocialesHashtag #GIEC3

1. TEORÍA. CUESTIONES BÁSICAS A TENER EN CUENTA

Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel

individual se articulan en torno a bases de datos y productos de evaluación basados en la bibliometria

CNEAI

¿Por qué es necesario estar familiarizado con la

bibliometría? (1/3)

El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos



Convocatoria Centros de Excelencia Severo Ochoa

Convocatoria Programa Nacional Contratación RRHH I+D

Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los

indicadores bibliométricos logrados.



El lugar de la bibliometria en la investigación

biomédica y los objetivos de la sociedad

Por tanto la bibliometría es una herramienta de

diagnóstico

Presupuestos para realizar evaluaciones basadas

en indicadores bibliométricos

Los resultados investigación se manifiestan a

través de publicaciones

científicas.

Al contar publicaciones se

asume que todas ellas

portan la misma cantidad de

conocimiento científico

certificado.

Todos los firmantes de un

trabajo son responsables de la investigación expuesta y han contribuido de igual manera a

la misma.

Las citas son una medida

fiable y válida de la

repercusión de los trabajos

Nivel de análisis o agregación

• Es la base de datos de referencia internacional para estudios bibliométricos

• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000)

• La selección de las revistas se basa en la ley de Bradford y laempresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial

• La cobertura de las revistas es cover to cover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega hasta 1900.

• Ofrece un variado conjunto de indicadores bibliométricos “precocinados”

MACRO

• AGREGADO: países

• FIABILIDAD: Máxima

MESO

• AGREGADO: regiones, instituciones, áreas

• FIABILIDAD: Moderada

MICRO

• AGREGADO: personas, grupos, secciones

• FIABILIDAD: Lectura con precauciones

Los métodos de recuento de las publicaciones

• A cada coautor se le da asigna igual el trabajo publicado.

Total

• Se divide el trabajo entre el número de coautores

Completo

• Todo el trabajo se asigna únicamente al primer autor

1º Autor

• Se le da más peso al primer autor que al resto.

1º Autor +

• Fracción decreciente según orden de firma.

Decreciente

Diferentes comportamientos según disciplina (1/2)

Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA

CLINICAL NEUROPSYCHOL.

Vida Media9 años

GENOMERESEARCH

Vida Media5 años

Fuente:JCR 2010 ed.

Diferentes comportamientos según disciplina (2/2)

Volúmenes y promedios de citas diferentes

Datos: España | Categorías JCR | Período 2001-2010

Los indicadores bibliométricos son asimétricos

Seglen, P. The Skeeness of science. Journal of the American Society forInformation Science and Technology. V. 43, N. 9, pp. 628–638, 1992

2. LA FUENTE DE DATOS:WEB OF KNOWLEDGE

Introducción mínima a la Web of Knowledge

WEB OF SCIENCE (WOS):

aglutina 3 índices de citas

SCI

Science Citation

Index(7858

revistas)

SSCI

Social Science Citation

Index(2553

revistas)

A&HCI

Art & Humaniti. Citation

Index(1462

revistas)

PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:

JCR

Journal Citation Reports

ESIEssential Science

Indicators

La Web of Knowledge, nuestra fuente de datos

Science Watch

A PARTIR DE ESTAS BASES DE DATOS THOMSON ELABORA OTROS PRODUCTOS

BIBLIOMÉTRICOS:

Los productos derivados de la Web of Science

Jou

rnal

Cit

atio

n R

ep

ort

s • Tiene solo dos ediciones de Ciencias y de Ciencias Sociales

• Se calculan para un total de 8200 revistas diferentes

• Las revistas están clasificadas en un total de 235 categorías científicas

• En la web tenemos impactos disponibles desde 1996.

Esse

nti

al S

cie

nce

Ind

icat

ors • Contiene datos

sobre instituciones, países, disciplinas

• Podemos localizar los artículos , los investigadores y los frentes más citados

• Contiene Baselines que nos permite contextualizar la información bibliométrica

Scie

nce

Wat

ch • Es una web gratuita donde podemos encontrar análisis específicas

• Se analizan desde investigadores , revistas hasta áreas y países

• Enriquecen la información bibliométrica con entrevistas, fotos, comentarios, gráficos, etc..

DIAN

s

Web of Science

(SCI, SSCI, AHCI)

Revistas

Científicas

(importantes)

Todas las

Revistas

Científicas

Web of Science, una selección de las mejores revistas

DIAN

s

¿Qué tal es su cobertura en Ciencias de la Salud?

Cobertura WoS de las principales áreas y su adecuación como fuente de evaluación

> 80%

Biología Molecular y bioquímica

Ciencias Biológicas (humanos)

Medicina Clínica

Física y Astronomía

Química

60-80%

Física aplicada y química

Ciencias Biológicas (animales y plantas)

Psicología y Psiquiatría

Ciencias Sociales relacionadas con Medicina

Geociencias

40-60%

Matemáticas

Ingeniería

Economía

<40%

Otras Ciencias Sociales

Arte y Humanides

EXCELENTE MUY BUENA BUENA-MODERADA

Moed, 2005

DIAN

s

El interfaz de consulta de la ISI WOK

WEB

OF

SCIE

NC

EO

TRO

S R

ECU

RSO

S

3. LOS INDICADORES BIBLIOMÉTRICOS

s

PRODUCCIÓN IMPACTO

COLABORACIÓNNUEVOS

INDICADORES

Indicadores

Bibliométricos

Tipos de indicadores bibliométricos

s

Producción

• Nº Total documentos

• Nº Total documentos citables

• Nº de documentos por investigador

• Nº de documentos según posición firma (inicial o final etc.)

• Índice de Especialización Temática

• Índice de Actividad temática

Impacto

• Promedio y suma del Impacto Factor

• Factor de Impacto de relativo

• Nº o % de documentos por cuartil (o bien decil y tercil)

• Promedio de citas

• Número de citas

• Tasa Autocitación

• Citas normalizadas: Crown Indicator, Karolinska

• Índice H y derivados

Colaboración

• Tasas de colaboración

• Índice de coautoría general

• Índice de coautoría institucional

• Análisis de Redes Sociales a partir firma de la firma

• Número de Instituciones firmantes

• Patrones de colaboración (interna, nacional, internacionales)

Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos

* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.

Ejemplos de indicadores bibliométricos habituales

Indicadores recomendados

Nº Doc

(cit.)

Nº docs en 1º Cuartil

Nº o

Prom citas

H-INDEX

PRODUCCIÓNCIENTÍFICA

IMPACTO ESPERADO

IMPACTO OBSERVADO

COLABORACÍÓN

Ejemplos: Nº docs Citables

Evolución de la producción citable de la Universidad de Navarra

Ejemplos: Índice Actividad Temática

IAT de la Universidad Navarra comparado con España. 2005-2009

% España (E): 0,17% Univ Navarra (N): 0,50

IAT: 0,50/0,17 = 2,94

Ejemplos: % Docs en el 1º Cuartil

% de docs en el 1º Cuartil por área para España. 2005-2009

OJO Con los indicadores basados en el IF: son promedios | el impacto de una revista no equivale al impacto de un artículo | No es un valor comparable por área | Fácil de

manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad

Ejemplos: Promedio de Citas

Nº y Promedio de Citas de la Universidad de Navarra comparado con otras universidades españolas. 2005-2009

OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible tener algunos promedios de referencia como el del área o el páis

Ejemplos: Nº Docs. Citables VERSUS

Promedio de citas

Nº Docs Citables y Promedio de Citas de las universidades españolas en Medicina Clínica y Farmacia.

Ejemplos: el indicador CROWN

CROWN INDICATOR del CITIC-UGR de la Universidad de Granada para el período 2001-2010

Tomamos como referencia los promedios de citas del área de Ingeniería disponible en los ESI

Ejemplos: El índice-H

Índice H para diferentes hospitales españolas con diferentes cortes cronológicos

OJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina autocitas | Penaliza a los autores selectivos

Ejemplos: % Colaboración Inter.

% de documentos firmados con instituciones extranjeras por la Universidad de Navarra

Estrategia para evaluar un centro

Moed 2011

Todas las evaluaciones son multimensionales y así hay plantearlas

Estrategia para evaluar un centro

Ejemplo de Evaluación de un centro

Vinkler2010

Es importante contar con cuadros de

mando

Cuadro de mando empleado en la UNAV (software: CIENTIFICA)

4. PRÁCTICAS BÁSICAS

NOTA: Con las consultas directas en Web of Science que veremos enéstas prácticas nos podemos aproximar a la producción de un centro,investigador etc.… pero no se consiguen resultados exactos(necesarios para la toma de decisiones) ya que existen numerososproblemas de normalización de los nombres de autores einstituciones. En esta práctica mencionaremos dichos problemasaunque no profundizaremos sobre los mismos.

Práctica 1

CALCULAR EL Nº DE DOCUMENTOS CITABLES DE CIBERNED DURANTE EL PERÍODO 2007-2010

Práctica 1. Nº de Citables de CIBERNED

1. Realiza la búsqueda en el menú principal

2. Filtra en el menú de la derecha las tipologías documentales citables

3. Filtra en el menú de la derecha por años

Práctica 2

CALCULAR LAS ÁREAS DE ESPECIALIZACIÓN DE CIBERNED Y VER CUANTOS CITABLES TIENE EN CADA UNA DE ELLAS Y ESPECÍFICAMENTE EN

“NEUROSCIENCE”. 2007-2010

Práctica 2. Nº Citables de CIBERNED en la

categoría de “Neurosciences”

Con la búsqueda anterior

1. En la zona izquierda selecciona la opción “Analyze Results” y en la siguiente pantalla selecciona “subject área” y pincha en “Analyze”

2. Resultado

Práctica 3

CALCULAR CUANTOS Y QUE PORCENTAJE DE DOCUMENTOS CITABLES APORTA CIBERNED A LA

PRODUCCIÓN CIENTÍFICA DE ESPAÑA EN LA CATEGORÍA “NEUROSCIENCES”. 2007-2010

Práctica 3. Aportación a España en

“Neuroscience” de CIBERNED

1. Vuelve al menú de búsqueda y busca la producción española global

2. Selecciona como anteriormente solo los documentos citables

3. Analiza resultados por área (subject) y filtra por “Neuroscience”

Producción Citables en

“Neurosciences de CIBERNED”

= 245

Producción Citables en

“Neurosciences de España”

= 2016

12%

Práctica 4

INDENTIFICAR CUAL ES LA REVISTA CIENTÍFICA DONDE TIENE MÁS PUBLICACIONES EL

CIBERNED. UNA VEZ IDENTIFICADA CONSULTAR SU IMPACT FACTOR Y EL CUARTIL EN EL QUE SE

SITÚA.

Práctica 4. Revista donde más publica

CIBERNED. Factor de impacto y cuartil

1. Vuelve a la búsqueda original

2. Analiza o filtra por revista (source title)

4. Ve a “additional Resources” y selecciona el JCR

5. Busca la revista y mira su IF y el cuartil para la 2010 ed

Práctica 5

IDENTIFICA LAS REVISTAS CON MAYOR IMPACTO Y QUE PUEDEN SER OBJETIVO DE CIBERNED

Práctica 5. Consultar JCR por categoría

1. Identifica como anteriormente las áreas donde publica el centro

2. Acude al JCR y consulta para su ed. De 2010 las revistas con mayor impacto en “Neurosciences”, “Clinical Neurology” y “Biochemistry & Molecular Biology”.

Práctica 6

CALCULA CUAL ES EL PROMEDIO Y EL NÚMERO DE CITAS DE CIBERNED. 2007-2010

Práctica 6. Obtener para CIBERNED, Número

de Citas y Promedio

1. Vuelve a la búsqueda original

2. Selecciona en la zona derecha la opción “Create Citation Report”

3. Puedes obtener los indicadores en el informe generado

Práctica 7

CALCULA EL CROWN INDICADOR (SEGÚN ESTÁNDAR DEL CWTS) PARA CIBERNED

TENIENDO EN CUENTA LA CATEGORÍA MUNDIAL “ ESI” NEUROSCIENCE. 2007-2010

Práctica 7. Introducción al cálculo del CROWN

PASO 1. Obtener unos valores de referencia (mundiales, país, región, …)

PASO 2. Obtenemos el número de citas de la unidad (persona, centro, etc..) que estamos evaluando.


PASO 4. Vemos que valor debería haber alcanzado según la tabla de referencia del Paso 1 (respetar área , año de publicación y tipo doc.)

PASO 3. Clasificamos esos trabajos según el área de publicación


Finalmente dividimos las

citas alcanzadas entre las citas teóricas

CROWN = 1,7

Práctica 7. Cálculo CROWN para CIBERNED

2. Buscamos la tabla de referencia de promedio de citas de“Neuroscience”* en ESI

*Asumimos para agilizar la práctica que todos los trabajos pertenecen al área de Neuroscience

1. A partir del “Citation Reports” y año por año preparamos una tabla con el número de trabajos citables y el número de citas


3. Añadimos columna con las citas que se esperan para un trabajo de neuroscience

4. Calculamos el global de citas que se esperaban para nuestro centro multiplicando las columnas A por C


4. Finalmente calculamos el CROWN dividiendo las citas alcanzada entre las citas esperadas , esto es dividir B entre D

Author=(PALACIOS JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))

Práctica 8

CÁLCULA EL ÍNDICE H DE CAMINS A (PROGRAMA 1) Y COMPARALO CON EL DE PALACIOS

SATIBAÑEZ JL Y PUELLES JL

Author=(PALACIOS JM)

Práctica 8. Cálculo del índice H

Author=(PALACIOS JM) AND Address=((AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*)

NOT (POLITECN AND MADRID))))

Author=(CAMINS A) Author=(PUELLES L)

PUELLES LOPEZ, LUIS PALACIOS SANTIBAÑEZ, JOSE MCAMINS, ANTONIO

1. Has las búsquedas para cada autor y utiliza “Citation Reports” para conocer el H


Práctica 9

IDENTIFICA LOS TRES TRABAJOS MÁS CITADOS DE CIBERNED. CONTEXTUALIZA LAS CITAS A

NIVEL MUNDIAL Y NIVEL NACIONAL


Práctica 9. Trabajos a nivel internacional

1. Busca la producción de CIBERNED; en resultados ordena según el número de citas

Viendo como un trabajo se sitúa a nivel internacional


Práctica 9. Trabajos a nivel internacional

2. Ve a los ESI y busca la tabla de percentiles de Neuroscience

3. Mira donde se situaría cada trabajo

TRABAJO 1. Autophagy (2008) con 489 citas se sitúa en el 0,01% mundial de los más citados

TRABAJO 2. Nature Genetics (2009) con 200 citas se sitúa en el 0,10% mundial de los más citados

TRABAJO 2. Lancet Neurology (2008) con 124 citas se sitúa en el 1,00 % mundial de los más citados


Práctica 9. Trabajos a nivel nacional

2. Busca la producción científica española en 2008 (año de publicación del trabajo)

1. Coge el trabajo más citado e identifica en qué área se ha publicado

Viendo como un trabajo se sitúa a nivel nacional


Práctica 9. Trabajos a nivel nacional

3. A través de la opción analyze quédate solo con los trabajos publicados en CELL BIOLOGY (Categoría donde se publicó el trabajo)

4. Ordena los resultados (producción de España en CELL BIOLOGY en el año 2008)

El trabajo es el número 1 !!


Práctica 10

CÁLCULA EL NÚMERO Y PORCENTAJE DE TRABAJOS FIRMADOS A NIVEL INTERNACIONAL.

2007-2010


Práctica 10. Colaboración internacional

1. Volver a la búsqueda de 443 y en “analyze results” seleccionar countries; una vez que tengamos el lista seleccionar todos los países menos España y View Records

2. Una vez que tenemos los registros ver cuantos se han publicado por año y calcular %

Daniel torres [email protected]