View
3.494
Download
3
Category
Preview:
DESCRIPTION
Workshop impartido por el grupo EC3 en el IV Seminario EC3 - Granada, 14 y 15 de marzo de 2013
Citation preview
Torres-Salinas // Cabezas-Clavijo // Robinson-García // Repiso-Caballero
Workshop IV Seminario
#giec3Bibliometría en
la práctica
Introducción a la bibliometría:
Métodos e indicadores
1. TEORÍA. CUESTIONES BÁSICAS A TENER EN CUENTA
Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel
individual se articulan en torno a bases de datos y productos de evaluación basados en la bibliometria
CNEAI
¿Por qué es necesario estar familiarizado con la bibliometría? (1/3)
El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos
¿Por qué es necesario estar familiarizado con la bibliometría? (2/3)
Convocatoria Centros de Excelencia Severo Ochoa
Convocatoria Programa Nacional Contratación RRHH I+D
Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los
indicadores bibliométricos logrados.
¿Por qué es necesario estar familiarizado con la bibliometría? (3/3)
Por tanto la bibliometría es una herramienta de diagnóstico
Presupuestos para realizar evaluaciones basadas en indicadores bibliométricos
Los resultados investigación se
manifiestan a través de
publicaciones científicas.
Al contar publicaciones se asume que
todas ellas portan la misma
cantidad de conocimiento
científico certificado.
Todos los firmantes de un
trabajo son responsables de la investigación expuesta y han contribuido de igual manera a
la misma.
Las citas son una medida
fiable y válida de la
repercusión de los trabajos
Nivel de análisis o agregación
• Es la base de datos de referencia internacional para estudios bibliométricos
• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000)
• La selección de las revistas se basa en la ley de Bradford y laempresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial
• La cobertura de las revistas es cover to cover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega hasta 1900.
• Ofrece un variado conjunto de indicadores bibliométricos “precocinados”
MACRO• AGREGADO: países• FIABILIDAD: Máxima
MESO• AGREGADO: regiones, instituciones, áreas • FIABILIDAD: Moderada
MICRO• AGREGADO: personas, grupos, secciones• FIABILIDAD: Lectura con precauciones
Los métodos de recuento de las publicaciones
• A cada coautor se le da asigna igual el trabajo publicado.
Total
• Se divide el trabajo entre el número de coautores
Completo
• Todo el trabajo se asigna únicamente al primer autor
1º Autor
• Se le da más peso al primer autor que al resto.
1º Autor +
• Fracción decreciente según orden de firma.
Decreciente
Diferentes comportamientos según disciplina (1/2)
Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA
CLINICAL NEUROPSYCHOL.
Vida Media9 años
GENOMERESEARCH
Vida Media5 años
Fuente:JCR 2010 ed.
Diferentes comportamientos según disciplina (2/2)
Volúmenes y promedios de citas diferentes
Datos: España | Categorías JCR | Período 2001-2010
The skewness of sciencePer O. Seglen
Los indicadores bibliométricos son asimétricos
Seglen, P. The Skeeness of science. Journal of the American Society for Information Science and Technology. V. 43, N. 9, pp. 628–638, 1992
2. LA FUENTE DE DATOS:WEB OF KNOWLEDGE
Introducción mínima a la Web of Knowledge
WEB OF SCIENCE (WOS): aglutina 3 índices de citas
SCIScience Citation
Index(7858
revistas)
SSCISocial
Science Citation
Index(2553
revistas)
A&HCIArt &
Humanida. Citation
Index(1462
revistas)
PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:
JCRJournal
Citation Reports
ESIEssential Science
Indicators
La Web of Knowledge, nuestra fuente de datos
Science Watch
A PARTIR DE ESTAS BASES DE DATOS THOMSON ELABORA OTROS PRODUCTOS
BIBLIOMÉTRICOS:
Los productos derivados de la Web of Science
Journal Citation Reports
• Tiene solo dos ediciones de Ciencias y de Ciencias Sociales
• Se calculan para un total de 8200 revistas diferente
• Las revistas están clasificadas en un total de 235 categorías científicas
• En la web tenemos impactos disponibles desde 1996.
Essential Science Indicators
• Contiene datos sobre instituciones, países, disciplinas
• Podemos localizar los artículos , los investigadores y los frentes más citados
• Contiene Baselines que nos permite contextualizar la información bibliométrica
Science Watch
• Es una web gratuita donde podemos encontrar análisis específicas
• Se analizan desde investigadores , revistas hasta áreas y países
• Enriquecen la información bibliométrica con entrevistas, fotos, comentarios, gráficos, etc..
DIAN
s
Web of Science (SCI, SSCI, AHCI)
Revistas Científicas (importantes)
Todas las Revistas Científicas
Web of Science, una selección de las mejores revistas
DIAN
s
¿Qué tal es su cobertura en Ciencias de la Salud?
Cobertura WoS de las principales áreas y su adecuación como fuente de evaluación
> 80%Biología Molecular y
bioquímicaCiencias Biológicas
(humanos)Medicina Clínica
Física y AstronomíaQuímica
60-80%Física aplicada y química
Ciencias Biológicas (animales y plantas)
Psicología y PsiquiatríaCiencias Sociales
relacionadas con MedicinaGeociencias
40-60%Matemáticas
IngenieríaEconomía
<40%Otras Ciencias Sociales
Arte y Humanides
EXCELENTE MUY BUENA BUENA-MODERADA Moed, 2005
DIAN
s
El interfaz de consulta de la ISI - WOS
WEB
OF
SCIE
NCE
OTR
OS
RECU
RSO
S
3. LOS INDICADORES BIBLIOMÉTRICOS
sPRODUCCIÓ
N
IMPACTO
COLABORACIÓN
NUEVOS
INDICADOR
ES
IndicadoresBibliométricos
Tipos de indicadores bibliométricos
s
Producción
• Nº Total documentos• Nº Total documentos
citables• Nº de documentos por
investigador• Nº de documentos
según posición firma (inicial o final etc.)
• Índice de Especialización Temática
• Índice de Actividad temática
Impacto
• Promedio y suma del Impacto Factor
• Factor de Impacto de relativo
• Nº o % de documentos por cuartil (o bien decil y tercil)
• Promedio de citas• Número de citas• Tasa Autocitación• Citas normalizadas:
Crown Indicator, Karolinska
• Índice H y derivados
Colaboración
• Tasas de colaboración• Índice de coautoría
general• Índice de coautoría
institucional• Análisis de Redes
Sociales a partir firma de la firma
• Número de Instituciones firmantes
• Patrones de colaboración (interna, nacional, internacionales)
Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos
* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.
Ejemplos de indicadores bibliométricos habituales
Indicadores recomendados
Nº Doc(cit.) Índice
A cti v.Te m
á.
Nº docs en 1º Cuarti
l
% d
ocs
en 1
º Cu
artil
Nº o Prom citas
CROW
N
H-INDEX
%
docs
co
n co
lab.
In
ter.
PRODUCCIÓNCIENTÍFICA
IMPACTO ESPERADO
IMPACTO OBSERVADO
COLABORACÍÓN
Ejemplos: Nº docs Citables
Evolución de la producción citable de la Universidad de Navarra
Ejemplos: Índice Actividad Temática
IAT de la Universidad Navarra comparado con España. 2005-2009% España (E): 0,17
% Univ Navarra (N): 0,50
IAT: 0,50/0,17 = 2,94
Ejemplos: % Docs en el 1º Cuartil
% de docs en el 1º Cuartil por área para España. 2005-2009
OJO Con los indicadores basados en el IF: son promedios | el impacto de una revista no equivale al impacto de un artículo | No es un valor comparable por área | Fácil
de manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad
Ejemplos: Promedio de Citas Nº y Promedio de Citas de la Universidad de Navarra comparado
con otras universidades españolas. 2005-2009
OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible tener algunos promedios de referencia como el del área o el páis
Ejemplos: Nº Docs. Citables VERSUS Promedio de citas
Nº Docs Citables y Promedio de Citas de las universidades españolas en Medicina Clínica y Farmacia.
Ejemplos: el indicador CROWN
CROWN INDICATOR del CITIC-UGR de la Universidad de Granada para el período 2001-2010
Tomamos como referencia los promedios de citas del área de Ingeniería disponible en los ESI
Ejemplos: El índice-H
Índice H para diferentes hospitales españolas con diferentes cortes cronológicos
OJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina autocitas | Penaliza a los autores selectivos
Ejemplos: % Colaboración Inter.
% de documentos firmados con instituciones extranjeras por la Universidad de Navarra
Cabezas-Clavijo // Robinson-García // Repiso-Caballero
Bibliometría en la práctica
Web of Science en la práctica
Cuestiones previas de los análisis bibliométricos
Búsquedas en Web of ScienceAnálisis básicos de resultados en WOSDescarga de registrosCálculo de indicadores
Cuestiones previas
• Objetivos del análisis bibliométrico• Nivel de agregación (país, CCAA,
institución, departamento, grupo, individuo)• Selección del marco temporal (normalmente
5 años es un periodo suficiente)• Selección de la BBDD (habitualmente Web
of Science, pero también Scopus o Google Scholar)
Web of Knowledge (WOS, JCR, ESI)
Búsqueda básica (17 campos de consulta en la última
versión)
Cuidado con la búsqueda por fechas
• Year published: año de publicación del artículo
• Timespan: años en que la referencia ha sido procesada por WoS
• Cuidado con la sintaxis de WoS• Cuidado con los autores con dos apellidos• Cuidado con los homónimos• Cuidado con nombre regionales,
abreviaturas o “nombres artísticos” • Cuidado con los errores de indización y los
cambios en la misma a lo largo del tiempo• Extremo cuidado al limitar por los campos
“afiliación” o “categoría JCR”
Búsqueda de autores: precauciones
• No admite tildes ni eñes• Sólo la(s) inicial(es) del nombre de pila• Admite operadores booleanos en el
mismo cuadro de búsqueda• Truncamiento con * para ampliar las
búsquedas
Cuidado con la sintaxis de WoS
• El porcentaje de investigadores españoles que aparecen bajo dos o más nombres diferentes oscila entre un 20% y un 40% según los estudios (Costas et al. 2006; Ruiz-Pérez et al. 2002).
• Los propios investigadores son responsables de esta variabilidad en su forma de firma, ya que utilizan distintas formas a lo largo de su producción
• Además, las bases de datos bibliográficas cometen con errores al transcribir la información a su registro electrónico, sobre todo derivadas de sus prácticas de indización adaptadas a las estructuras de nombres ingleses
Cuidado con los autores con dos apellidos
• Es complejo diferenciar entre autores homónimos, apellidos comunes, etc (López E, Rodriguez JM, Garcia A)
• En este caso hay que usar las opciones de WoS para refinar los resultados, a sabiendas de que podemos perder un pequeño porcentaje de la producción del autor
• La mejor forma de evitar este fenómeno es asesorar a los investigadores para que usen firmas lo más distintivas posibles.
Cuidado con los homónimos
• Ramón Moncho• José Luis Koldo• Javier Xavier // Xabier• Rosario Charo• Cuando hagamos búsquedas de autores es
conveniente visitar antes su web personal, nos puede dar pistas sobre cómo firma, en qué revistas publica, sus colaboradores, …
Cuidado con nombres regionales, abreviaturas o nombres
“artísticos”
Autores
Instituciones
Cuidado con los errores de indización de WoS
AFILIACIÓN• Autores en estancias fuera de la institución a
veces no firman con su institución de origen• Autores con doble filiación (hospital-universidad) a
veces no usan ambas• La tipología Proceedings paper incluye a veces
sólo la institución del primer firmante
CATEGORÍA JCR• Las revistas pueden estar asignadas a varias
categorías ISI• Autores con investigación multidisciplinar
Extremo cuidado al limitar por afiliación o categoría
jcr
Para el caso de las instituciones
• Piensa todas las posibles variantes de una institución
• WoS usa abreviaturas estándar y elimina las preposiciones
• universidad = univ; hospital = hosp
• Universidad de Murcia = Univ Murcia
• Universidad Politécnica de Valencia = ?
Para las instituciones
Para el caso de las institucionesPara las instituciones
Ejemplo: Universidad delPaís Vasco
( UNIV PAIS VASCO OR UPV EHU OR EUSKAL HERRIKO UNIBERTSITATEA OR UNIV BASQUE COUNTRY OR UNIV PAIS VASCO EUSKAL HERRIKO UNIBERTSITATEA OR UPV OR CSIC UPV EHU OR CTR MIXTO CSIC UPV EHU OR UNIV PAIS VASCO EHU OR UNIV BASQUE COUNTRY UPV EHU OR EHU OR EUSKAL HERRIKO UNIBERSITATEA OR UNIV PAIS VASCO UPV EHU OR EHU UPV OR EUSKAL HERRIKO UNIV OR EUSKAL HERRIKO UNIBERTSITATEA UPV EHU )
• Opciones de filtrado de los resultados por áreas, tipos de documentos, años, instituciones, países, fuentes, autores, idiomas
• Opciones de análisis de resultados e informes de citación
• Opciones de ordenación• Historial de
búsquedas
• Opciones de exportación, impresión y guardar en listas
Analyze Results
Create Citation Report
• Encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS
• Escasa normalización en las abreviaturas• Usar truncamientos y búsquedas amplias• Método ensayo-error
Cited Reference Search
ejemplo
• Es necesario filtrar manualmente• No hay certeza de que estemos
recuperando todos los resultados
Cited Reference Search
• Thomson cuenta con un listado maestro (master list) donde aparecen las revistas recogidas en sus índices de citas http://science.thomsonreuters.com/mjl/
¡Ojo! No confundir con JCR: No todas las revistas incluidas en WoS tienen factor de impacto JCR
Cómo localizar las revistas indexadas en la WoS
• Aunque WOS proporciona herramientas de análisis, es imprescindible la descarga de registros para un análisis solvente (limitación: descarga de 500 registros como máximo por archivo)
• Esto permite el tratamiento de datos, la normalización de registros, y la confección de bases de datos en conjunción con otras informaciones como las de revistas JCR o de información interna de la institución (categoría profesional, actividad científica, etc)
Descarga de registros a programas ofimáticos
• ¿Qué producción tiene tu Universidad (sólo articles y reviews) entre 2008 y 2012?¿Cuál es su promedio de citas?¿Qué país es su principal colaborador?¿Cuál es su porcentaje de colaboración
internacional?¿Qué promedio de citas tiene cuando publica
con Estados Unidos? ¿Y cuando publica sin colaboración de ningún
tipo?
Práctica Instituciones
• ¿Cuántos trabajos ha publicado Emilio Delgado López Cózar (Univ Granada) en su carrera profesional?¿Cuántas firmas distintas has detectado?¿Cuál es su índice h?¿Quiénes son sus coautores más frecuentes?¿Qué porcentaje de trabajos ha publicado en
revistas que no son de Biblioteconomía?
Práctica Investigadores
• Descarga los trabajos de Emilio en un formato compatible con Excel
• Abre el archivo en Excel• Calcula el índice h y el promedio de citas• Guarda el documento, en un rato
calcularemos su crown indicator
Práctica Descargas (AVANZADO)
• http://www.accesowok.fecyt.es/jcr/• Base de datos que recoge los factores de impacto
de las revistas científicas seleccionadas por Thomson Reuters
• Podemos delimitar la búsqueda por año, categoría temática y países
• Recoge otros indicadores como posición de la revista en su categoría, índice de inmediatez, porcentaje de autocitas,
Journal Citation Reports (JCR)
Factor de impacto de la revista
Categorías JCR a las que se adscribe
Posición de la revista en dichas categorías
Información básica de una revista
• ¿Cuántas revistas españolas hay en JCR (Social Sciences) en 2011?
• ¿Cuál es la revista más relacionada con la Revista Española de Pedagogía?
• ¿En qué cuartil se sitúa Spanish Economic Review?
• ¿Encuentras algo anómalo en la tendencia de factor de impacto de la Revista de Psicodidáctica?
Práctica Búsquedas
• Descarga la categoría Information Science and Library Science
• Abre el archivo con el bloc de notas y reemplaza los puntos por las comas
• Abre el archivo con excel, y ordena por factor de impacto descendente
• Calcula los cuartiles de las revistas
Práctica Descargas (AVANZADO)
• http://www.accesowok.fecyt.es/esi/• Indicadores a nivel macro de producción y citación• Nos proporciona un marco comparativo; podemos
confrontar los registros de un investigador o institución con áreas / países, etc
Essential Science Indicators (ESI)
Papers más citados
Evolución anual Ránking de paises para la categoría
• ¿En qué percentil de la distribución se encuentra un autor del área de Ciencia de Materiales que publicó un trabajo en 2008 y que ha recibido 30 citas hasta la fecha de hoy?
• ¿Cuál es el número mínimo de citas que necesita un autor de Psicología para situarse dentro del 1% más citado en 2009?
• Qué impacto normalizado (CROWN INDICATOR) tienen los papers de Emilio publicados en 2009? (AVANZADO)
Práctica ESI
Cómo aprovechar los Rankings I-UGR para hacer informes de
mi institución
Introducción
Se basan en los datos de la WoS y los JCR
Ofrecen rankings por campos y disciplinas científicas
Las universidades se ordenan de acuerdo al IFQ2A-Index basado en 6 indicadores
Utiliza dos periodos cronológicos de 5 y 10 años
Creación de campos y disciplinas
Creación de campos y disciplinas
AU C1Campanario, JM; Coslado, MA [Miguel Campanario, Juan] Univ Alcala de Henares, Dept Fis, Madrid 28871, Spain; [Angeles Coslado, Maria] Fdn Espanola Ciencia & Tecnol, Dept Gest Informac Cient Integrada, Madrid 28020, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Carretero, J; Marangon, V; Molina, A; Ros, G Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain; [Marangon, Vera] Univ Alcala De Henares, Fac Ciencias Econ, Madrid 28807, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM [Miguel Campanario, Juan] Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Candelario, A [Miguel Campanario, Juan; Candelario, Antonia] Univ Alcala de Henares, Dept Fis, Madrid, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Molina, A [Miguel Campanario, Juan; Molina, Antonio] Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainAndrade, A; Gonzalez-Jonte, R; Campanario, JM [Andrade, Antonia] Univ Alcala de Henares, Dept Geol, Madrid 28871, Spain; [Gonzalez-Jonte, Raul] Univ Autonoma Madrid, Dept Quim Fis Aplicada, E-28049 Madrid, Spain; [Miguel Campanario, Juan] Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Acedo, E Univ Alcala De Henares, Dept Fis, Alcala De Henares 28871, Madrid, SpainGonzalez, L; Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCoslado, MA; Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Gonzalez, L Univ Alcala de Henares, Dept Fis, Edificio Ciencias, Madrid 28871, SpainCampanario, JM; Gonzalez, L; Rodriguez, C Univ Alcala de Henares, Dept Fis, Alcala De Henares 28871, Madrid, Spain
El IFQ2A-Index
DIMENSIÓN CUANTITATIVA
DIMENSIÓN CUALITATIVA
NDOC: Número de documentos citables
NCIT: Número de citas
H-INDEX: Índice H según Hirsch
TOPCIT: Porcentaje de documentos altamente citados
1Q: Porcentaje de documentos en el primer cuartil de su categoría
PCIT: Promedio de citas
Daniel Torres Salinas, Jose G. Moreno-Torres, Emilio Delgado-López Cózar, Francisco Herrera A methodology for Institution-Field ranking based on a bidimensional analysis: The IFQ2A-index. Scientometrics 2011, 88(3): 771-786
El IFQ2A-Index
Barcelona
Autónoma de Barcelona
Autónoma de Madrid
Valencia
Navarra
0,0
0,2
0,4
0,6
0,8
1,0
0,0 0,2 0,4 0,6 0,8 1,0
QU
ALIT
ATIV
E DIM
ENSI
ON
QUANTITATIVE DIMENSION
AVERAGE QLIFAV
ERAG
E Q
NIF
Los Rankings I-UGR
http://rankinguniversidades.es
-12 campos científicos
-37 disciplinas
Los Rankings I-UGR
Prácticas Rankings I-UGR
• Date de alta en los Rankings I-UGR• Busca las posiciones de tu universidad en
los distintos campos y disciplinas• Observa la variación de posiciones según el
periodo analizado y según la edición y analiza las diferencias
• Identifica en qué categorías JCR dentro de Informática publica más tu universidad en el periodo 2007-2011
Ejemplo de informe
La Universidad de Granada en los Rankings ISI
Recommended