93
Taller de Bibliometría y Evaluación de la Ciencia Valencia, 4-5 noviembre 2009 Evaristo Jiménez Contreras Álvaro Cabezas Clavijo ec3 - Evaluación de la Ciencia y de la Comunicación Científica http://ec3.ugr.es

Bibliometría y evaluación de la ciencia 1

Embed Size (px)

DESCRIPTION

Jiménez Contreras, E.; Cabezas Clavijo, Á. Bibliometría y evaluación de la ciencia [Taller]. AIDICO, Instituto Tecnológico de la Construcción. Valencia, 4 y 5 de noviembre de 2009

Citation preview

Page 1: Bibliometría y evaluación de la ciencia 1

Taller de Bibliometría y Evaluación de la

Ciencia

Valencia, 4-5 noviembre 2009

Evaristo Jiménez Contreras

Álvaro Cabezas Clavijo

ec3 - Evaluación de la Ciencia y de la Comunicación Científica

http://ec3.ugr.es

Page 2: Bibliometría y evaluación de la ciencia 1

• La comunicación de la ciencia• Los indicadores bibliométricos y la evaluación de la

actividad investigadora• Bases de datos para evaluación de la ciencia• Búsquedas documentales y descargas de registros

desde bases de datos• Tratamiento documental de la información científica• Elaboración de informes basados en parámetros

bibliométricos• Software para evaluación de la ciencia

Índice

Page 3: Bibliometría y evaluación de la ciencia 1

La comunicación de la ciencia

Taller de Bibliometría y evaluación de la ciencia

Los indicadores bibliométricos y la evaluación de la actividad

investigadora

Page 4: Bibliometría y evaluación de la ciencia 1

• Axiomas previos:• Perspectiva Mertoniana de la Ciencia

• El prestigio de los científicos es proporcional al prestigio de su obra y ésta a su vez se viene cuantificando a través de las revistas en las que publica

• Efecto Mateo vs hipótesis de Ortega

– Dimensiones de la actividad científica• Los productos de la actividad científica son las publicaciones• Las citas son una medida fiable de la repercusión de los

trabajos

Consideraciones generales

Page 5: Bibliometría y evaluación de la ciencia 1

• La evaluación es inherente a la actividad científica.– La revisión por expertos es lo que diferencia las

revistas científicas de las restantes• Es cualitativa/cuantitativa• La evaluación aplicada a la actividad científica

se emplea usualmente en su versión ex-ante, se valoran los proyectos científicos antes de financiarlos y se determinan las orientaciones científicas (cualitativa)

• Pero la gestión científica debe apoyarse en la evaluación ex-post (cuantitativa)

Evaluación y actividad

científica

Page 6: Bibliometría y evaluación de la ciencia 1

• Entre la república de la Ciencia…– La evaluación ex post no es necesaria porque

– “the results of any one particular investigation cannnot be predicted with accuracy” (Bush, V. 1945)

• …y la Ciencia responsable. – Bernal JD, la responsabilidad social del científico

– Los poderes públicos pueden y deben controlar la orientación de la Ciencia

Nacimiento de la Política científica

Page 7: Bibliometría y evaluación de la ciencia 1

La actividad científica: elementos de la evaluación

• Output de la actividad científica– Conocimiento certificado: Artículos en revistas con

evaluación por pares o medios asimilables– Actividad económica: patentes, contratos, spin-off– Acciones de interés general: programas de

investigación públicos o privados– Formación: libros, docencia, tesis...– Divulgación: medios de comunicación,

exposiciones..

Page 8: Bibliometría y evaluación de la ciencia 1

El ciclo de producción de conocimientos certificados y del reconocimiento

Experimentación, datos

Lectura de artículos

Preparación del artículo

Publicación

Difusión

Audiencia específica: colegas, sugerencias

Aplicaciones

Empresa pública o privada

Temas

Proyectos

FinanciaciónRecursos

Page 9: Bibliometría y evaluación de la ciencia 1

• LOS ARTÍCULOS EN EL CICLO DE PRODUCCIÓN DEL CONOCIMIENTO

– Producción e interpretación de datos• “percepción de que el acervo de conocimiento es insuficiente”• Metodología, Experimentación, análisis de datos, interpretación

– Publicación• Redacción del trabajo, envío a una revista, revisiones, publicación

– Interactuación• Impacto, aplicaciones, nuevos proyectos

– Reconocimiento• El impulso de los científicos, la lucha por el reconocimiento: el papel de las

citas:– Pago del crédito debido– Instrumento de persuasión

– Biblioteca, archivo y registro

– Son también un ESLABÓN EN EL SISTEMA DE EVALUACIÓN, un ESLABÓN EN EL SISTEMA DE EVALUACIÓN, un medio indirecto para evaluar la actividad investigadora de los autores que publican sus resultados en las mismas

Produciendo conocimiento

Page 10: Bibliometría y evaluación de la ciencia 1

• Investigación Producción

Producción: bruta, nacional/internacional Productividad por autores Cuota de participación por campos, país, etc. Presencia en bases, o en conjuntos predeterminados

Impacto Difusión o visibilidad… en definitiva: citas.

Citas absolutas, relativas, índice H Fis

Tal cual Presencia por cuartiles, terciles, deciles… Impactos normalizados

Documentos citados en el “core” de la especialidad Citas en determinadas obras Hábitos de citación

Qué elementos se consideran en las evaluaciones científicas

Page 11: Bibliometría y evaluación de la ciencia 1

• Dirección y desarrollo de la investigación– Dirección de investigación

• Tesis doctorales dirigidas– Resultados académicos de las mismas

• Grupos de investigación: nacionales/internacionales• Labores de gestión: dirección de departamentos, servicios,

etc.

– Presencia en programas de investigación, doctorados (“de calidad” si puede ser), redes temáticas.

Qué elementos se consideran en las evaluaciones científicas

Page 12: Bibliometría y evaluación de la ciencia 1

• Reconocimiento– Premios de investigación– Invitaciones– Participación en comités: revistas, congresos, etc..– Tramos de investigación o equivalentes– Ofertas de trabajos de instituciones– Juicio de expertos en cuanto a reputación de los

investigadores

Qué elementos se consideran en las evaluaciones científicas

Page 13: Bibliometría y evaluación de la ciencia 1

• Financiación– Fondos obtenidos en

programas competitivos y cuantía

• Nacionales/internacionales• Sectoriales• Privados

Becas nacionales, internacionales

Becarios

Docencia Tasa de graduaciones en

los distintos ciclos Capacidad de atracción de

estudiantes Encuestas Innovación docente

Otros Patentes Éxito laboral ...

Qué elementos se consideran en las evaluaciones científicas

Page 14: Bibliometría y evaluación de la ciencia 1

COLABORACIÓN

Nº Autores/trabajo

Patrones colaboración

Ordenes de firma

RELACIONALES

Análisis de co-palabras; redes de colaboración

Qué elementos se consideran en las evaluaciones científicas

Page 15: Bibliometría y evaluación de la ciencia 1

• Tradicionales (recuentos y promedios):

– Factor de impacto, con diferentes períodos– Percentiles– Inmediacy Index– Citas/articulos,

– Half-life– Citas totales (en un período detiempo)

• Planteamiento similar (Citas con pesos):– Scimago Journal Rank– Eigenfactor– Article influence

• Orientadas a autores o similares:

– H-index– Pagerank

Medidores del impacto de las publicaciones y/o de los autores basados en citación

Page 16: Bibliometría y evaluación de la ciencia 1

Journal of Citation Reports (JCR)

Ejemplo: Factor de Impacto de la revista NATURE en 2004

Citas recibidas durante 2004 de los artículos publicados en:2003: 28,5772002: 27,678 56,255

Número de artículos publicados en:2003: 8722002: 876 1,748

Cálculo: FI – NATURE (2004) = 56,255 1,748

= 32.18

Glosario ISI: “El Factor de Impacto se calcula como el número de citaciones en un cierto año a los documentos publicados en los dos años anteriores dividido por el número de documentos publicados por esa revista en el mismo período de tiempo”.

Cálculo del Factor de impacto

21

nnn YPYP

CnFI

Factor de Impacto en año n

Page 17: Bibliometría y evaluación de la ciencia 1

Un investigador tiene un índice h cuandoh de sus documentos han recibido al menos h citas cadauno, y el resto tiene no más de h citas por documento.

El índice H

Hirsh, J.: An index to quantify an individual's scientific research output. PNAS November 15, 2005,46 16569-72

Page 18: Bibliometría y evaluación de la ciencia 1

Bases de datos para evaluación de la

ciencia

Taller de Bibliometría y evaluación de la ciencia

Page 19: Bibliometría y evaluación de la ciencia 1

Elección de la fuente de información

• Encontrar una BBDD que responda a nuestras necesidades en función de lo que queremos evaluar

• BBDD Nacional o Internacional

• BBDD Temática o multidisciplinar

• BBDD de producción, actividad científica o para el análisis

Page 20: Bibliometría y evaluación de la ciencia 1

BBDD Internacionales

Multidisciplinares– WoS– Scopus– Google Scholar

Temáticas– Medline– Inspec– PsycInfo– …

• JCR• ESI• Eigenfactor• SJR

PRODUCCIÓN ANÁLISIS

• Esp@cenet• WIPO• NTIS• UMI

ACTIVIDAD

Page 21: Bibliometría y evaluación de la ciencia 1

Web of Knowledge (WOS, JCR, ESI)

Page 22: Bibliometría y evaluación de la ciencia 1

• http://www.accesowok.fecyt.es/wos/• BBDD de referencia en la ciencia mundial para

estudios bibliométricos• Cubre las mejores revistas en todas las áreas

temáticas• Indiza más de 10.000 revistas y 100.000 actas

de congresos (40 millones de registros)• Consta de varios índices (SCI, SSCI, AHCI y

CPCI)• Orientación anglosajona y a ciencias básicas• 149 revistas españolas a fecha abril 2009

(Rodríguez-Yunta, L. Revistas españolas en WoS, 2009)

Web of Science (WOS)

Page 23: Bibliometría y evaluación de la ciencia 1

Búsqueda básica (13 campos de consulta)

Page 24: Bibliometría y evaluación de la ciencia 1

• Year published: año de publicación del artículo

• Timespan: años en que la referencia ha sido procesada por WoS

Cuidado con la búsqueda por fechas

Page 25: Bibliometría y evaluación de la ciencia 1

1

2

Búsqueda de autores (author finder)

Ejemplo: Emilio Delgado López-Cózar

Page 26: Bibliometría y evaluación de la ciencia 1

• Selecciona la forma adecuada

• Añade otra posible firma del autor

3

4

5

Page 27: Bibliometría y evaluación de la ciencia 1

Resultados

6 7

8

Refina por áreas o instituciones

Page 28: Bibliometría y evaluación de la ciencia 1

• Cuidado con la sintaxis de WoS

• Cuidado con los autores con dos apellidos

• Cuidado con los homónimos

• Cuidado con nombre regionales, abreviaturas o “nombres artísticos”

• Cuidado con los errores de indización

• Extremo cuidado al limitar por los campos afiliación o categoría JCR

O usa directamente la búsqueda básica, pero…

Page 29: Bibliometría y evaluación de la ciencia 1

• No admite tildes ni eñes

• Sólo la(s) inicial(es) del nombre de pila

• Admite operadores booleanos en el mismo cuadro de búsqueda

• Truncamiento con * para ampliar las búsquedas

Cuidado con la sintaxis de WoS

Page 30: Bibliometría y evaluación de la ciencia 1

• El porcentaje de investigadores españoles que aparecen bajo dos o más nombres diferentes oscila entre un 20% y un 40% según los estudios (Costas et al. 2006; Ruiz-Pérez et al. 2002).

• Los propios investigadores son responsables de esta variabilidad en su forma de firma, ya que utilizan distintas formas a lo largo de su producción

• Además, las bases de datos bibliográficas cometen con errores al transcribir la información a su registro electrónico, sobre todo derivadas de sus prácticas de indización adaptadas a las estructuras de nombres ingleses

Cuidado con los autores con dos apellidos

Page 31: Bibliometría y evaluación de la ciencia 1
Page 32: Bibliometría y evaluación de la ciencia 1

• Es complejo diferenciar entre autores homónimos, apellidos comunes, etc (López E, Rodriguez JM, Garcia A)

• En este caso hay que usar las opciones de WoS para refinar los resultados, a sabiendas de que podemos perder un pequeño porcentaje de la producción del autor

• La mejor forma de evitar este fenómeno es asesorar a los investigadores para que usen firmas lo más distintivas posibles.

Cuidado con los homónimos

Page 33: Bibliometría y evaluación de la ciencia 1

• Ramón Moncho

• José Luis Koldo

• Javier Xavier

• Rosario Charo

• Cuando hagamos búsquedas de autores es conveniente visitar antes su web personal, nos puede dar pistas sobre cómo firma, en qué revistas publica, sus colaboradores, …

Cuidado con nombres regionales, abreviaturas o nombres

“artísticos”

Page 34: Bibliometría y evaluación de la ciencia 1

Autores

Instituciones

Cuidado con los errores de indización de WoS

Page 35: Bibliometría y evaluación de la ciencia 1

AFILIACIÓN• Autores en estancias fuera de la institución a

veces no firman con su institución de origen• Autores con doble filiación a veces no usan ambas• La tipología Proceedings paper incluye sólo la

institución del primer firmante

CATEGORÍA JCR• Las revistas pueden estar asignadas hasta a 5

categorías ISI• Autores con investigación multidisciplinar

Extremo cuidado al limitar por afiliación o categoría

jcr

Page 36: Bibliometría y evaluación de la ciencia 1

Para el caso de las instituciones

• Piensa todas las posibles variantes de una institución

• WoS usa abreviaturas estándar y elimina las preposiciones

• universidad = univ; hospital = hosp

• Universidad de Murcia = Univ Murcia

• Universidad Politécnica de Valencia = ?

Para las instituciones

Page 37: Bibliometría y evaluación de la ciencia 1

• Opciones de filtrado de los resultados por áreas, tipos de documentos, años, instituciones, países, fuentes, autores, idiomas

• Opciones de análisis de resultados e informes de citación

• Opciones de ordenación• Historial de

búsquedas

• Opciones de exportación, impresión y guardar en listas

Page 38: Bibliometría y evaluación de la ciencia 1

• Encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS

• Ejemplo: citas recibidas por los artículos publicados en 2007 en la revista NO ISI Anales de Documentación

Cited Reference Search

Page 39: Bibliometría y evaluación de la ciencia 1

• Thomson cuenta con un listado maestro (master list) donde aparecen las revistas recogidas en sus índices de citas http://science.thomsonreuters.com/mjl/

¡Ojo! No confundir con JCR: No todas las revistas incluidas en WoS tienen factor de impacto JCR

Cómo localizar las revistas indexadas en la WoS

Page 40: Bibliometría y evaluación de la ciencia 1

• ¿Qué producción tiene la Universidad de Vigo en 2008?– ¿Cuál es su promedio de citas?– ¿Qué país es su principal colaborador?

• ¿Cuántas citas ha recibido Pedro Cavadas en sus trabajos publicados en la revista J PLAST RECONSTR AES ?

• ¿Qué revista tiene como ISSN 1532-2882?– ¿En qué productos de Thomson está

recogida?

Práctica

Page 41: Bibliometría y evaluación de la ciencia 1

• http://www.accesowok.fecyt.es/jcr/• Base de datos que recoge los factores de impacto

de las revistas científicas seleccionadas por Thomson Reuters

• Podemos delimitar la búsqueda por año, categoría temática y países

• Recoge otros indicadores como posición de la revista en su categoría, índice de inmediatez, porcentaje de autocitas,

Journal Citation Reports (JCR)

Page 42: Bibliometría y evaluación de la ciencia 1

Factor de impacto de la revista

Categorías JCR a las que se adscribe

Posición de la revista en dichas categorías

Información básica de una revista

Page 43: Bibliometría y evaluación de la ciencia 1

• Si queremos recopilar sistemáticamente todos los indicadores JCR; FECYT ofrece los listados de impactos en formato excel desde 2002 http://www.accesowok.fecyt.es/news/2007/20070709.html

Descarga de JCR

Page 44: Bibliometría y evaluación de la ciencia 1

• Cuál fue el factor de impacto de la revista JAMA-JOURNAL OF THE AMERICAN MEDICAL ASSOCIATION  en 2008?

• ¿Cuál es la revista con mayor impacto de la categoría Allergy?

• ¿En qué cuartil se sitúa la revista El profesional de la Información en 2008?

Práctica

Page 45: Bibliometría y evaluación de la ciencia 1

• http://www.accesowok.fecyt.es/esi/• Indicadores a nivel macro de producción y citación• Nos proporciona un marco comparativo; podemos

confrontar los registros de un investigador o institución con áreas / países, etc

Essential Science Indicators (ESI)

Page 46: Bibliometría y evaluación de la ciencia 1

Papers más citados

Evolución anual Ránking de paises para la categoría

Page 47: Bibliometría y evaluación de la ciencia 1
Page 48: Bibliometría y evaluación de la ciencia 1

• ¿Qué posición ocupa España en número total de citas en el área de Matemáticas?

• ¿En qué percentil de la distribución se encuentra un autor del área de Ciencia de Materiales que publicó un trabajo en 2004 y que ha recibido 13 citas hasta la fecha de hoy?

• ¿Cuál es el número mínimo de citas que necesita un autor de Psicología para situarse dentro del 1% más citado en 2007?

Práctica

Page 49: Bibliometría y evaluación de la ciencia 1

• http://www.scopus.com/ • Base de datos multidisciplinar de Elsevier• Competencia directa de WoS• Casi 18.000 titulos diferentes• 38 millones de registros• 16500 revistas revisadas

• Fuente: Scopus in detail

Sin embargo,…

• No es tan selectiva como WoS• Prima la cantidad de fuentes sobre la “calidad” de las mismas

Scopus

Page 50: Bibliometría y evaluación de la ciencia 1

Búsqueda básica (18 campos)

Page 51: Bibliometría y evaluación de la ciencia 1

Basic Search

Affiliation Search

Búsqueda por institución

Ejemplo 1: Universidad de Murcia

Page 52: Bibliometría y evaluación de la ciencia 1

Basic Search

Affiliation Search

Ejemplo 2: AIDICO

Búsqueda por institución

Page 53: Bibliometría y evaluación de la ciencia 1

Affiliation Search

Ejemplo: Emilio Delgado López-Cózar

Cuidado en las búsquedas por autor

Page 54: Bibliometría y evaluación de la ciencia 1

• Problemas de normalización de autores e instituciones solventadas en gran parte con “author search” y “affiliation search”

• Guiones y tildes en la búsqueda afecta a los resultados

• Autores pueden estar indizados por el segundo apellido

• Errores ortográficos, fallos OCR,… Administradores y gestores documentales deberían ocuparse de la correcta indización de sus autores en las bases de datos internacionales

Cuidado en las búsquedas por autor

Page 55: Bibliometría y evaluación de la ciencia 1

• Refinar búsquedas (limitar /excluir)• Añadir categorías de filtrado• Ordenar resultados según criterios ascendente /

descendente• Análisis de citas• Exportar resultados

Resultados

Page 56: Bibliometría y evaluación de la ciencia 1

• http://help.scopus.com/flare/Content/tutorials/sc_menu.html

• Master List en http://info.scopus.com/detail/what/documents/title_list.xls

Tutoriales interactivos

Page 57: Bibliometría y evaluación de la ciencia 1

• ¿cuál es el artículo más citado de tu institución en 2007?

• ¿cuántos artículos publicó Bernat Soria entre 2006 y 2008?

• ¿cuál es el índice h del famoso cirujano plástico Pedro Cavadas?

Práctica

Page 58: Bibliometría y evaluación de la ciencia 1

• Subproducto de Google especializado en buscar e identificar material bibliográfico publicado de carácter científico-académico

• ¿Qué encuentra?– Referencias bibliográficas con resúmenes– Textos completos– Citas

http://scholar.google.es/

Google Scholar

emilio delgado
Page 59: Bibliometría y evaluación de la ciencia 1

Simple

Avanzada muy pocas opciones de búsqueda por campos

Búsquedas simple y avanzada

Page 60: Bibliometría y evaluación de la ciencia 1

1. Resultado que nos dirige al documento original a texto completo

2. Resultado que nos devuelve una cita

3. Resultado que nos dirige a una fuente secundaria donde se recoge el documento

Tipos de resultados

Page 61: Bibliometría y evaluación de la ciencia 1

• Breve descripción bibliográfica del documento (título, autores, revista/fuente, año).

• (1) Tipo de documento, formato (pdf, html) o el tipo documental (libro, cita)

• (2) Flecha verde indica que GS da acceso al texto completo • (3) Web fuente de la información (servidor, repositorio, etc.) • (4) “citado por”, muestra el listado de documentos recopilados por GS

que citan el trabajo• (5) Versiones que ha localizado de un mismo trabajo (preprints, etc).

La versión del editor, si se indexa, es la versión principal. • Otras opciones: exportar el registro a un software de gestión

bibliográfica (6) localizar el documento en una biblioteca (7)

Estructura de un registro en GS

Page 62: Bibliometría y evaluación de la ciencia 1

• Identifica y muestra todas las posibles versiones de un documento que figuren en sus índices

• El rastreador de GS identifica todas las localizaciones en distintas URLs a las que puede acceder

Versiones del mismo documento

emilio delgado
Page 63: Bibliometría y evaluación de la ciencia 1

Versiones del mismo documento

Page 64: Bibliometría y evaluación de la ciencia 1

– Libros– Artículos de revistas científicas– Comunicaciones y ponencias a congresos– Informes científico-técnicos– Tesis, tesinas o memorias de grado– Trabajos científicos depositados en repositorios, archivos

de preprints – Páginas web personales o institucionales etc…– Cualquier publicación con resumen

• No cubre– Reseñas de libros y editoriales– Libros de texto y monografías– Periódicos y revistas comerciales

Cobertura de Google Scholar

emilio delgado
Page 65: Bibliometría y evaluación de la ciencia 1

COBERTURA DE REVISTAS CIENTÍFICAS

• No existe ningún tipo de control en los procesos de selección de las revistas que indiza por la que todo tipo de revistas tienen cabida

▲• Rigurosos proceso de selección de las revistas científicas, especialmente en la Web of Science

• Mala cobertura de las revistas de Humanidades y Ciencias Sociales presentes en otras bases de datos (MLA Bibliography, Philosopher’s Index, PsycInfo, Sociological Abstracts, …)

• Tradicional mala cobertura de revistas de Humanidades y Ciencias Sociales. Política de expansión en la actualidad en estos ámbitos del conocimiento.

Comparativa GS vs WoS/ScopusGoogle Scholar

Índices de citas multidisciplinares(Web of Science; Scopus)

Page 66: Bibliometría y evaluación de la ciencia 1

Google ScholarÍndices de citas multidisciplinares

(Web of Science; Scopus)

PRECIO

▲ • Libre Acceso ▼ • Pago de licencias

COBERTURA GENERAL

▼• Falta de trasparencia en la cobertura. No se declaran acuerdos con editoriales ni de las fuentes que se indizan

▲• Transparencia absoluta en las fuentes que componen las bases de datos. Disponibilidad de Master List actualizados

• Cobertura de una amplia tipología de fuentes de información: repositorios, bases de datos, catálogos on-line de bibliotecas, web personales e institucionales (universidades, institutos de investigación, sociedades científicas, empresas…), productos de Google (Google Patents y Google Books)

▲• Posibilidad de encontrar documentos muy diversos: pre-prints, artículos revistas, libros, tesis, informes, comunicaciones a congresos…

▼• Solo cubren los contenidos de revistas científicas y recientemente libros de actas de congresos (WoS: Conference Proceedings Citation Index)

▼• Cobertura de documentos que podrían no ser de carácter académico: programas de asignaturas, guías de biblioteca, temarios, etc...

▲• Contenidos exclusivamente científicos y mayoritariamente sometidos a revisión

▲ • Mayor cobertura de literatura en lenguas nacionales ▼• Dominio de la literatura de carácter anglosajón. Especialmente en WoS

▲• Acceso directo a publicaciones científicas a texto completo y gratuitas

▼ • Acceso solo a la referencia de los artículos

▲• Acceso directo al documento si la biblioteca lo tiene contratado

▲• Acceso directo al documento si la biblioteca lo tiene contratado

• Localiza citas emitidas por los documentos no cubiertos por otras bases de datos, especialmente desde preprints, congresos o tesis doctorales. Esta característica lo hace especialmente útil para las siguientes disciplinas: Humanidades, Ciencias Sociales e Ingenierías

▼ • Solo localiza citas de revistas y congresos

Page 67: Bibliometría y evaluación de la ciencia 1

INTERFAZ, BÚSQUEDAS y RESULTADOS

▼• Solo ofrece tres campos de búsqueda (Autor, Revista y Año de Publicación)

▲• Posibilidad de buscar en 13 campos diferentes en WoS y 18 en Scopus

▼• No tiene ninguna herramienta para analizar resultados

▲• Herramientas de análisis bibliométricos on-line como Citation Report en WoS

▼• Los resultados se presentan directamente ordenados por número de citas y no existen otras opciones

▲• Permiten ordenar los resultados según diferentes opciones (Título, Nº de citas, fecha de publicación, primer autor,…)

▼• Solo permite exportar los resultados, uno a uno, a un software bibliográfico.

▲• Exportación de los resultados en diferentes formatos (RIS, txt, tabulados, etc…)

▼• Gran coste en el procesamiento de los datos lo que hace difícil su uso en estudios de gran escala.

▲• Costes de procesamiento de la información con menores costes en horas.

▼• Presenta gran variedad de resultados duplicados

▲• Posibilidad de exportar los resultados a software de análisis de datos: Publish or Perish

▲• Posibilidad de exportar los resultados a software de análisis de datos: Histcite, Refviz, NWB, BibExcel

▼• Solo se muestran los 1000 documentos en cada consulta

▲• Se puede consultar todos los resultados que una consulta genera

▲• Localiza las diferentes versiones de un documento y las agrupa bajo un mismo encabezamiento de título

▼• No identifica ante que tipología documental nos encontramos. Tan solo los libros

▲• Cada registro está clasificado en una tipología documental (artículo, revisión, carta, nota, recensión, etc….)

▼ • Solo incluye el filtrado por 7 disciplinas ▲• Incluyen diversas opciones de filtrado (disciplina, año, tipo documental) que nos permiten refinar las búsquedas

Page 68: Bibliometría y evaluación de la ciencia 1

CONTROL DE LA INFORMACIÓN

▼• No existe normalización de los autores

▲• No existe normalización pero tienen herramientas para identificación de autores (WoS=Author Finder)

• Ausencia de cualquier tipo vocabulario controlado. No existe control de las revistas científicas, éstas pueden aparecer indizadas de diferente forma

▲• Control absoluto de las revistas científicas

Page 69: Bibliometría y evaluación de la ciencia 1

• el texto completo de un trabajo en acceso abierto

• las citas recibidas por un trabajo

• los trabajos producidos por un autor

• trabajos sobre un tema

Podemos encontrar

•Es adecuado para localizar información concreta (análisis a nivel micro)…

En conclusión

emilio delgado
Page 70: Bibliometría y evaluación de la ciencia 1

• Los datos de GS no tienen ninguna normalización, consecuencia de la amplia cobertura, la variedad de fuentes de información y el procesamiento automático de la información

• Para la elaboración de un mismo ranking bibliométrico el procesamiento de los datos con WoS lleva 10 horas, con Scopus 20 y con GS 300

• El programa Publish or Perish http://www.harzing.com/pop.htm facilita el análisis bibliométrico de resultados de GS, pero es costoso en cuanto al tratamiento de los datos

Pero no es adecuado para realizar análisis

bibliométricos

Page 71: Bibliometría y evaluación de la ciencia 1

• ¿Cuál es el artículo más citado de Cavadas PC entre 2006 y 2009?

• ¿Son todas esas citas correctas?

• Busca el mismo artículo en WoS, ¿cuántas citas tiene?

Práctica

Page 72: Bibliometría y evaluación de la ciencia 1

• Indicadores alternativos al FI

• Productos gratuitos y de libre acceso

• Usan algoritmos que valoran la importancia de la revista citante (al modo del PageRank de Google)

• http://www.eigenfactor.org/

• http://www.scimagojr.com/

• Diferentes fuentes para su cálculo: Eigenfactor usa WoS; Scimago usa Scopus

Eigenfactor y SJR

Page 73: Bibliometría y evaluación de la ciencia 1
Page 74: Bibliometría y evaluación de la ciencia 1
Page 75: Bibliometría y evaluación de la ciencia 1

BBDD Nacionales

Multidisciplinares– CSIC– DIALNET

• IN-RECS• IN-RECJ• RESH• DICE• LATINDEX

PRODUCCIÓN ANÁLISIS

• TESEO• OEPM

ACTIVIDAD

Page 76: Bibliometría y evaluación de la ciencia 1

http://ec3.ugr.es/in-recs/

http://ec3.ugr.es/in-recj/

IN-RECS e IN-RECJ

Page 77: Bibliometría y evaluación de la ciencia 1

• Índice Bibliométrico de Revistas Científicas Españolas de Ciencias Sociales (IN-RECS) y de Ciencias Jurídicas (IN-RECJ)

• Propósito: medir impacto y proporcionar perfiles bibliométricos de Revistas, Artículos, Autores e Instituciones

• Instrumento útil para medir impacto de la ciencia producida y publicada en España

• Paliar lagunas de la WOS (sólo 33 revistas españolas en CCSS y 2 en CCJJ)

• Valorar los hábitos de publicación y citación de los científicos españoles de CCSS y CCJJ

• Proporcionar una herramienta útil a las Agencias Evaluadoras: CNEAI, ANECA, Autonómicas

• Reconocer la idiosincrasia y el carácter regional, nacional o local de la investigación en CCSS y CCJJ

¿Qué es y por qué es necesario?

Page 78: Bibliometría y evaluación de la ciencia 1

• Pretende obtener el respaldo de la comunidad científica española

• Alcanzar la máxima representatividad de las distintas especialidades en las que se vertebran las disciplinas científicas de las Ciencias Sociales

• Exigencia de que las revistas fuente posean una acreditada calidad editorial

• Apliquen un sistema riguroso de selección de originales• Cuenten con reputados comités editoriales• Primar la selección sobre la exhaustividad• La ciencia es selectiva por naturaleza (Ley Bradford)• Razones económicas

Algunas consideraciones

Page 79: Bibliometría y evaluación de la ciencia 1

Algunas cifras

Page 80: Bibliometría y evaluación de la ciencia 1

¿Qué información nos da?

Page 81: Bibliometría y evaluación de la ciencia 1

¿Qué información nos da?

Page 82: Bibliometría y evaluación de la ciencia 1

Detalle Categoría y Autores más citados

Page 83: Bibliometría y evaluación de la ciencia 1

• ¿Cuál es el índice de coautoría de Revista de Psicología del Deporte?

• ¿Cuál es la institución con más citas por artículo en Geografía?

• La Revista Española de Investigaciones Sociológicas, ¿ha estado algún año en el tercer cuartil de su categoría?

Práctica

Page 84: Bibliometría y evaluación de la ciencia 1

Difusión y Calidad Editorial de las Revistas Españolas de Humanidades yCiencias Sociales y Jurídicas

Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas

• ELABORADOS POR IEDCYT (CSIC)

• UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA

RESH y DICE

http://dice.cindoc.csic.es/

http://resh.cindoc.csic.es/

Page 85: Bibliometría y evaluación de la ciencia 1

● BASES DE DATOS

● PERIODICIDAD

● EVALUADORES EXTERNOS

● APERTURA DEL CONSEJO EDITORIAL

● APERTURA EXTERIOR DE LOS AUTORES

● ÍNDICE DE VALORACIÓN A+B

● ÍNDICE DE IMPACTO MEDIO (sin actualizar)

● CRITERIOS LATINDEX

Actualmente RESH en proceso de integración con IN-RECS

Metodología de evaluación en RESH y DICE

Page 86: Bibliometría y evaluación de la ciencia 1

Detalle de categoría en RESH

Page 87: Bibliometría y evaluación de la ciencia 1

¿Qué es Latindex?

Detalle de revista en DICE

Page 88: Bibliometría y evaluación de la ciencia 1

Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal

OJO tiene dos productos

- DIRECTORIO: 16,963 revistas. Información básica normalizada

- CATÁLOGO: 3,381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad

!

!

El catálogo LATINDEX

Page 89: Bibliometría y evaluación de la ciencia 1

● CARACTERÍSTICAS BÁSICAS: mención de cuerpo editorial, antigüedad, mención del director, lugar de edición, entidad editora, etc..

● PRESENTACIÓN: páginas de presentación, tabla de contenidos, miembros del consejo editorial, afiliación de los autores, etc..

● GESTIÓN Y POLÍTICA EDITORIAL: sistema de arbitraje, evaluadores externos, autores externos, apertura editorial, cumple la periodicidad, etc..

● CARACTERÍSTICAS DE LOS CONTENIDOS:

contenido original, resumen, palabras clave, intrucciones autores, etc…

Metodología de Latindex basada en el cumplimiento de 33 criterios repartidos en 4 bloques

Metodología de evaluación

Page 90: Bibliometría y evaluación de la ciencia 1

• http://bddoc.csic.es:8080/index.jsp• Recopilan producción científica en CCSS (ISOC),

CyT (ICYT) y BIOMED (IME)• Retrasos en la indización• Buen control bibliográfico de la información• Permite la descarga de registros para

almacenarlos en local; tratamiento con gestor de referencias, …

• 2 versiones: una de acceso gratuito (registro básico) y otra por suscripción (registro completo)

CSIC

Page 91: Bibliometría y evaluación de la ciencia 1

Selección y exportación de resultados

Page 92: Bibliometría y evaluación de la ciencia 1

• http://dialnet.unirioja.es/• Portal de difusión de la producción científica

hispana• Proyecto liderado por la Universidad de la Rioja en

colaboración de bibliotecas universitarias españolas

• Recopila articulos (5541 revistas), congresos, capítulos de libros, tesis aunque no es exhaustivo

• Permite la selección y descarga de registros para las instituciones colaboradoras

• ¡Cuidado! A veces no recoge todos los autores de un documento y modifica el orden de los firmantes

Dialnet

Page 93: Bibliometría y evaluación de la ciencia 1

Selección de documentos

Formatos de salida