Calidad de revistas y evaluación de la actividad investigadora

Calidad de revistas y evaluación de la actividad

investigadora

Presentación general del contexto de la publicación científica y su evaluación. Indicadores relacionados con “el

impacto “ de las revistas

Ana Cabeza Llorca – Octubre 2009 2

Indicadores relacionados con "el impacto" de las revistas científicas

1. Bibliometría y cienciometría

2. Evaluación de la actividad científica

3. Análisis de la producción literaria

4. Análisis de citas

5. Índices e indicadores




i. Citation Indexes

ii. Journal Citation Reportsa. Factor de impacto

b. Índice de inmediatez, cuartil, eigenfactor, article influence

iii. Índices desarrollados en España

iv. Otros indicadores de impacto: índice/factor h, PageRank, SJR



[...] llegando a establecer lo que yo llamaría una “estadística de las ideas”, a fin de precisar con todo rigor el instante cronológico en que una idea brota, el proceso de su expansión, el período exacto que dura como vigencia colectiva y luego la hora de su declinación, de su anquilosamiento en mero tópico, en fin, su ocaso tras el horizonte del tiempo histórico.

Ortega y Gasset (Misión del bibliotecario)



Años 60 del s. XX:

Bibliometría / Cienciometría o Ciencia de la ciencia



Bibliometría:

Estudios sobre la producción, comunicación y consumo de información científica enfocados a la gestión de bibliotecas (desarrollo de colecciones y servicios)



Documentación científica

Sociología de la Ciencia

Historia social de la Ciencia

Cienciometría / Ciencia sobre la Ciencia



Cienciometría / Ciencia sobre la Ciencia:

• Evaluación de la actividad científica

• Evaluación de la pertinencia

• Evaluación de la eficacia de la gestión



Evaluación de la actividad científica

• Identificar puntos fuertes y débiles

• Impacto de la financiación pública

Personas Organismos Disciplinas




Análisis de la producción literaria

Análisis de citas

Índices e indicadores



Producción literaria de un científico:

Informes

Notas técnicas

Libros

Tesis

Evaluaciones

Reglamentos

...

Artículos

Ponencias y comunicaciones

Patentes



Busca información de

otros

Realiza su investigación:

Cita a otros

Publica su trabajo:

Difusión

Debate público

Produce información para

otros

El investigador inicia su trabajo….

La comunicación científica



Inherente a la dinámica de la ciencia

Necesidad para evaluación:

Promoción Financiación Becas ...

Consumir y producir información escrita





Análisis de citas




Utilidad de las citas: Conexiones entre autores Conexiones entre grupos de

investigación Conexiones entre temas de estudio Conexiones entre zonas geográficas Impacto de los autores, obras y revistas

sobre la comunidad científica



Razones por las que se cita: Exposición abreviada de contenidos ya

expuestos en detalle con anterioridad Proveer lectura de fondo para profundizar Homenaje a los “pioneros” de un tema Acreditar trabajos relacionados



Desarrollo de ideas o métodos iniciados en trabajos previos

Evidencias adicionales a conclusiones previas

Comparación de métodos Conocimiento de teorías anteriores Corrección o crítica de trabajos previos



...Y también: Omisión de citar a todos los autores Se cita incluso a los ayudantes de

laboratorio, informáticos, etc. Citas de conveniencia “Referencias cosméticas” Autocitas Obliteración





Análisis de citas





i. Citation Indexes




iv. Otros indicadores de impacto: índice/factor h, PageRank, SJR



Definición de índice:

En un libro u otra publicación, lista ordenada de los capítulos, artículos, materias, voces, etc., en él contenidos, con indicación del lugar donde aparecen.

(DRAE, 22a. ed.)



Definición de indicador:

Expresión utilizada para describir actividades en términos cuantitativos y cualitativos con el fin de evaluarlas de acuerdo con un método.

(ISO 11620, UNE 50137)



Principales indicadores de evaluación:

1. Cómputo de publicaciones

2. Cómputo de citas = Indicadores de impacto

a. Trabajos (núm. total de citas)

b. Revistas (media de artículos citados)



+ CITAS

+ IMPACTO (VISIBILIDAD)

+ PRESTIGIO DE LA FUENTE

¿+ CALIDAD?



Primer índice de citas:Science Citation Index

(1961, Institute for Scientific Information)

Web of Science

(Thomson Reuters)

(+Social Sciences Citation Index

+Arts & Humanities Citation Index)



Un sistema bibliográfico que permita al investigador edificar sobre bases fiables

Rastrear conexiones entre ideas y disciplinas

Conocer las repercusiones del propio trabajo

(Garfield, 1955)



REVISTA A

• Art. A1

• Art. A2

• Art. A3

• Art. A4:

• art. B1

• art. C3

REVISTA B

• Art. B1

• Art. B2

• Art. B3

• Art. B4:

• art. A2

• art. A3

• art. C3

REVISTA C

• Art. C1

• Art. C2

• Art. C3

• Art. C4:

• art. A2

• art. C1

• art. B2



En un principio se rastrea el impacto o visibilidad de:

Los autores Los trabajos concretos



... Y posteriormente se explotan esos datos para conocer las revistas que reúnen los trabajos más citados

JCR

(Journal Citation Reports)



Primer indicador de impacto:

Factor de impacto

(Garfield)

+ FI = + prestigio ¿?

+ FI = + calidad de la revista ¿?

El conjunto de revistas con FI + alto son las publicaciones esenciales en ese campo ¿?



El FI de una revista es la media de veces que en un año determinado fueron citados los artículos publicados por esta revista durante los dos años anteriores



Cómo se calcula el FI de una revista:

Número de artículos publicados en esos dos años

Citas que han recibido durante el año x los artículos publicados en los dos años anteriores



Ejemplo. FI en 2008 para Psicothema:

253

307= FI 1.213





FI instrumento de ayuda a la toma de decisiones:

Desarrollo de colecciones Localizar revistas principales (core journals) Guía para los editores Guía para autores Evaluación de la ciencia por países,

instituciones o autores



Ventajas del FI: Visión global Fácil de entender y manejar No tiene en cuenta la frecuencia,

antigüedad o número de páginas Series temporales Visibilidad de publicaciones recientes



Limitaciones del FI: No sustituye a la revisión por pares Sesgo por lengua y área geográfica Cuentan las citas a cartas, editoriales,... Ventana de 2 años Ventana de 5 años



Fuente: ADLER, R., EWING, J., TAYLOR, P. (2009) Estadísticas de citas: un informe de la Unión Matemática Internacional (IMU)... La Gaceta de la RSME, 12(1), 2009, pp. 23-48



Indicadores complementarios al FI: Índice de inmediatez Cuartil Eigenfactor Article influence



Índice de inmediatez (immediacy index): Mide la rapidez con la que se cita un

artículo. Indica con cuánta frecuencia son citados los artículos de una revista en el mismo año



Cited half-life: n. de años de la publicación en que se acumula el 50% de las citas recibidas

Citing half-life: n. de años en que se acumula el 50% de las citas realizadas

Cited journal listing: lista de las publicaciones que con más frecuencia citan una revista



Citing journal listing: lista de publicaciones que con más frecuencia son citadas por una revista

Cited-only journals: revistas que son citadas pero no citan



Cómo se calcula el índice de inmediatez:

Número de citas a artículos publicados durante el año x

Número de artículos publicados durante el año x



Ejemplo para la revista Psicothema en 2008:

22

144

= 0.153




Cuartil: Es cada una de las cuatro partes en que

se divide una lista de revistas ordenadas de mayor a menor impacto.

Las revistas del primer cuartil son las de mayor impacto.

Ofrece un dato para conocer la posición relativa de una revista en su área





Eigenfactor: Otro indicador de impacto para las

revistas recogidas en JCR Indicador basado en el número de veces

que han sido citados en un año determinado los artículos publicados en esa revista durante los cinco años anteriores



Las diferencias con el FI son: Se cuentan las citas tanto de ciencias como de

ciencias sociales Elimina las autocitas (citas dentro de la misma

revista) Da más valor a las citas aparecidas en las

revistas más importantes. Las revistas más importantes son aquellas que tienen mayor cantidad de citas y consultas (algo similar a un PageRank)




Article influence: Indicador comparable al FI del JCR Mide la influencia o impacto medio de un

artículo dentro de su revista Se calcula dividiendo el Eigenfactor por el

número de artículos de la revista



El Article influence se mide respecto de una media de 1. Así, vemos que Science tiene 17 veces la influencia de la revista media recogida en JCR.

(Figura y texto tomados de BERGSTROM, C. (2007) Eigenfactor: measuring the value and prestige of scholarly journals. C&RL news (68)5, May 2007)





i. Citation Indexes




iv. Otros indicadores de impacto: factor h, PageRank, SJR



Índices desarrollados en España: SCImago Ciencias sociales:

• IN-RECS• RESH

Ciencias médicas:• Factor de Impacto Potencial de las

Revistas Médicas Españolas



Otros indicadores de impacto: Índice/Factor h PageRank (Google) SJR ...



Índice h: Establece el número de artículos que

tiene ese autor con tantas o más citas que su factor h.

Ejemplo: un índice h=20 significa que ese científico tiene 20 artículos que han sido citados 20 o más veces

Puede consultarse en WoS y SCImago



Ventajas del índice h: Impacto a lo largo del tiempo Sólo puede crecer o estancarse Permite comparar científicos de distintas

edades Es útil incluso en las carreras científicas

cortas



Inconvenientes del índice h: No tiene en cuenta la calidad de las

revistas No se pueden comparar distintas áreas Depende de si se usa WoK o Scopus “Penaliza” a los autores que publican

poco Incorporado a WoK y a SCImago



H=20 típico de una carrera exitosa después de 20 años investigando

H=35-45 se da entre los mejores científicos H=60 en científicos excepcionales Ejemplo: Ed Witten (físico de Princeton)

h=110 Ejemplo: Manuel Cardona (físico

experimental) h=60



PageRank (Google) Interpreta los enlaces de un recurso que

apuntan a otro como un voto A más “votos”, más importancia y más alto

el PR No todas los recursos tienen el mismo valor



El algoritmo de búsqueda y los criterios de valoración de recursos no son públicos

Se consulta a través de la Google Toolbar y algunas webs de usuarios

Veamos el PR de la BUC aquí En este algoritmo se basan otros

indicadores de impacto nuevos

http://www.mipagerank.com/



SJR (Scimago Journal Rank) Desarrollado por el grupo SCImago

Research Group Se calcula sobre Scopus de Elsevier Su algoritmo se basa en el PageRank de

Google



Cuenta el número de enlaces a una revista a través de la citación ponderada de sus documentos en relación con el número de documentos publicados durante el año por cada publicación

Es decir, que el recurso citante no tiene siempre el mismo valor (“citación ponderada”) al estilo del PR



Resumen de índices de publicaciones científicas: Citation indexes Journal Citation Reports (JCR) Scopus SCImago Google Scholar InRECS RESH FI potencial de Revistas médicas españolas



Resumen de indicadores de impacto:

JCR:• Factor de impacto• I. de inmediatez• Cuartil• Eigenfactor• Article influence

Índice h PageRank SJR



Bibliografía: CALLON, M., COURTIAL, J-P., PENAN, H.(1995)

Cienciometría. La medición de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea.

LÓPEZ LÓPEZ, P. (1996) Introducción a la bibliometría. Valencia: Promolibro.

MALTRÁS BARBA, B. (2003) Los indicadores bibliométricos. Fundamentos y aplicación al análisis de la ciencia. Gijón: Trea.

Documentación adicional del curso disponible en línea


[email protected]

Education

Calidad de revistas y evaluación de la actividad investigadora