Bibliometría y evaluación de la ciencia

Evaluación de la actividad científica y escritura de artículos

de impacto

Orlando Gregorio-Chaviano

Taller • Evaluar tendencia a partir de las necesidades.- Revistas de mayor visibilidad- Autores e instituciones de mayor importancia. • Obtención de indicadores de impacto de

revistas- Indicadores desde JCR y SJR• Evaluación de aspectos de gestión- Alcance, tiempos de gestión • Construcción de la identidad digital para la

visibilidad de los autores

REVISTA FACTOR IMPACTO

Q Promedio autores

Promedio referencias

No. palabras

clave

Tiempos de respuesta

Scientometrics 2.084 1 6 41 5 3 meses

Profesional de la información

0.710 3 4 29.3 6 2 meses

Rev. Española Doc. Científica

0.551 3 5 33.1 5 2 meses

Journal of Documentación

1.063 2 6 60.9 4 1 mes

Investigación Bibliotecológica

0.146 4 5 40 8 6 meses

GESTION

Proceso de publicación (ANTES)

Análisis de tendencias (cambio de enfoque y de estrategia) - Estándar internacional, menos publicaciones, problemas relevantes.

Colaboración - Número de autores, firmas internacionales…

Selección de la revista - Indicadores bibliométricos y de gestión

Proceso de publicación (DURANTE)

Bibliografía -Actualidad, trabajos que ha publicado la revista, citar toda la estructura de citación del tema. Autores y revistas relevantes…..-Equilibrio en las referencias (promedio de las revistas)Tablas y gráficos (equilibrio) Normas de la revistaEnvío a colegas …

Proceso de publicación (DESPUES)

o Hacer una “cover letter”o Organizar el manuscrito…o Dejar claro el autor de correspondencia o Organizar el trabajo de revisión para dar

respuesta a los revisores…o Incluir ORCID (orcid.org)

Cover letter CARACTERISTICAS •Dirigirla al editor •Carácter más informar que el manuscrito•No extensa•No es un copy/paste del resumen

QUE DEBE INCLUIR •Título y autores•Premisas básicas del estudio •Novedad e importancia •Qué no se ha enviado a otra revista •Propuesta de revisores o No

Firma del artículo

FIRST - LAST - AUTHOR

o Herramienta de evaluación y disciplina instrumental…

o Su importancia radica en los indicadores que aporta y que posibilitan el análisis cuantitativo y cualitativo para conocer regularidades.

Bibliometría

Aplicación de las matemáticas y los métodos estadísticos al objeto de estudio de la Bibliotecología. Comprende la aplicación de análisis estadísticos para estudiar las características del uso y creación de los documentos, el estudio cuantitativo de la producción de documentos, la aplicación de métodos matemáticos al análisis del uso de los libros y otros soportes, dentro y entre los sistemas de bibliotecas.

Bibliometría: el origen

Topic NdocBibliometric 4907Informetric 312Scientometric 1331

Bibliometría: aplicación matemática y

estadística a los libros (Alan Pritchard, 1969)

Cienciometría: Aplicación de métodos cuantitativos

al desarrollo científico. (V.V. Nalimov y B. M.

Mulchenko, 1969)

Informetría: Aplicación de métodos matemáticos y estadísticos al objeto de

estudio de la ciencia de la información para describir fenómenos. (Otto Nacke,

1979).

INDICIOS DE CALIDAD – MEDIDAS DE EVALUACIÓN DE LA INVESTIGACIÓN

PRODUCCIÓN CIENTIFICA EN REVISTAS DE IMPACTO

POSICIÓN DE LA REVISTA EN LA CATEGORÍA SEGÚN IMPACTO

o El “prestigio” de un investigador se mide por sus publicaciones científicas.

o La publicación científica como principal insumo en la evaluación.

o La cita es reflejo de la visibilidad y la influencia científica.

Principios básicos

Cuantitativos- Bibliometría- Indicadores de I+DCualitativos- Per Review - RevistasMixtos- Combinación de los anteriores

La evaluación de la calidad

Niveles de agregacióno MacroPaíses, regiones, instituciones….o MesoUniversidades, departamentos, grupos de

investigación…o MicroPersonas, grupos, secciones….

Tener en cuentao Hábitos de citación.o Envejecimiento de las disciplinaso Formas de comunicación de la cienciao Tipologías documentales.o Indicadores basados en las citaso Calidad de la investigación desde las citas.o Ventanas de citacióno Formas de recuento

Producción y Citación

Hábitos de citación

Cada disciplina tiene sus propios hábitos de citación y obsolescencia

HISTORIA

2011

2003

BIOLOGIA CELULAR

Tipologías documentales

NOTAS

La publicación como medida de calidad

Qué es una revista de impacto?

Aquellas indexadas en ISI WoS y Scopus……que generan visibilidad e impacto….

Y las que no están? ………….

Porqué publicar en revistas de impacto?

o Mayor visibilidad (autores e instituciones)

o Atracción de recursos económicos (institucion)

o Avances en la carrera científica (autores)

Web of Science (WoS) Servicio de Thomson (antiguamente ISI), contiene

aproximadamente 1,5 millón de registros y más de 23 millones de referencias citadas por año de más de 230

disciplinas de la ciencia, las ciencias sociales, las artes y las humanidades. 11 mil revistas científicas.

Incluye información bibliográfica completa para todos los archivos, incluyendo referencias citadas. Se actualiza

semanalmente y brinda acceso a las ediciones del Science Citation Index, Social Science Citation Index y Arts &

Humanities Citation Index y el Journal Citation Report (JCR).

Web of Science (WoS)

Scopus (Elsevier)o Base de datos multidisciplinaria y de

citas de revistas científicas …..o El número de revistas cubiertas por

SCOPUS es mayor que el de la WoSo Al igual que ISI WoS tiene

funcionalidades de uso bibliométrico

Google Scholar Proporcionado por Google permite realizar búsquedas en publicaciones académicas:

revistas, tesis, libros, resúmenes e informes técnicos de áreas de

investigaciónAcceso a Google Scholar Metrics para

evaluar revistas.

Publish or Perish (PoP)

Leyes

La Bibliometría se fundamenta en un conjunto de “leyes empíricas”, las cuales se han establecido gracias a estudios cuantitativos en los que interviene el recuento de nº de artículos, nº de revistas, nº de autores, etcétera.

Fundamentación

Algunas leyes o Ley de Bradford o concentración-dispersión

de la literatura. o Ley de Lotka o Ley de crecimiento

exponencial (distribución de autores). o Ley de Price o crecimiento exponencial. o Ley de obsolescencia (Índice de Price)

Ley de Bradfordo Origen marcado por su importancia

estratégica en el desarrollo de colecciones.

o En la actualidad posibilita conocer los núcleos de especialización temática y de productividad en las áreas del conocimiento, es decir, cuáles son las revistas más productivas por área.

o De esta verificación llega a la conclusión de que “en una determinada materia las publicaciones periódicas pueden ser clasificadas en tres grupos, de acuerdo con los criterios siguientes:

Aquellas altamente productivas; las medianamente productivas y las escasamente productivas.

Formulación teórica

...tres zonas con la misma cantidad aproximada de artículos, pero

diferente cantidad de publicaciones: la zona núcleo con pocas revistas y la

zona III o alejada del núcleo con muchas revistas.....

Formulación teórica

Ejemplo

  REVISTAS POR ZONA

ARTICULOS POR ZONA

Núcleo 3 101

Zona 2 7 130

Zona 3 30 84

Importancia

• Un núcleo reducido de revistas concentra la mayor cantidad de artículos sobre un tema.

• La concentración de la productividad es sinónimo de especialización.

Ley 80/20

Núcleo y dispersión

Concentración

Dispersión

o Postulado de Lotka “…un menor número de autores publica el mayor número de artículos siendo el grupo más representativo y productivo en el área del conocimiento estudiada.”

o Distribución inversa

Ley de Lotka

o La literatura científica pierde actualidad cada vez más rápido, mientras que el número de publicaciones (Ndoc) se multiplica por dos cada 10-15 años, el número de citas (Ncit) que reciben tales publicaciones se divide por dos cada diez años aproximadamente.

o La vida media de la literatura de las diversas ramas científicas es variable; por ejemplo en Física, es de tres a cinco años, en Química, de siete a ocho, en Matemáticas de diez años y en algunas ciencias sociales más de diez años.

Ley de Price

o Relacionado con el consumo de información.

o Porcentaje de referencias con una antigüedad menor a 5 años (Price, 1965). Las revistas que publican artículos referidos a campos muy dinámicos suelen tener una vida media baja y un índice de Price alto.

Índice de Price

Análisis bibliométrico de la literatura científica publicada en "Ciencia. Revista hispano-americana de ciencias puras y aplicadas" (1940-1974)

Índice de Price para una revista

Indicadores ……

o Representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución.

o Miden las acciones relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos.

o Constituyen una de las herramientas más utilizadas para la medición del producto de la investigación científica.

Martínez E, Albornoz M. Indicadores de Ciencia y Tecnología: estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO. 1998.

Macías Chapula CA. Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional. Acimed. 2001;9

Indicadores

Importancia de indicadores

Se emplean como herramienta de apoyo a la toma de decisiones en la gran cantidad de escenarios de la política científica:

oRankingsoEvaluaciones institucionalesoAgencias nacionales de evaluación

Herramienta de diagnósticoDirección de la investigación:- Discusión sobre las posibles estrategias de publicación y dirección de la investigación

Complemento del Peer Review:- Juicios de calidad sobre la investigación

Conocimiento de los sistemas de investigación:- Conocer cuestiones críticas para el direccionamiento de la investigación

Indicadores

o Los que miden la cantidad de las publicaciones científicas (indicadores de publicación)

o Los que miden la calidad y el impacto desde las relaciones entre las publicaciones científicas (indicadores de citación)

PRODUCCION IMPACTO

COLABORACION ALTMETRICOS

Indicadores

Producción oProducción absoluta (Ndoc total y por años)oNo. de documentos citables (Totales y por años)oTasa de variación interanual (TV)oÍndice de actividad (IA)oÍndice de esfuerzo temático (IET)

Indicadores

LimitacionesIndicadores de producción

o Miran o evalúan solo la cantidad obviando la calidad.

o Potencian el síndrome Publicar o Perecer (PoP) al dividir investigaciones en varias publicaciones

o No siempre la productividad es sinónimo de relevancia el progreso científico.

Citación oNúmero de citas y citas por documentoo Citas en tipologías citables y niveles de agregación o Factor de impacto (impact factor)o Factor de impacto normalizado (FIN)o SJR (Scopus)o Distribución de revistas por cuartiles (Q)o Cantidad de publicaciones altamente citadas (top)o Indice h y sucesivos

LimitacionesIndicadores de citación

o Los científicos y las revistas científicas (editores) pueden hacer “ingeniería de impacto”.

o La cita no debe verse 100% como reflejo de la calidad de la investigación pues viene unida a diversos factores.

Colaboración científica o Documentos en colaboracióno Indice de coautoría (autores por

documento)

o Colaboración nacional, internacional…..

o Citas con colaboracióno % de documentos citadoso Liderazgo científico

Colaboración- Número de documentos en colaboración, tasa de colaboración (%)-Tipología y patrones de colaboración

La colaboración con científicos muy productivos y visibles aumenta la citación

Altmétricos- Se obtienen de las redes sociales (especialmente visualizaciones y descargas)

Indicadores (otros)

Tasas de colaboración (número y % de doc en colaboración)

Índice de coautoría general (aut/art)Índice de coautoría institucional (autores

inst / total autores)Número de Instituciones firmantes

(absoluto)Patrones de colaboración (interna, nacional,

internacionales) (absoluta y en%)

Indicadores de colaboración

Sin colaboración (WithoutC): Documentos con afiliación única. Solo participa UNA institución.

Colaboración nacional: DOS instituciones distintas de un mismo país.

Colaboración internacional: Documentos con afiliaciones de más de un país. Si se analizan documentos de COL y hay un autor de USA, ya es internacional.

Tipos de colaboración

Causas aumento colaboración

La alta especialización de la ciencia actual - creación de equipos de investigación cada más vez más amplios.

Multidisciplinariedad de los programas de investigación - provocan la necesidad de contar con científicos de diferentes áreas.

El coste de determinados proyectos donde se hace necesario compartir los recursos disponibles.

El desarrollo de internet que ha agilizado y facilitado el intercambio fluido de ideas.

Los tiempos de dedicación a la investigación.

LimitacionesIndicadores de colaboración

o Tendencias desmesuradas en las colaboracióno Se afirma que la colaboración genera citas,

pero depende no se la colaboración en cuanto a números sino en cuanto a con quién se colabora.

o Indicios de calidad - La revista donde se publica

(factor de impacto, SJR, índice h..) - Las citas que recibe un agregado - Índice h del autor, h del grupo de

investigación…..

Se calcula dividiendo el número de citas recibidas en el año actual sobre el total de artículos publicados en los dos años anteriores. Ejemplo: FI = citas recibidas en el año actual por los artículos publicados en los dos años precedentes vs cantidad

total de artículos publicados en los dos años precedentes.

Factor de impacto ISI

Factor de impacto - EjemploCitas recibidas en 2013 por los artículos publicados en 2011 y 2012

o Citas recibidas 2013 por los artículos publicados en 2011 = 85 o Citas recibidas 2013 por los artículos publicados en 2012 = 98

Total Citas = 183 Número de artículos publicados en 2011 y 2012

o Número de artículos publicados en 2011 = 178 o Número de artículos publicados en 2012 = 185

Total Artículos = 363 IMPACT FACTOR = Citas (183) / Artículos (363) = 0,50

Mide el prestigio científico de las fuentes: Una publicación transmite su propio “prestigio” a otra por el hecho de citarla. Una cita de una revista con un SJR relativamente alto tiene un mayor valor que una cita de una con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.

Scimago Journal Rank (SJR)

SNIP (Impacto normalizado por publicación)

Número de citas del año actual a las publicaciones de tres años atrás dividido por el total de publicaciones de esos tres años anteriores.

La diferencia con IPP es que en el caso de citas son normalizados para corregir diferencias de prácticas de cita entre campos científicos. http://www.journalindicators.c

om/

Listado de revistas ordenadas de mayor a menor factor de impacto (o SJR) se divide en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el IMPACTO más alto están en el primer cuartil.

Distribución por cuartiles

Cuartiles

Revistas más citadas Q1

Q2

Q3

Revistas menos citadas Q4

+ Grado de

dificultad

- Grado de

dificultad

Mide el prestigio científico de fuentes de investigación: valor de citas ponderadas por documento. Una publicación transmite su propio “prestigio” o estatus a otra por el hecho de citarla. En la práctica, esto significa que una cita de una fuente con un SJR relativamente alto tiene un mayor valor que una cita de una fuente con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.

Scimago Journal Rank

o Se toman cada uno de los trabajos de un autor en un período de tiempo y se listan en forma descendente en función del número de citas recibidas.

o Se construyen dos (2) listas; una ascendente (ranking) y una descendente (citas).

Mayor número de orden donde la cantidad de citas sea mayor o igual (no menor) al número de

orden, será considerado el Índice Hirsch o Índice h de ese autor.

Índice h

RANGO CITAS1 62 53 44 45 26 17 18 19 0

10 0

RANGO A1 A21 21 133

2 17 15

3 15 9

4 15 4

5 15 4

6 13 3

7 11 3

8 10 3

9 9 2

10 8 1

11 7 1

12 5 1

13 5 1

14 4 1

15 4 1

16 4 1

40 189 189

Autor 1 (A1)o Índice h: 9

AUTOR CON 9 TRABAJOS CON AL

MENOS 9 CITAS

Autor 2 (A2) o Índice h: 4

o Valora un esfuerzo científico prolongado a lo largo de la vida académica e investigativa.

o El aumento del número de artículos publicados no tiene efecto inmediato sobre el índice h.

o Un artículo muy citado no influye en el índice h.o Los artículos pocos citados tampoco influyen en

el valor del índice.

Características

Índice h sucesivos* Se calculan siguiendo la misma distribución o aplicación metodológica que el índice h. (llamado acá h1. Se pueden calcular para diferentes agregados.

1.Para un grupo de investigaciónSe ordenan todos los miembros del grupo en orden decreciente por su índice h individual (h1). Donde cruzan los umbrales se obtiene el índice h del grupo de investigación (h2)

2. Para una instituciónSe ordenan todos los grupos de investigación de la institución en orden decreciente por su índice h (h2). Donde cruzan los umbrales se obtiene el índice h de la institución (h3)

http://www.scimagoir.com/research.php

o Output: cantidad total de publicaciones de un agregado. o Publicaciones en Q1 (cuartil 1): proporción de artículos que

un país o institución logra publicar en las revistas científicas más prestigiosas del mundo en cada disciplina (25% superior). Este es un indicador de calidad que permite predecir que el impacto que alcanzarán los artículos publicados en esta revistas estará por sobre la media del mundo.

o Excelencia: representa la proporción de artículos de un agregado (país, área, categoría) incluido en el conjunto formado por el 10% de los trabajos científicos más citados del mismo agregado. (Q1)

o Liderazgo: Producción científica donde la institución evaluada está en el “correspondence author”.

o Colaboración: cantidad de la producción científica de un agregado que tiene colaboración (nacional, internacional)

Indicadores Scimago

Enfoques estratégicos para la evaluación

o Selección de revistas para publicar.o Análisis de tendencias ( artículos citados,

revistas más productivas, instituciones …..o Cómo evaluar el output científico de la

institución o área, autoreso Cómo ascender en el cuartil.o Cómo acceder a corriente principal.

Evaluación y selección de revistas: análisis de tendencias

Resultados ordenados por citas

1

2

3

Resultados pertinentes (fuente y relacionados)

Evaluación desde Journal Citation Report (Incites)

Comparar revistas

Tener en cuenta Cuartil o tendencia, seleccionar las

revistas, el año, y la métrica

Evaluación de áreas del conocimiento

Revistas por ranking

Categorías por ranking

Scopus

% de no citados Q1 vs Q4

INDICADORES BIBLIOMÉTRICOS Y

DE GESTIÓN

ALCANCE

Búsqueda de una revista

En conclusión para medir y evaluar se necesita conocer…….

o Producción total de documentos (Ndoc) – (para diferentes agregados) y tasa de variación (con respecto a etapas anteriores)

o Citas recibidas (Ncit)o Documentos por cuartiles (Q) (alta, mediana y escasa

visibilidad)o Porcentaje de documentos citados (N doc cit)o Indice h de los autores (h index)o Producción con liderazgo.o Documentos en colaboración (nacional e internacional)o Citas con colaboración. o Indice de co-autoría. o Tasa de autoacitación. ….. y otros…..

Diseñar ficha de indicadores institucionales

Construcción de la identidad digital de los investigadores

o Identidad personal: ORCID, ResearcherID. o Repositorios, institucionales y temáticos. o Motores de búsqueda académicos: Google

Scholar Citations. o Redes sociales académicas: Academia.edu,

ResearchGate, Mendeley. o Redes sociales profesionales: LinkedIn. o Servicios contenedores: ImpactStory, Scholar

Mirrors.

ContribucionesInteraccionesReputación

COMPETIR

Visibilidad e impacto

Indicadores para todo el perfil Indicadores históricos

Indicadores para un documento

Estadísticas

ORCID

De nada sirven todas las herramientas sino

tienes algo que decir……

Conocer el estado actual de la actividad científica institucional posibilita el diseño acertado de políticas científicas futuras, aumentar el output científico, la visibilidad y el impacto …

Deben estar involucrados los investigadores, los grupos de investigación, editores…

Gracias !!!!!

orlando.chaviano@gmail.com