Embed Size (px)
Citation preview
Evaluación de la actividad científica y escritura de artículos
de impacto
Orlando Gregorio-Chaviano
Taller • Evaluar tendencia a partir de las necesidades.- Revistas de mayor visibilidad- Autores e instituciones de mayor importancia. • Obtención de indicadores de impacto de
revistas- Indicadores desde JCR y SJR• Evaluación de aspectos de gestión- Alcance, tiempos de gestión • Construcción de la identidad digital para la
visibilidad de los autores
REVISTA FACTOR IMPACTO
Q Promedio autores
Promedio referencias
No. palabras
clave
Tiempos de respuesta
Scientometrics 2.084 1 6 41 5 3 meses
Profesional de la información
0.710 3 4 29.3 6 2 meses
Rev. Española Doc. Científica
0.551 3 5 33.1 5 2 meses
Journal of Documentación
1.063 2 6 60.9 4 1 mes
Investigación Bibliotecológica
0.146 4 5 40 8 6 meses
GESTION
Proceso de publicación (ANTES)
Análisis de tendencias (cambio de enfoque y de estrategia) - Estándar internacional, menos publicaciones, problemas relevantes.
Colaboración - Número de autores, firmas internacionales…
Selección de la revista - Indicadores bibliométricos y de gestión
Proceso de publicación (DURANTE)
Bibliografía -Actualidad, trabajos que ha publicado la revista, citar toda la estructura de citación del tema. Autores y revistas relevantes…..-Equilibrio en las referencias (promedio de las revistas)Tablas y gráficos (equilibrio) Normas de la revistaEnvío a colegas …
Proceso de publicación (DESPUES)
o Hacer una “cover letter”o Organizar el manuscrito…o Dejar claro el autor de correspondencia o Organizar el trabajo de revisión para dar
respuesta a los revisores…o Incluir ORCID (orcid.org)
Cover letter CARACTERISTICAS •Dirigirla al editor •Carácter más informar que el manuscrito•No extensa•No es un copy/paste del resumen
QUE DEBE INCLUIR •Título y autores•Premisas básicas del estudio •Novedad e importancia •Qué no se ha enviado a otra revista •Propuesta de revisores o No
Firma del artículo
FIRST - LAST - AUTHOR
o Herramienta de evaluación y disciplina instrumental…
o Su importancia radica en los indicadores que aporta y que posibilitan el análisis cuantitativo y cualitativo para conocer regularidades.
Bibliometría
Aplicación de las matemáticas y los métodos estadísticos al objeto de estudio de la Bibliotecología. Comprende la aplicación de análisis estadísticos para estudiar las características del uso y creación de los documentos, el estudio cuantitativo de la producción de documentos, la aplicación de métodos matemáticos al análisis del uso de los libros y otros soportes, dentro y entre los sistemas de bibliotecas.
Bibliometría: el origen
Topic NdocBibliometric 4907Informetric 312Scientometric 1331
Bibliometría: aplicación matemática y
estadística a los libros (Alan Pritchard, 1969)
Cienciometría: Aplicación de métodos cuantitativos
al desarrollo científico. (V.V. Nalimov y B. M.
Mulchenko, 1969)
Informetría: Aplicación de métodos matemáticos y estadísticos al objeto de
estudio de la ciencia de la información para describir fenómenos. (Otto Nacke,
1979).
INDICIOS DE CALIDAD – MEDIDAS DE EVALUACIÓN DE LA INVESTIGACIÓN
PRODUCCIÓN CIENTIFICA EN REVISTAS DE IMPACTO
POSICIÓN DE LA REVISTA EN LA CATEGORÍA SEGÚN IMPACTO
o El “prestigio” de un investigador se mide por sus publicaciones científicas.
o La publicación científica como principal insumo en la evaluación.
o La cita es reflejo de la visibilidad y la influencia científica.
Principios básicos
Cuantitativos- Bibliometría- Indicadores de I+DCualitativos- Per Review - RevistasMixtos- Combinación de los anteriores
La evaluación de la calidad
Niveles de agregacióno MacroPaíses, regiones, instituciones….o MesoUniversidades, departamentos, grupos de
investigación…o MicroPersonas, grupos, secciones….
Tener en cuentao Hábitos de citación.o Envejecimiento de las disciplinaso Formas de comunicación de la cienciao Tipologías documentales.o Indicadores basados en las citaso Calidad de la investigación desde las citas.o Ventanas de citacióno Formas de recuento
Producción y Citación
Hábitos de citación
Cada disciplina tiene sus propios hábitos de citación y obsolescencia
HISTORIA
2011
2003
BIOLOGIA CELULAR
Tipologías documentales
NOTAS
La publicación como medida de calidad
Qué es una revista de impacto?
Aquellas indexadas en ISI WoS y Scopus……que generan visibilidad e impacto….
Y las que no están? ………….
Porqué publicar en revistas de impacto?
o Mayor visibilidad (autores e instituciones)
o Atracción de recursos económicos (institucion)
o Avances en la carrera científica (autores)
Web of Science (WoS) Servicio de Thomson (antiguamente ISI), contiene
aproximadamente 1,5 millón de registros y más de 23 millones de referencias citadas por año de más de 230
disciplinas de la ciencia, las ciencias sociales, las artes y las humanidades. 11 mil revistas científicas.
Incluye información bibliográfica completa para todos los archivos, incluyendo referencias citadas. Se actualiza
semanalmente y brinda acceso a las ediciones del Science Citation Index, Social Science Citation Index y Arts &
Humanities Citation Index y el Journal Citation Report (JCR).
Web of Science (WoS)
Scopus (Elsevier)o Base de datos multidisciplinaria y de
citas de revistas científicas …..o El número de revistas cubiertas por
SCOPUS es mayor que el de la WoSo Al igual que ISI WoS tiene
funcionalidades de uso bibliométrico
Google Scholar Proporcionado por Google permite realizar búsquedas en publicaciones académicas:
revistas, tesis, libros, resúmenes e informes técnicos de áreas de
investigaciónAcceso a Google Scholar Metrics para
evaluar revistas.
Publish or Perish (PoP)
Leyes
La Bibliometría se fundamenta en un conjunto de “leyes empíricas”, las cuales se han establecido gracias a estudios cuantitativos en los que interviene el recuento de nº de artículos, nº de revistas, nº de autores, etcétera.
Fundamentación
Algunas leyes o Ley de Bradford o concentración-dispersión
de la literatura. o Ley de Lotka o Ley de crecimiento
exponencial (distribución de autores). o Ley de Price o crecimiento exponencial. o Ley de obsolescencia (Índice de Price)
Ley de Bradfordo Origen marcado por su importancia
estratégica en el desarrollo de colecciones.
o En la actualidad posibilita conocer los núcleos de especialización temática y de productividad en las áreas del conocimiento, es decir, cuáles son las revistas más productivas por área.
o De esta verificación llega a la conclusión de que “en una determinada materia las publicaciones periódicas pueden ser clasificadas en tres grupos, de acuerdo con los criterios siguientes:
Aquellas altamente productivas; las medianamente productivas y las escasamente productivas.
Formulación teórica
...tres zonas con la misma cantidad aproximada de artículos, pero
diferente cantidad de publicaciones: la zona núcleo con pocas revistas y la
zona III o alejada del núcleo con muchas revistas.....
Formulación teórica
Ejemplo
REVISTAS POR ZONA
ARTICULOS POR ZONA
Núcleo 3 101
Zona 2 7 130
Zona 3 30 84
Importancia
• Un núcleo reducido de revistas concentra la mayor cantidad de artículos sobre un tema.
• La concentración de la productividad es sinónimo de especialización.
Ley 80/20
Núcleo y dispersión
Concentración
Dispersión
o Postulado de Lotka “…un menor número de autores publica el mayor número de artículos siendo el grupo más representativo y productivo en el área del conocimiento estudiada.”
o Distribución inversa
Ley de Lotka
o La literatura científica pierde actualidad cada vez más rápido, mientras que el número de publicaciones (Ndoc) se multiplica por dos cada 10-15 años, el número de citas (Ncit) que reciben tales publicaciones se divide por dos cada diez años aproximadamente.
o La vida media de la literatura de las diversas ramas científicas es variable; por ejemplo en Física, es de tres a cinco años, en Química, de siete a ocho, en Matemáticas de diez años y en algunas ciencias sociales más de diez años.
Ley de Price
o Relacionado con el consumo de información.
o Porcentaje de referencias con una antigüedad menor a 5 años (Price, 1965). Las revistas que publican artículos referidos a campos muy dinámicos suelen tener una vida media baja y un índice de Price alto.
Índice de Price
Análisis bibliométrico de la literatura científica publicada en "Ciencia. Revista hispano-americana de ciencias puras y aplicadas" (1940-1974)
Índice de Price para una revista
Indicadores ……
o Representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución.
o Miden las acciones relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos.
o Constituyen una de las herramientas más utilizadas para la medición del producto de la investigación científica.
Martínez E, Albornoz M. Indicadores de Ciencia y Tecnología: estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO. 1998.
Macías Chapula CA. Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional. Acimed. 2001;9
Indicadores
Importancia de indicadores
Se emplean como herramienta de apoyo a la toma de decisiones en la gran cantidad de escenarios de la política científica:
oRankingsoEvaluaciones institucionalesoAgencias nacionales de evaluación
Herramienta de diagnósticoDirección de la investigación:- Discusión sobre las posibles estrategias de publicación y dirección de la investigación
Complemento del Peer Review:- Juicios de calidad sobre la investigación
Conocimiento de los sistemas de investigación:- Conocer cuestiones críticas para el direccionamiento de la investigación
Indicadores
o Los que miden la cantidad de las publicaciones científicas (indicadores de publicación)
o Los que miden la calidad y el impacto desde las relaciones entre las publicaciones científicas (indicadores de citación)
PRODUCCION IMPACTO
COLABORACION ALTMETRICOS
Indicadores
Producción oProducción absoluta (Ndoc total y por años)oNo. de documentos citables (Totales y por años)oTasa de variación interanual (TV)oÍndice de actividad (IA)oÍndice de esfuerzo temático (IET)
Indicadores
LimitacionesIndicadores de producción
o Miran o evalúan solo la cantidad obviando la calidad.
o Potencian el síndrome Publicar o Perecer (PoP) al dividir investigaciones en varias publicaciones
o No siempre la productividad es sinónimo de relevancia el progreso científico.
Citación oNúmero de citas y citas por documentoo Citas en tipologías citables y niveles de agregación o Factor de impacto (impact factor)o Factor de impacto normalizado (FIN)o SJR (Scopus)o Distribución de revistas por cuartiles (Q)o Cantidad de publicaciones altamente citadas (top)o Indice h y sucesivos
LimitacionesIndicadores de citación
o Los científicos y las revistas científicas (editores) pueden hacer “ingeniería de impacto”.
o La cita no debe verse 100% como reflejo de la calidad de la investigación pues viene unida a diversos factores.
Colaboración científica o Documentos en colaboracióno Indice de coautoría (autores por
documento)
o Colaboración nacional, internacional…..
o Citas con colaboracióno % de documentos citadoso Liderazgo científico
Colaboración- Número de documentos en colaboración, tasa de colaboración (%)-Tipología y patrones de colaboración
La colaboración con científicos muy productivos y visibles aumenta la citación
Altmétricos- Se obtienen de las redes sociales (especialmente visualizaciones y descargas)
Indicadores (otros)
Tasas de colaboración (número y % de doc en colaboración)
Índice de coautoría general (aut/art)Índice de coautoría institucional (autores
inst / total autores)Número de Instituciones firmantes
(absoluto)Patrones de colaboración (interna, nacional,
internacionales) (absoluta y en%)
Indicadores de colaboración
Sin colaboración (WithoutC): Documentos con afiliación única. Solo participa UNA institución.
Colaboración nacional: DOS instituciones distintas de un mismo país.
Colaboración internacional: Documentos con afiliaciones de más de un país. Si se analizan documentos de COL y hay un autor de USA, ya es internacional.
Tipos de colaboración
Causas aumento colaboración
La alta especialización de la ciencia actual - creación de equipos de investigación cada más vez más amplios.
Multidisciplinariedad de los programas de investigación - provocan la necesidad de contar con científicos de diferentes áreas.
El coste de determinados proyectos donde se hace necesario compartir los recursos disponibles.
El desarrollo de internet que ha agilizado y facilitado el intercambio fluido de ideas.
Los tiempos de dedicación a la investigación.
LimitacionesIndicadores de colaboración
o Tendencias desmesuradas en las colaboracióno Se afirma que la colaboración genera citas,
pero depende no se la colaboración en cuanto a números sino en cuanto a con quién se colabora.
o Indicios de calidad - La revista donde se publica
(factor de impacto, SJR, índice h..) - Las citas que recibe un agregado - Índice h del autor, h del grupo de
investigación…..
Se calcula dividiendo el número de citas recibidas en el año actual sobre el total de artículos publicados en los dos años anteriores. Ejemplo: FI = citas recibidas en el año actual por los artículos publicados en los dos años precedentes vs cantidad
total de artículos publicados en los dos años precedentes.
Factor de impacto ISI
Factor de impacto - EjemploCitas recibidas en 2013 por los artículos publicados en 2011 y 2012
o Citas recibidas 2013 por los artículos publicados en 2011 = 85 o Citas recibidas 2013 por los artículos publicados en 2012 = 98
Total Citas = 183 Número de artículos publicados en 2011 y 2012
o Número de artículos publicados en 2011 = 178 o Número de artículos publicados en 2012 = 185
Total Artículos = 363 IMPACT FACTOR = Citas (183) / Artículos (363) = 0,50
Mide el prestigio científico de las fuentes: Una publicación transmite su propio “prestigio” a otra por el hecho de citarla. Una cita de una revista con un SJR relativamente alto tiene un mayor valor que una cita de una con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.
Scimago Journal Rank (SJR)
SNIP (Impacto normalizado por publicación)
Número de citas del año actual a las publicaciones de tres años atrás dividido por el total de publicaciones de esos tres años anteriores.
La diferencia con IPP es que en el caso de citas son normalizados para corregir diferencias de prácticas de cita entre campos científicos. http://www.journalindicators.c
om/
Listado de revistas ordenadas de mayor a menor factor de impacto (o SJR) se divide en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el IMPACTO más alto están en el primer cuartil.
Distribución por cuartiles
Cuartiles
Revistas más citadas Q1
Q2
Q3
Revistas menos citadas Q4
+ Grado de
dificultad
- Grado de
dificultad
Mide el prestigio científico de fuentes de investigación: valor de citas ponderadas por documento. Una publicación transmite su propio “prestigio” o estatus a otra por el hecho de citarla. En la práctica, esto significa que una cita de una fuente con un SJR relativamente alto tiene un mayor valor que una cita de una fuente con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.
Scimago Journal Rank
o Se toman cada uno de los trabajos de un autor en un período de tiempo y se listan en forma descendente en función del número de citas recibidas.
o Se construyen dos (2) listas; una ascendente (ranking) y una descendente (citas).
Mayor número de orden donde la cantidad de citas sea mayor o igual (no menor) al número de
orden, será considerado el Índice Hirsch o Índice h de ese autor.
Índice h
RANGO CITAS1 62 53 44 45 26 17 18 19 0
10 0
RANGO A1 A21 21 133
2 17 15
3 15 9
4 15 4
5 15 4
6 13 3
7 11 3
8 10 3
9 9 2
10 8 1
11 7 1
12 5 1
13 5 1
14 4 1
15 4 1
16 4 1
40 189 189
Autor 1 (A1)o Índice h: 9
AUTOR CON 9 TRABAJOS CON AL
MENOS 9 CITAS
Autor 2 (A2) o Índice h: 4
o Valora un esfuerzo científico prolongado a lo largo de la vida académica e investigativa.
o El aumento del número de artículos publicados no tiene efecto inmediato sobre el índice h.
o Un artículo muy citado no influye en el índice h.o Los artículos pocos citados tampoco influyen en
el valor del índice.
Características
Índice h sucesivos* Se calculan siguiendo la misma distribución o aplicación metodológica que el índice h. (llamado acá h1. Se pueden calcular para diferentes agregados.
1.Para un grupo de investigaciónSe ordenan todos los miembros del grupo en orden decreciente por su índice h individual (h1). Donde cruzan los umbrales se obtiene el índice h del grupo de investigación (h2)
2. Para una instituciónSe ordenan todos los grupos de investigación de la institución en orden decreciente por su índice h (h2). Donde cruzan los umbrales se obtiene el índice h de la institución (h3)
http://www.scimagoir.com/research.php
o Output: cantidad total de publicaciones de un agregado. o Publicaciones en Q1 (cuartil 1): proporción de artículos que
un país o institución logra publicar en las revistas científicas más prestigiosas del mundo en cada disciplina (25% superior). Este es un indicador de calidad que permite predecir que el impacto que alcanzarán los artículos publicados en esta revistas estará por sobre la media del mundo.
o Excelencia: representa la proporción de artículos de un agregado (país, área, categoría) incluido en el conjunto formado por el 10% de los trabajos científicos más citados del mismo agregado. (Q1)
o Liderazgo: Producción científica donde la institución evaluada está en el “correspondence author”.
o Colaboración: cantidad de la producción científica de un agregado que tiene colaboración (nacional, internacional)
Indicadores Scimago
Enfoques estratégicos para la evaluación
o Selección de revistas para publicar.o Análisis de tendencias ( artículos citados,
revistas más productivas, instituciones …..o Cómo evaluar el output científico de la
institución o área, autoreso Cómo ascender en el cuartil.o Cómo acceder a corriente principal.
Evaluación y selección de revistas: análisis de tendencias
Resultados ordenados por citas
1
2
3
Resultados pertinentes (fuente y relacionados)
Evaluación desde Journal Citation Report (Incites)
Comparar revistas
Tener en cuenta Cuartil o tendencia, seleccionar las
revistas, el año, y la métrica
Evaluación de áreas del conocimiento
Revistas por ranking
Categorías por ranking
Scopus
% de no citados Q1 vs Q4
INDICADORES BIBLIOMÉTRICOS Y
DE GESTIÓN
ALCANCE
Búsqueda de una revista
En conclusión para medir y evaluar se necesita conocer…….
o Producción total de documentos (Ndoc) – (para diferentes agregados) y tasa de variación (con respecto a etapas anteriores)
o Citas recibidas (Ncit)o Documentos por cuartiles (Q) (alta, mediana y escasa
visibilidad)o Porcentaje de documentos citados (N doc cit)o Indice h de los autores (h index)o Producción con liderazgo.o Documentos en colaboración (nacional e internacional)o Citas con colaboración. o Indice de co-autoría. o Tasa de autoacitación. ….. y otros…..
Diseñar ficha de indicadores institucionales
Construcción de la identidad digital de los investigadores
o Identidad personal: ORCID, ResearcherID. o Repositorios, institucionales y temáticos. o Motores de búsqueda académicos: Google
Scholar Citations. o Redes sociales académicas: Academia.edu,
ResearchGate, Mendeley. o Redes sociales profesionales: LinkedIn. o Servicios contenedores: ImpactStory, Scholar
Mirrors.
ContribucionesInteraccionesReputación
COMPETIR
Visibilidad e impacto
Indicadores para todo el perfil Indicadores históricos
Indicadores para un documento
Estadísticas
ORCID
De nada sirven todas las herramientas sino
tienes algo que decir……
Conocer el estado actual de la actividad científica institucional posibilita el diseño acertado de políticas científicas futuras, aumentar el output científico, la visibilidad y el impacto …
Deben estar involucrados los investigadores, los grupos de investigación, editores…
