Embed Size (px)
Citation preview
Bibliometría y la evaluación de
investigadores
Nicolas Robinson-Garcia
EC3Metrics SL & EC3 Research Group
Universidad de Granada
...in progress
OBJETIVOS
>> Obtener unas nociones básicas de bibliometría y de los principales indicadores bibliométricos empleados
>> Adoptar una visión crítica de la aplicación de indicadores bibliométricos en la evaluación individual
>> Conocer las recomendaciones básicas que la comunidad bibliométrica sugiere para un uso responsable de las métricas
CONTACTO >> [email protected]
...Contenido
>> Seminario de Formación Miércoles 8 de abril, 2015
>> Organiza: GIPE - Grupo Interdisciplinar de Políticas Educativas
1. LA BIBLIOMETRÍA Y EVALUACIÓN DE LA CIENCIA >> Nociones básicas: el qué y el cómo
>> La era de las métricas
2. INDICADORES PARA LA EVALUACIÓN DE
INVESTIGADORES >> Cuestiones metodológicas
>> Indicadores y limitaciones
3. RECOMENDACIONES Y ALTERNATIVAS >> En la búsqueda de buenas prácticas -> LEIDEN MANIFESTO
>> Decálogo de buenas prácticas -> Dos & don’ts
...Agenda
>> La bibliometría y la evaluación de la ciencia
...in progress
1
...Bibliometrics
Nociones básicas de bibliometría
[Bibliometrics] The application of mathematics and statistical methods to
books and other media of communication Pritchard, 1969
[Scientometrics] The quantitative methods of the research on the
development of science as an informational process Nalimov & Mulchenko, 1971
[Informetrics] The study of the application of mathematical methods to the
objects of information science for the description and analysis of its phenomena, the discovery of its laws and the support of
its decisions Nacke, 1979
...Bibliometrics
Nociones básicas de bibliometría
La bibliometría desarrolla metodologías y técnicas
cuantitativas para analizar y entender cómo se desarrolla el
progreso científico
LOS CULPABLES
...Bibliometrics
Nociones básicas de bibliometría
IMPLICACIONES SCIENCE CITATION INDEX FUNDAMENTOS PRÁCTICAS TEÓRICOS
...Bibliometrics
Nociones básicas de bibliometría
PRINCIPIOS BÁSICOS
>> El prestigio de un investigador se mide a través de su obra
>> El principal medio de transmisión de la actividad
investigadora es la publicación científica
>> La cita refleja la influencia de la obra de un investigador
...Bibliometrics
Nociones básicas de bibliometría
LEYES DE LA BIBLIOMETRIA
LOTKA
>> Un número reducido de autores produce la mayor parte del conocimiento científico
BRADFORD
>> Un número reducido de revistas contiene el core del conocimiento científico de una disciplina
PRICE
>> El conocimiento científico crece de manera exponencial
...Bibliometrics
Nociones básicas de bibliometría
>> El peer review es esencial para la evaluación. La bibliometría es una
herramienta de apoyo
>> Las citas que se analizan son aquellas que vienen de trabajos que
han pasado un proceso de revisión por pares
>> Las citas son un proxy del impacto científico de una obra y miden
más de un aspecto
>> Hay sesgos en la citación de los trabajos externos a la calidad del
contenido. Ej: EFECTO MATEO, DISCIPLINAS…
...Bibliometrics
Nociones básicas de bibliometría
Producción Impacto
Colaboración Nuevos
indicadores
...Bibliometrics
Nociones básicas de bibliometría
Tipo de indicador Tipo de medida Unidad de análisis
Publicaciones
Citas
Métricas alternativas
Actividad
Impacto
Colaboración
Nivel micro
Nivel meso
Nivel macro
Producción Impacto
Colaboración Nuevos
indicadores
...Bibliometrics
La era de las métricas
The need for bibliometric indicators arises from the enormous growth in scientific and technological activity that has been occuring for centuries, and has now reached avalanche proportions.
Narin et al., 1994
Governments absorbed, in the 1990s, the “new management” ideology that focused on the evaluation of everything using indicators and benchmarks as “objective” measures of efficiency and return on investment.
Gingras, 2014
...Bibliometrics
La era de las métricas
AMATEUR BIBLIOMETRICS
Los investigadores y las agencias han pasado de tener una posición escéptica sobre la utilización de la bibliometría a una aceptación moderada hasta la presente integración de métricas en todos los procesos evaluativos
Amateur bibliometrics es la aplicación de métodos bibliométricos sin conocer sus fundamentos teóricos y limitaciones
...Bibliometrics
La era de las métricas
AMATEUR BIBLIOMETRICS
[…] it is much easier to make a measurement than to ascertain just what has been measured, and considerable caution must therefore be exercised in any interpretations of the statistics of publication.
Price, 1951
...Bibliometrics
La era de las métricas
>> Indicadores para la evaluación de investigadores
...in progress
2
...Indicators
Cuestiones metodológicas
Henk F. Moed LA MATRIZ MULTIDIMENSIONAL PARA LA EVALUACIÓN DE LA INVESTIGACIÓN
...Indicators
Cuestiones metodológicas
NIVELES DE AGREGACION
Macro >> Países, áreas científicas
• Máxima fiabilidad
Meso >> Instituciones, disciplinas
• Fiabilidad moderada
Micro >> Grupos, investigadores
• Fiabilidad relativa
...Indicators
Cuestiones metodológicas
BASES DE DATOS Y COBERTURA TEMÁTICA
CIENCIAS BIOMÉDICAS
CIENCIAS NATURALES Y EXACTAS
INGENIERÍAS Y COMPUTACIÓN
CIENCIAS SOCIALES
HUMANIDADES
...Indicators
Cuestiones metodológicas
The Google Scholar Experiment
BASES DE DATOS Y FIABILIDAD
...Indicators
Cuestiones metodológicas
MÉTODO DE RECOGIDA DE DATOS
Top down Bottom up
...Indicators
Cuestiones metodológicas
¿QUÉ QUEREMOS MEDIR?
Impacto
científico
Visibilidad
Liderazgo
Capital social
Productividad
Transferencia
...Indicators
Cuestiones metodológicas
¿QUÉ QUEREMOS MEDIR?
Impacto
científico
Visibilidad
Liderazgo
Capital social
Productividad
Transferencia
OTRAS CONSIDERACIONES
>> Rango académico / Edad científica
>> Disciplina científica
>> Grandes productores vs. One hit wonders
>> Posición de firma
...Indicators
Indicadores y limitaciones
Indicador estrella > H-Index >> Creado por el físico Jorge Hirsch en 2005 >> Se popularizó gracias a un artículo en la revista Nature >> Relaciona producción con impacto
...Indicators
Indicadores y limitaciones
H-Index Un autor tiene un índice h
cuando h de sus trabajos han recibido al menos h citas
...Indicators
Indicadores y limitaciones
Limitaciones >> H-Index >> No discrimina entre autores con un one hit
wonder y autores con baja citación >> No sirve para comparar a investigadores de
distintos campos >> No discrimina entre investigadores con ≠
edad científica
...Indicators
Indicadores y limitaciones
Agencias >> CNEAI >> ¿informed? peer review >> Cinco aportaciones donde se prima el
posicionamiento de la revista >> Considera diferencias por campos y no
evalúa contenido
...Indicators
Indicadores y limitaciones
Agencias >> ANECA >> Publicaciones con índice de calidad relativo >> Experiencia docente >> Experiencia en gestión
...Indicators
Indicadores y limitaciones
En España las agencias priman especialmente la
revista de publicación por encima del impacto ‘real’
de las publicaciones
...Indicators
Indicadores y limitaciones
En otros países parece que también
>> Recomendaciones y alternativas
...in progress
3
...Propuestas
En búsqueda de buenas prácticas
Costas & Noyons, 2014
Identificación de perfiles de publicación
...Propuestas
En búsqueda de buenas prácticas
Altmetrics
Indicadores para medir el
impacto ¿social? de la investigación
• Facebook, Twitter, Google Plus… Redes
sociales
• Mendeley, Citeulike… Marcadores
sociales
• Descargas, visionados… Uso
• Menciones en blogs científicos…. Discusión
...Propuestas
En búsqueda de buenas prácticas
Altmetrics
>> Evanescencia >> Significado >> Expansión
...Propuestas
En búsqueda de buenas prácticas
Jiménez-Contreras y otros, 2011
3 años 5 años 7 años
P50 P75 P90 P50 P75 P90 P50 P75 P90
Umbrales de referencia de citación por áreas
Apoyo a los procesos de selección y promoción
...Propuestas
En búsqueda de buenas prácticas
UGRInvestiga Promoción y visibilidad de la
investigación de una institución
...Propuestas
En búsqueda de buenas prácticas
UGRInvestiga
PRINCIPIOS
>> Sólo se muestran investigadores con perfil en Google
Scholar
>> Se muestran los datos que aparecen en sus perfiles
[no es una herramienta evaluativa]
>> El investigador puede decidir no aparecer en el listado
...Propuestas
En búsqueda de buenas prácticas
UGRInvestiga
...Propuestas
En búsqueda de buenas prácticas
UGRInvestiga
DERIVADAS
>> Mayor control institucional de la producción de los
investigadores
>> Aumento de la visibilidad de la producción de la
universidad
>> Descubrimiento de talentos escondidas
...Propuestas
En búsqueda de buenas prácticas
LEIDEN MANIFESTO
>> En los últimos congresos bibliométricos se baraja la idea de un manifiesto de buenas prácticas >> Se percibe un rechazo a la bibliometría por parte de la comunidad resultado de malas prácticas en política científica
...Propuestas
En búsqueda de buenas prácticas
LEIDEN MANIFESTO
>> Aplicación de indicadores bibliométricos por objetivos EJEMPLO 1. Una institución considera que sus investigadores no tienen proyección internacional
ACCIÓN. Fomentar la publicación en revistas del primer cuartil de su categoría
...Propuestas
En búsqueda de buenas prácticas
LEIDEN MANIFESTO
>> Aplicación de indicadores bibliométricos por objetivos EJEMPLO 2. El PDI de una institución tiene entre sus obligaciones publicar, pero muchos no lo hacen
ACCIÓN. Permitir que sólo el PDI con más de XX publicaciones pueda participar en comités de contratación
...Propuestas
En búsqueda de buenas prácticas
LEIDEN MANIFESTO
>> Aplicación de indicadores bibliométricos por objetivos EJEMPLO 3. Una institución busca fomentar las redes de colaboración con investigadores externos
ACCIÓN. Se incrementa XX% el presupuesto de grupos con colaboración internacional en revistas de prestigio
...Propuestas
Dos & don’t s
Decálogo de buenas prácticas
1. No evalúes a investigadores con 1 solo indicador 2. No utilices el FI como medida de calidad 3. No apliques‘filtros bibliométricos invisibles’ 4. No apliques ‘pesos’ aleatorios a la posición de
firma 5. No hagas rankings de investigadores según 1 solo
indicador Glänzel & Wouters, 2013
...Propuestas
Dos & don’t s
Decálogo de buenas prácticas
6. No mezcles datos de distintas fuentes 7. No utilices estadísticas sesgadas 8. No confíes ciegamente en los one hit wonders 9. No compares peras con manzanas 10.No permitas que los plazos límite te impidan
aplicar buenas prácticas
Glänzel & Wouters, 2013
...Propuestas
Dos & don’t s
Decálogo de buenas prácticas
1. Los indicadores a nivel micro deben ser estadísticamente sólidos
2. Analiza la colaboración de los investigadores 3. Combina métodos cualitativos y cuantitativos 4. Analiza el contexto de citación 5. Analiza los perfiles temáticos
Glänzel & Wouters, 2013
...Propuestas
Dos & don’t s
Decálogo de buenas prácticas
6. Selecciona el periodo de tiempo a analizar 7. Combina bibliometría y la carrera científica 8. Procesa los datos bibliométricos y utiliza fuentes
externas 9. No te tomes los don’ts al pie de la letra 10.Ayuda al usuario a entender e interpretar
correctamente los indicadores Glänzel & Wouters, 2013
>> Consideraciones finales
...in progress
3
...in progress
Los indicadores bibibliométricos deben ser interpretados siempre con precaución
Ranking de editoriales en Economía, Empresa y Negocios ordenados por impacto normalizado Fuente: Bipublishers.es
...in progress
Siempre es mejor combinar indicadores y metodologías
Ranking de universidades españolas en TICS Fuente: Rankings I-UGR
...in progress
Siempre es mejor combinar indicadores y metodologías
...in progress
Para la evaluación de investigadores los indicadores bibliométricos deben aplicarse con transparencia y servir de apoyo a la toma de decisiones, pero no decisorios
...in progress
¿Qué puedes hacer TU investigador para mejorar tu impacto?
1. Haz buena investigación y céntrate en tu
investigación, no en las recompensas
2. Sé visible, pon tus publicaciones en abierto y hazte
visible en Internet
3. Cuida tu imagen, utiliza una firma única de tu nombre
...in progress
Lecturas recomendadas
Butler, L. (2003). Modifying publication practices in response to funding formulas. Research Evaluation, 12(1), 39–46
Glänzel W. & Wouters, P. (2013). The dos and don’ts in individual-level bibliometrics. http://www.slideshare.net/paulwouters1/issi2013-wg-pw
Lepori, B., Barre, R., Fillitreau, G., 2008. New perspectives and challenges for the design and production of S&T indicators. Research Evaluation 17, 33–44
Wouters, P. (2013). Bibliometrics of individual researchers. Citation Culture. http://bit.ly/1JjUEFb
Muchas gracias!
Nicolas Robinson-Garcia EC3Metrics SL & EC3 Research Group
Universidad de Granada
http://www.ugr.es/~elrobin
