Criterios de evaluación de la actividad investigadora Humanidades y Ciencias Sociales en España

[email protected]

EC3

Grupo de investigación

EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es

Criterios de evaluación de la actividad investigadora

Humanidades y Ciencias Sociales en España

Universidad Pública de NavarraPamplona, 20 de mayo de 2008

Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación

Universidad de GranadaUniversidad de Granada

[email protected]

EC3



Axioma previoHetereogeneidad de la ciencia

los campos científicos

• La naturaleza del conocimiento científico es muy diferente según– Áreas: CyT, CCSS, Humanidades

• Disciplinas: Física, Química, Economía, Derecho, Psicología– Especialidades: Psicobiología, Psicología de la educación… Filosofía del derecho, Civil, Penal, Financiero… Fundamentos análisis económico, Contabilidad..

• Fundamentos de la investigación: qué es una investigación

• Prácticas de investigación: cómo se hace • Hábitos de comunicación: publicación e información• Procesos de evaluación: cómo se evalúa

[email protected]

EC3



La evaluación de la investigación

• Necesidad evaluación rendimiento actividad investigadora – Impacto económico y social de la ciencia– Recursos escasos– En ciencia no todos somos iguales

• Tema trascendente y polémico– Condiciona la orientación de la investigación de un país– Condiciona la promoción profesional– Condiciona la posibilidad de investigar– Otorga reconocimiento personal y social

• España en estado de excepción evaluativa– Personas, instituciones (Facultades, Departamentos…),

titulaciones (grado, posgrado, doctorado), programas, proyectos, – Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU,

ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC…

[email protected]

EC3



Hetereogeneidad de la ciencia los campos científicos

CyT Sociales Humanidades

Objeto de investigaciónRealidad natural

(Objetiva / universal)

Realidad humana

(Subjetiva / contextual)

Lenguaje Matemático Lenguaje natural

Métodos de investigación ExprimentalesDescriptivos / Cualitativos

Técnicas análisis datos Cuantitativas Cualitativas

Organización Grupo Individuo

Medio publicación Revistas Libros

Lenguaje publicación Inglés Lengua vernácula

Evaluación trabajos ex ante Peer Review ¿Peer review?

Evaluación trabajos ex post Impacto Juicios de valor

CONSENSO COGNITIVO

J

U

R

Í

D

I

C

A

S

[email protected]

EC3



Los hábitos de comunicación científica

Los medios de publicación

5%10%

85%

10%

50%40%

10%

30%

60%

Experimentales

Revistas Libros Otros

Sociales Humanidades

[email protected]

EC3



Biomedicina

Ingenierías

Psicología

Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

[email protected]

EC3



Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

Derecho

Psicología

[email protected]

EC3



59,2

42,3

33,7

30,6

27,7

27,1

26,6

24,1

22,8

22,7

21,8

21,3

49,9

0 10 20 30 40 50 60 70

Psicología

Economía

Documentacion

Derecho

Educación

Historia

Geografía

Sociología

Filosofía

Arte

Filologías

Ciencia Política

Antropología

Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales (1999-

2001)Román & Alcaín 2005

*

* 27 revistas Economia 1999-2001 (Velazquez 2003)

[email protected]

EC3



Hábitos de publicaciónPorcentaje de profesores que publican en

revistas españolas y extranjeras (2001-2002)

0

10

20

30

40

50

60

70

80

90

100Psi

quia

tría

Psi

colo

gía

Antr

oplo

gía

Arq

ueolo

gía

yPre

his

tori

a

Filo

logía

clási

ca

Filo

logía

esp

añola

Urb

anis

mo

Cie

nci

aPolíti

ca

Soci

olo

gía

Educa

ción

Revistas españolas Revistas extranjeras

Alcaín 2002, 2003; Román 2003

[email protected]

EC3



Valoración relevancia de las revistas españolas y extranjeras

Porcentaje de profesores (2001-2002)

0

10

20

30

40

50

60

70

80

90

100Psi

quia

tría

Psi

colo

gía

Antr

opolo

gía

Arq

ueolo

gía

y Pre

his

tori

a

Urb

anis

mo

Filo

logía

esp

añola

Filo

logía

clási

ca

Did

áct

ica d

ela

lengua y

lite

ratu

ra

Did

áct

ica d

ela

expre

sión

musi

cal


Alcaín 2002, 2003; Román 2003

[email protected]

EC3



89%

11%

59%

41%

Revistas que consideran más relevantes los

profesores de Derecho (2003)

Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para

publicar sus tres últimos trabajos (2003)


Alcaín 2004

[email protected]

EC3



SocialesSociales% citas rev. % citas rev.

esp./total esp./total citascitas

% citas % citas rev. Ext. rev. Ext.

/total citas/total citasHumanidadesHumanidades

% citas % citas rev. rev.

Esp./total Esp./total citascitas

% citas rev. % citas rev. Ext. /total Ext. /total

citascitas

Derecho 21,5 12,2 Historia 15,9 11,8

Educación 12,1 18,5 Arte 15,2 7,6

Geografía 11,5 15,7 Filología 7,7 15,0

Sociología 9,0 17,6 Antropología

8,1 13,2

C. Política 7,9 13,9 Filosofía 2,8 21,3

Psicología 6,9 52,3

PromedioPromedio 1313 28,228,2 PromedioPromedio 13,513,5 14,314,3

Porcentaje citas a revistas españolas y extranjerasRevistas españolas de Humanidades y Ciencias Sociales (1999-

2001)

Román & Alcaín 2005

[email protected]

EC3



ANECACriterios evaluación actividad investigadora

profesorado

30 26

12 16

5 52 2

45 52 2

4

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sociales y Jurídicas HumanidadesPublicaciones científicas Libros y ClCongresos Transferencia tecnologiaDirección tesis ProyectosOtros méritos

35 35

5 55 54 4

7 7

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Sociales y Juridicas Humanidades

Articulos y libros Congresos y otrosDirección tesis, DEAS… Proyectos y contratosTransferencia

Profesor Contratado Doctor Profesor Universidad Privada

Acreditación

Profesor Titular de Universidad

[email protected]

EC3



ANEP / FECYT 2007Criterios de calidad de la investigación en

Humanidades

[email protected]

EC3




Humanidades

• Resultados de la investigación (65%)– Publicaciones

• Libros y capítulos de libros: Monografías, Ediciones críticas, Ediciones de documentos y corpus documentales, Traducciones, Capítulos de libros

• Trabajos publicados en revistas científicas• Trabajos publicados en actas

– Contribuciones a congresos– Bibliografías, catálogos y bases de datos

• Actividades relacionadas con la investigación (10%)– Proyectos de I+D+I– Redes temáticas, acciones integradas y proyectos internacionales– Estancias en instituciones académicas de prestigio– Dirección y secretaría de revistas científicas– Edición / coordinación de volúmenes colectivos

• Otros (25%)– Interacción con el entorno y transferencia de conocimiento: contratos, gestión…– Difusión y divulgación de la investigación y actividades de fomento de la cultura

científica: libros divulgación, conferencias…– Actividad formativa: dirección tesis, coordinación programas doctorado…– Otros méritos: premios, comités directivos asociaciones científicas…

[email protected]

EC3




Ciencias Sociales y Jurídicas

[email protected]

EC3



ANEP / FECYT 2007Criterios de calidad de la

investigación en Ciencias Sociales y Jurídicas

La valoración de historiales investigadores debe limitarse a considerar resultados de productividad investigadora, y considerar de forma crucial

la producción reciente (últimos 10 años)

• Publicaciones científicas: – Publicaciones periódicas: Revistas ISI, o criterios de calidad de publicaciones

similares a los del ISI.– Publicaciones no periódicas: calidad de la editorial, procesos de evaluación y

selección de manuscritos, e impacto, como número de citas en publicaciones relevantes; artículos en revistas ISI o similares, otras monografías de calidad y análogos.

• Señales externas de reconocimiento a la labor investigadora:– Trabajo editorial en revistas ISI o similares, revisor en revistas ISI o similares,

conferencias invitadas en reuniones científicas regulares, seminarios invitados, pertenencia a comités científicos en I+D, participación en comités de evaluación y actividades de gestión de la investigación.

• Actividades de formación de investigación– Dirección de tesis doctorales en programas de calidad (o equivalente), con

especial atención a la calidad de la producción científica derivada de las tesis.

• Participación en proyectos de investigación competitivos, con especial atención a los resultados publicados

• Actividades de desarrollo (transferencia)

[email protected]

EC3



Opinión científicos españoles criterios de evaluación de la actividad investigadora para la acreditación

Indicadores Sociales Juríd. Humanidades

Puntuación Posición Puntuación Posición

Libro en editorial de reconocido prestigio 7,40 1 8,48 1

Artículos de revista en Journal Citation Reports (JCR) del ISI 7,39 2 7,14 4

Dirección de proyectos de investigación con financiación externa

6,87 3 7,38 2

Artículos de revista en listados nacionales similares al JCR 6,42 5 6,92 6

Estancias docentes y de investigación en el extranjero 6,41 6 6,86 7

Dirección de tesis doctorales defendidas 6,28 7 6,42 10

Capítulo de libro en editorial de reconocido prestigio 6,13 8 6,97 5

Participación proyectos de investigación con financiación externa

6,11 9 6,56 9

Contribución a congreso internacional 5,85 10 6,86 8

Director de revista en ISI 5,72 11 5,84 14

Dirección académica de trabajos (tesinas, DEA…) 5,40 12 6,12 11

Contribución a congreso nacional 4,78 14 5,40 16

Miembro de consejo editorial en revista ISI 4,70 15 4,70 25

Libro en editorial sin reconocido prestigio 4,49 18 6,01 12

Otros artículos de revista 4,31 19 5,51 15 Muestra: 401 Profesores TU y Catedráticos con 1 o 2 tramos

(Buela y Sierra 2007)

[email protected]

EC3



Indicios de calidad de los librosCNEAI, ANECA, ANEP

Criterios CNEAI ANECA

ANEP

Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se

publica la obra CCSS

Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que

trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1

Traducciones de la propia obra a otras lenguas PCD

Inclusión en bibliografías independientes del autor y su entorno

Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias

Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)

JURID.

Obras de referencia imprescindibles en los estudios grado y postgrado

HUM

Poseer ISBN (imprescindible)

[email protected]

EC3



Derecho y Jurisprudencia (CNEAI)– Se valorarán los estudios y trabajos que constituyan aportaciones

originales de carácter doctrinal teórico o conceptual :• Que desarrollen nuevas perspectivas del ordenamiento jurídico.• Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las

normas.• Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con

el sistema jurídico español o internacional. Aquellos que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional.

• Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho.

• Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición

– No se considerarán:• Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros y

los artículos de divulgación profesional, artículos en revistas de información general. • Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o

estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático.

• Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas.

• Los comentarios de sentencias que sean una mera glosa de las mismas.• Los dictámenes y proyectos

[email protected]

EC3



Filosofía, Filología y Lingüística (CNEAI)

– Se valorarán: • Monografías que sean fruto de la investigación o de la reflexión

documentada • Se considerarán como investigación las ediciones críticas, es decir las

que presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales.

– No se considerarán:• Libros de texto• Artículos de opinión• Obras de divulgación• Antologías o diccionarios comunes• Ediciones de textos o traducciones salvo que estén precedidas de

estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático

• Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas

[email protected]

EC3



Historia y ArteCNEAI

– Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada

– No se considerarán• Libros de texto, apuntes, obras y diccionarios de divulgación

o artículos de opinión• Ediciones de textos o traducciones salvo que estén

precedidas de estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valiosa a su campo temático

• Las catalogaciones que no conlleven estudios históricos o artísticos

• Las transcripciones, si no van acompañadas de juicio crítico o análisis histórico del documento

• Los prólogos e introducciones formularios, que no superen la condición de simples avances de la obra prologada y carezcan de interés crítico per se

• Las actas de congresos.

[email protected]

EC3



Indicios calidad revistas científicas CNEAI, ANECA, ANEP

Criterios CNEAI ANECA ANEP

Se valorarán preferentemente los artículos incluidos en revistas recogidas en los “Journal Citation Reports del Social Science Citation Index” y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA)

Sociología, Política, Educación, Economía, Psicología

Inclusión de las revistas en bases de datos internacionalesSociología, Política, Educación, Economía, Geografía, Psicología:

BD a determinar por el comité asesor, Econlit, Catálogo Latindex

Historia: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc).

Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography

Satisfacer criterios de calidad editorialSociología, Política, Educación, Economía, Geografía, Psicología,

Derecho, Historia, Filosofía, Filología, Lingüística

Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF

Filosofía, Filología Lingüística

[email protected]

EC3



Criterios calidad revistas científicas CNEAI, ANECA, ANEP I


Identifica los miembros de los Comités Editoriales y Científicos

Cuenta con Instrucciones a Autores detalladas Traduce el Sumario de cada número al inglés así como el

título de los artículos, las palabras clave y los resúmenes

Informa sobre el proceso que emplea para la evaluación y selección de manuscritos

Declara la periodicidad y la cumple Utiliza el arbitraje científico en la evaluación de

originales y lo cumple

Declara emplear doble anonimato en la revisión externa y lo cumple

Comunica a los autores la decisión editorial de forma motivada

Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo

[email protected]

EC3



Criterios calidad revistas científicas CNEAI, ANECA, ANEP II


Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales

Al menos el 80% de los autores son ajenos a los Comités Editoriales

Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista

La tasa de aceptación de trabajos es igual o menor al 60%

Está indexada en los JCR de las bases de datos de la Web of Knowledge de Thompson Scientific (SCI, SSCI

Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE

Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)

[email protected]

EC3



• Miden la calidad informativa, del proceso y la organización editorial, y la difusión y visibilidad

• Problemas de fiabilidad

– No existe información compilada y estandarizada

– Puede ser recogida sin control en la observación

• Problemas de validez– Se basa en declaraciones y no en hechos

comprobados

• Sus resultados no necesariamente correlacionan con los producidos por recuentos de citas o encuestas de opinión

Análisis calidad editorial

[email protected]

EC3



• Miden la calidad percibida• Problemas de fiabilidad

– Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados (escenario, deseabilidad social, aprehensión evaluativa, actuación investigador…)

• Problemas de validez– Tasas de respuesta normalmente bajas– Sesgos en las muestras: no representativas– Tratamiento de la no respuesta

• Sus resultados suelen correlacionar con los producidos por recuentos de citas

Encuestas de opinión

[email protected]

EC3



• Miden la influencia intelectual, no la calidad• Cobertura y fuentes procesadas: los resultados son directamente

proporcionales al número y tipo de revistas procesadas.• Son un simple promedio de las citas obtenidas por los artículos de una

revista.– No son representativos del artículo medio: distribución asimétrica

de las citas.• Dependen:

– Tamaño de las comunidades científicas: nº científicos– Naturaleza y tipo de la disciplina científica: básica/aplicada– Hábitos de publicación y prácticas de citación de las comunidades

científicas: nº publicaciones por autor, nº referencias por artículo..– Tipos de trabajos publicados por la revista: revisiones, artículos,

cartas…– Rapidez en la publicación de las revistas (ventana de citación)– La fórmula de cálculo: numerador (citas) denominador (trabajos

citables)• Úsese el impacto observado (citas reales) y no el esperado (factor de

impacto).• Impactitis: La obsesión por ser citados conduce a malas prácticas y aviesos

comportamientos. (http://www.publicationethics.org.uk)• Los datos de citación deben ser cuidadosamente usados e

interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones

La repercusión científicaLos índices de impacto

[email protected]

EC3



ÍNDICES DE IMPACTOREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICASREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

[email protected]

EC3



¿Qué son?

• Índices bibliométricos– Índices estadísticos basados en recuentos de referencias

bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas

– Convenciones internacionales: fórmula ISI– Complementarios no sustitutivos: visión nacional versus

internacional– Índices de impacto Índices de citas

• Revistas científicas españolas• Ciencias Sociales / Ciencias Jurídicas

[email protected]

EC3



94%Revistas españolas

6%Revistas ISI

Producción española en Ciencias Sociales y Humanidades

ISOC versus ISI

1980-2004

[email protected]

EC3



Las cifras de IN-RECS/IN-RECJ

Total IN-RECS IN-RECJ

Periodo cubierto 1994- 2001-

Revistas fuente 195 130 65 (32)

Revistas con

impacto calculado924 627 297

Artículos citables 195.496 154.608 40.888

Citas 55.512 43.949 11.563

[email protected]

EC3



Metodología

1. Identificación población de revistas científicas españolas de ciencias sociales (± 600) y ciencias jurídicas (± 300)

Fuentes: Latindex, Directorio español de revistas de Ciencias Sociales y Humanidades, Dialnet,

Ulrich´s, REBIUN

Etapas del proyecto

[email protected]

EC3



2. Distribución revistas por áreas de conocimiento

Asegurar representación de todas las especialidades, entendiendo por tales las reflejadas en las

ÁREAS DE CONOCIMIENTO

– Clasificaciones temáticas asignadas por las propias bases de datos: CDU, UNESCO, Ulrich´s

– Clusters temáticos obtenidos por el método de las palabras asociadas

– Opinión investigadores

– Citas revistas

Etapas del proyecto

Metodología

[email protected]

EC3



3. Selección de las revistas fuente: ¿qué y cuántas revistas seleccionar para construir el índice de citas?- ¿Por qué ser selectivos? Ley de Bradford- Número de revistas a procesar por área de

conocimiento: Tamaño del campo: número de revistas de cada

campo, tamaño literatura circulante, productividad, número de profesores

- 120 revistas = 20% población revistas españolas Ciencias Sociales

- 65 revistas / 32 revistas = 20/10% población revistas españolas Ciencias Jurídicas.

- El endiablado sistema de citación bibliográfica en Derecho (cita-nota)

Etapas del proyecto

Metodología

[email protected]

EC3



La Ley de Bradford en ISI (SCI 1988)Distribución citas-revistas

[email protected]

EC3



• 22 revistas (2%) reciben el 50% de las citas

• 72 revistas (7%) reciben el 75% de las citas

Distribución Bradford

0

5

10

15

20

25

30

35

1 37 73 109

145

181

217

253

289

325

361

397

433

469

505

541

577

613

649

685

721

757

793

829

865

901

937

973

1009

Revistas

cita

s x

mil

Revistas

La Ley de Bradford en IN-RECS (2003) Distribución citas-revistas

[email protected]

EC3



Metodología

Criterios de selección

- Pervivencia o antigüedad Variable según disciplina: 6 a 9 años

- Calidad editorial*- Empleo de un riguroso sistema de selección y

evaluación de originales- Reputación y prestigio del editor y comités

editoriales

- Opinión profesores e investigadores españoles (calidad percibida)

- Impacto científico de las revistas españolas a nivel internacional*

Etapas del proyecto

* En Derecho no se han aplicado estos dos criterios

[email protected]

EC3



Servidor EC3

Linux Suse 9.2, base datos postgres,

apache, php, ...

Tablas BD

Selección de revistas fuente por especialidades

Introducción de los artículos citables

Título, Autor….

Cindoc, Dialnet, CompludocPsicodoc, revista...

Carga en BD

Introducción de la producción de la revista por años

Cindoc, Dialnet, revista electrónica o en papel

Carga en BD

Obtención e introducción de las citas ISI de las revistas

Carga de citas

Introducción de las citas nacionales de las revistas

Una vez al año

Una vez al año

Una vez al año

SistemáticoCarga de citas

Cálculo de impactos e indicadoresResultados en web

http://ec3.ugr.es/in-recs/http://ec3.ugr.es/in-recj/

Sistemático

[email protected]

EC3



Índice de impacto de las revistas

– Anual (INRECS: 1994- /IN-RECJ: 2001- ) y acumulativo (5 años/histórico: 9 y 13)

– Indicadores: artículos, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, curva de envejecimiento, tasa de autocitación, índice de coautoría.

– Información: Triángulo de citación, evolución de la revista (cuartiles), revistas citadas, artículos citados por la revista, artículos más citados de la revista, especialidades citantes, instituciones citantes, autores citantes, revistas citantes, artículos citantes, perfil bibliométrico: comparación revista / especialidad.

Prestaciones I

[email protected]

EC3



• Artículos más citados de la especialidad– Indicadores: total de citas, citas nacionales e ISI.– Información: rtículos citados y citantes

• Autores más citados de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos

publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.

– Información: relación de coautores; autores citados y autores citantes; filiación autores con los que publica, filiación de los que cita (citados) y de los que le citan (citantes); revistas en las que publica, revistas que cita y que le citan; especialidades en las que publica, especialidades que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación autor / especialidad .

• Instituciones más citadas de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos

publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.

– Información: relación de instituciones con quien colabora (publica); instituciones citados y autores citantes; artículos más citados de la institución; artículos citados por la institución y artículos citantes; revistas en las que publica, revistas que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación institución / especialidad.

Prestaciones II

[email protected]

EC3



Impacto revistas españolas de Ciencias Sociales y Jurídicas

2002-2006

• 90 revistas (10%) concentran el 65% de las citas.• 180 revistas (20%) concentran el 80% de las citas• El 30% de las revistas han sido incapaces de

obtener una sola cita en cinco años.• El 59% de las revistas obtuvieron 5 citas en cinco

años (1 por año) • El 90% de las citas proceden de revistas

españolas• Sólo el 26% de los artículos son citados• El número medio de citas por artículo es de 0,3

[email protected]

EC3



Revistas españolas de Ciencias Sociales y Humanas:Valoración integrada e índice de citas

[email protected]

EC3



• Bases de DatosSe presentan las bases de datos internacionales en las que la revista está recogida.

• Índice Valoración A+BValoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área:

• Índice Impacto Medio (1999-2003)• Criterios Latindex• Evaluadores Externos

Los originales son informados por expertos externos a la entidad editora de la revista, antes de sen aceptados por el Consejo de Redacción.

• PeriodicidadCuando sus ejemplares se editan con un plazo que no supere el doble del anunciado

• Apertura exterior del Consejo Editorial o de RedacciónAl menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista.

• Apertura exterior de los autoresAl menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista

¿Qué es?

[email protected]

EC3



Parámetros de calidadPuntuación máxima

1 Años vida de la revista 10

2 Cumplimiento de la periodicidad 13

3 Criterios Latindex 13

4 Revisores externos 16

5 Índice A + B 16

6 IIM 16

7 BBDD 16 Total 100

1. Años de vida de la revista

20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos

2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos

3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos

4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos

5. Índice A + B (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos

Tipo de base de datos A B C SD

Especializada del área 6 3 1,5 0,75

Especializada en otra área 3 1,5 0,75 0,35

Multidisciplinar 6 3 1,5 0,75

7. Bases de Datos

[email protected]

EC3



Las cifras de RESH

Total

Revistas valoradas 939

Revistas citantes 208

Período cubierto para las

citas

1999-2003

[email protected]

EC3



Subproducto de RESH elaborado para la ANECA

Indicadores: Bases de Datos, Periodicidad, Evaluadores externos,

Apertura consejo editorial, Apertura revista

[email protected]

EC3



Sistema de evaluación integrada de

revistas españolas

OPINIÓN PARES

CALIDAD EDITORIAL

ÍNDICES DE

IMPACTO

CNEAIANEP

Agencias autonómicas

ANECA

EC3



Futuro

Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI

[email protected]

EC3



Catálogo LatindexSistema Regional de Información en Línea para

Revistas Científicas de América Latina, el Caribe, España y Portugal

Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex

[email protected]

EC3



Las cifras del Catálogo Latindex

Total

Período cubierto 2002-

Revistas incluidas 3.098

Arte y Humanidades 511

Ciencias Sociales 1.962

Revistas españolas 1.077

[email protected]

EC3



Características básicas

1 Mención del cuerpo Editorial

2 Contenido

3 Antigüedad mínima 1 año

4 Identificación de los autores

5 Lugar de edición

6 Entidad editora

7 Mención del Director

8 Mención de la Dirección

Características de presentación de la revista

9 Páginas de presentación

10 Mención de periodicidad

11 Tabla de contenidos (Indice)

12 Membrete bibliográfico al inicio del artículo

13 Membrete bibliográfico en cada página

14 Miembros del consejo editorial

15 Afiliación institucional de los miembros del consejo editorial

16 Afiliación de los autores

17 Recepción y aceptación de originales

Criterios y metodología de evaluaciónPara ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista

[email protected]

EC3



Características de los contenidos

26 Contenido original

27 Instrucciones a los autores

28 Elaboración de las referencias bibliográficas

29 Exigencia de originalidad

30 Resumen

31 Resumen en dos idiomas

32 Palabras clave

33 Palabras clave en dos idiomas

Características de gestión y política editorial

18 ISSN

19 Definición de la revista

20 Sistema de arbitraje

21 Evaluadores externos

22 Autores externos

23 Apertura editorial

24 Servicios de información

25 Cumplimiento de periodicidad

Criterios y metodología de evaluación II

[email protected]

EC3



ERIH European Reference Index for the

Humanities

• Listas de buenas revistas europeas de investigación en Humanidades

• Creación paneles de expertos en 15 disciplinas

• Criterios– La selección de los artículos debe basarse en

una política de revisión objetiva (peer-review)

– Cumplimiento normas básicas de publicación• ISSN• Periodicidad: puntualidad en la aparición• Normalización referencias bibliográficas• Dirección completa filiación autores...

[email protected]

EC3




Humanities • Categoría A (10-25% de todos los títulos):

– Nivel muy alto de internacionalidad– Alta reputación entre los investigadores de un campo– Regularmente citada en todo el mundo

• Category B:– Nivel medio de internacionalidad– Buena reputación entre los investigadores de un

campo

• Category C:– Publicaciones europeas– Publicaciones de nivel local o regional– Audiencia local o regional pero con citas fuera de su

país de publicación Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en la publicación

[email protected]

EC3




Humanities

• Marzo de 2007: 7 listas publicadas (Anthropology, Gender Studies, History and Philosophy of Science, Linguistics, Musicology, Philosophy, Religious Studies and Theology)

• Junio de 2007: 4 listas (Archaeology, Classical Studies, History, Pedagogical & Educational Research)

• Octubre 2007: 4 listas (Art & Art History, Literature, Oriental & African Studies, Psychology)

[email protected]

EC3



European Reference Index for the

Humanities Algunos resultados

España Principales paise

Arqueología 10 2,4 UK (20%), Finlandia (10,5), Dinamarca (10)

Estudios clásicos 23 9,1 Italia (26,3), Dinamarca (13,5), Francia (9,6)

Hª y Filosofia de la ciencia

8 4,2 UK (20,5), USA (18,1), Holanda (13,9)

Filosofia 11 3,6 UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7)

[email protected]

EC3



Las bases de datos de Thomson Scientific

• Productor: Thomson Scientific (antiguo ISI)• WOS (Web of Science): Resultado de la unión de tres bases de datos bibliográficas

• Science Citation Index (SCI). 1945-• Social Science Citation Index (SSCI) 1956-• Arts & Humanities Citation Index (A&HCI) 1975-

• 9.000 revistas en el WOS• 1 millón artículos/año. 35 millones desde 1900 hasta hoy• 25 millones de referencias bibliográficas/año

[email protected]

EC3



Lagunas bases de datos ISI

• Sesgo a favor de las ciencias básicas y experimentales:• 61% Ciencia y Tecnología• 21% Ciencias Sociales• 18% Humanidades

• Sesgo a favor de las publicaciones anglosajonas • Infrarepresentación de la ciencia española

• No indiza ninguna revista de las 323 revistas españolas

de Ciencias Jurídicas • Indiza sólo 12 de las 600 revistas científicas españolas

de Ciencias Sociales

[email protected]

EC3



España en el Web of Science

Revistas Españolas WOS

22

31

72

0

10

20

30

40

50

60

70

80

>1995 >2000 >2007

Años

Rev

ista

s

Trabajos Españoles WOS

86788

127764

172435

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

200000

>1992-96 >1997-01 >2002-06

Periodos

Trab

ajos

[email protected]

EC3



H. Moed 2007 Metrics for the Humanities?

How do existing and emerging systems deal with Humanities?

The future of research assessment exercises lies in the intelligent combination of metrics and peer review

ERIH Stakeholder meeting: “Making quality visible: A European Reference Index for the Humanities (ERIH) to better access and assess European Humanities research”. European Science Foundation (ESF) / EC3: Evaluación de la ciencia y de la comunicación científica. Universidad de Granada. Granada 18-20 November 2007.

[email protected]

EC3



Universidades públicasDistribución porcentual de los profesores numerarios por

tramos de investigación y grandes áreas (1989 – 2005)

Nuncapresentado

Evaluado yno

concedido

Total sin

tramos

HUMANIDADES 22 10 32

CIENCIAS SOCIALES Y

JURÍDICAS 39 14 53

CIENCIAS EXPERIMENTALES 17 7 24

CIENCIAS DE LA SALUD 27 13 40

TECNOLOGÍA E INGENIERÍA 46 10 56

NACIONAL 31 11 42

Fuente de datos: CNEAI

[email protected]

EC3



Universidades públicasDistribución porcentual de los profesores numerarios por

tramos de investigación y campos científicos (1989 – 2005)

Fuente de datos: CNEAI

Nunca presentado

Evaluado y no

concedido

Total sin tramos

MATEMÁTICAS Y FÍSICA 29 8 37QUÍMICA 5 5 10BIOLOGÍA CELULAR Y MOLECULAR 2 3 5CIENCIAS BIOMÉDICAS 27 14 41CIENCIAS DE LA NATURALEZA 13 10 23INGENIERÍAS Y ARQUITECTURA 45 10 55CIENCIAS SOCIALES, POLÍTICAS, DEL COMPORTAMIENTO Y DE LA EDUCACIÓN

38 18 56

CIENCIAS ECONÓMICAS Y EMPRESARIALES

50 14 64

DERECHO Y JURISPRUDENCIA 18 11 29HISTORIA Y ARTE 20 9 29FILOSOFÍA, FILOLOGÍA Y LINGÜÍSTICA 20 10 30

Technology

Criterios de evaluación de la actividad investigadora Humanidades y Ciencias Sociales en España