MÓDULO 1.CURSO UPV/EHU. Criterios generales de evaluación. ANECA, CNEAI y UNIQUAL

presentación

http://ec3.ugr.eshttp://ec3noticias.blogspot.com

Daniel Daniel Torres Torres Salinas Salinas ((postdocpostdoc))

Evaristo Jiménez Evaristo Jiménez Contreras Contreras (director)(director)

Contenido

1. Criterios generales de evaluación: ANECA, CNEAI y UNIQUAL.

2. Criterios específicos para revistas científicas por áreas.

3. Cómo localizar indicios de calidad.

4. Consejos para mejor la difusión y recuperación de nuestros trabajos.

Cursus honorum

Éxito en las acreditaciones

Evaluación integral, dimensiones

Finalidad ANECA

• Baremo muy detallado• Aplicación informática muy

compartimentada ymuy lenta de completar

Aspectos a tener en cuenta

muy lenta de completar• Evaluación por dos expertos y

por un comité(consenso / mayoría)• Retroalimentación

• Plazos

peso ANECA a las publicaciones (1)

peso ANECA a las publicaciones (2)

LA AUTORÍA. CNEAI-ANECA¿Cuántas publicaciones?

Fundamentos ANECA de Evaluación



En los ámbitos científicos de orientación básica

(Ciencias y Ciencias de la Salud) se consideran

especialmente las publicaciones en revistas de

reconocido prestigio

En los ámbitos de Arte y Humanidades, Ciencias

Sociales y Jurídicas se valoran especialmente las Sociales y Jurídicas se valoran especialmente las

publicaciones en revistas y libros de prestigio, así

como creaciones artísticas y profesionales

innovadoras

En ámbitos mas aplicados como Ciencias Aplicadas,

Ingenierías y Arquitectura se consideran de

especial relevancia el desarrollo de patentes y

actividades de transferencia de tecnología


¿Que significa publicaciones de prestigio?

Es un indicador formal. ANECA, siguiendo a CNEAI

considera que en los distintos ámbitos del

conocimiento existen índices internacionales que

ordenan por relevancia las publicaciones de


ordenan por relevancia las publicaciones de


Se inventa el concepto de Publicaciones en Revistas

Indexadas con INDICEINDICE DEDE CALIDADCALIDAD RELATIVORELATIVO si

bien, acto seguido las equipara a Publicaciones en

Revistas recogidas en los Journal Citation Reports

(JCRJCR) o equivalentes de cada especialidad

LA AUTORÍA. CNEAI-ANECAPublicaciones en revistas

Pueden considerarse también artículos en revistas sin ICR y enrevistas no incluidas en las mencionadas base de datos, siempre que

cumplan las siguientes características:

•bibliográficos de su especialidad•bibliográficos de su especialidad

• Acepta y publica trabajos en mas de una lengua• Acepta y publica trabajos en mas de una lengua

• Publica fundamentalmente trabajos de investigación• Publica fundamentalmente trabajos de investigación• Publica fundamentalmente trabajos de investigación• Publica fundamentalmente trabajos de investigaciónDeclara periodicidad y la cumpleDeclara periodicidad y la cumple

• Antigüedad superior a tres años• Antigüedad superior a tres años

• Publica un % elevado de trabajos de autores externos a la revista• Publica un % elevado de trabajos de autores externos a la revista(Consejo de Redacción e institución editora)(Consejo de Redacción e institución editora)

• Cuenta con Comité Científico de nivel internacional• Cuenta con Comité Científico de nivel internacional

ANECA clasifica en dos bloques:

Revistas Indexadas o con

Revistas no Indexadas o sin

Publicaciones Indexadas Vs No indexadas

Indexadas o con Índice de Calidad Relativo

Indexadas o sin Índice de Calidad Relativo

Congresos

Como Publicaciones Científicas en RevistasComo Publicaciones Científicas en RevistasIIngeniería y Arquitectura: ngeniería y Arquitectura: ExcepcionalmenteExcepcionalmente. Incluidos en Actas . Incluidos en Actas de Congresos Internacionales de de Congresos Internacionales de prestigio cuando prestigio cuando tales tales congresos son medio de difusión comparable a congresos son medio de difusión comparable a revistas JCR y revistas JCR y selección por Peer Review.selección por Peer Review.

Como Libros o Capítulos de Libro Como Libros o Capítulos de Libro EnEn todastodas laslas áreasáreas dede conocimientoconocimiento.. CongresosCongresos organizadosorganizados porporasociacionesasociaciones internacionalesinternacionales oo nacionalesnacionales dede periodicidadperiodicidad fija,fija, quequeEnEn todastodas laslas áreasáreas dede conocimientoconocimiento.. CongresosCongresos organizadosorganizados porporasociacionesasociaciones internacionalesinternacionales oo nacionalesnacionales dede periodicidadperiodicidad fija,fija, quequepublicanpublican actasactas deldel congresocongreso concon contribucionescontribuciones completascompletasseleccionadasseleccionadas previamentepreviamente mediantemediante evaluaciónevaluación externaexterna yy conconISBNISBN..

Como Congresos, Seminarios, .. (1.A.5 / 1.A.6)Como Congresos, Seminarios, .. (1.A.5 / 1.A.6)EnEn todastodas laslas áreasáreas dede conocimiento,conocimiento, sese valoranvaloran loslos dede caráctercarácterinternacionalinternacional oo nacionalnacional dede especialespecial relevanciarelevancia enen susu ámbito,ámbito, quequeincluyanincluyan revisiónrevisión porpor parespares yy concon lala antigüedadantigüedad suficientesuficiente parapara serserreferentesreferentes enen susu ámbitoámbito

• Libros y capítulos de libro de carácter científico e investigación,publicados en editoriales de prestigio nacional o internacional

•Ediciones o traducciones anotadas

• Reseñas bibliográficas; Prólogos

• Ediciones de las tesis se valoran como libros monográficos solo

Los libros

• Ediciones de las tesis se valoran como libros monográficos solosi han sido publicadas en editoriales de prestigio

• Preferentemente: libros con ISBN publicados en editorialesespecializadas de reconocido prestigio que garanticen un riguroso

proceso de selección y evaluación

• Excluidos (aunque esta exclusión se cita solo en Ciencias Sociales y Jurídicas: libros de texto y manuales (Publicaciones docentes)

Criterios ANECA

Número de citas generadas (cantidad y calidad) ��

Prestigio de la editorial, los editores, la colección en la que se publica la obra ��

Reseñas en las revistas científicas especializadas ��

Acreditar riguroso proceso de selección y evaluación de originales ��

Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el

Los libros

investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1

Traducciones de la propia obra a otras lenguas

Inclusión en bibliografías independientes del autor y su entorno

Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias

Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)

Poseer ISBN (imprescindible) ��

• En áreas de A&H caracterizadas por actividades de creación artística, estos méritos sonespecialmente valorados, y pueden suplir carencias en publicaciones en revistas, pero siempreen función del reconocimiento de las obras artísticas, que podrán ser:

• creaciones profesionales o artísticas, obras artísticas por encargo, presentadas enexposiciones y/o ferias, museos, informes científicos y técnicos, trabajos presentados apremios y concursos, participación en exposiciones, fotografías científicas, aportacionesvinculadas a la valoración, incremento y disfrute del patrimonio histórico y artístico(Arqueología, arte..)

Creaciones artísticas

Indicios de calidad obras artísticas o profesionales

• Participación en exposiciones como autor o comisario con publicación de catálogo con impacto en los medios especializados

• Premios, distinciones o menciones de calidad obtenidas• Reconocimiento profesional y público

• Impacto obtenido en la crítica especializada

• Participación como IP o como investigador en Proyectos de programas competitivos dela UE u otros organismos internacionales, Planes Nacionales, Autonómicos y de otrosorganismos públicos y privados. Requisitos: obtenidos en convocatorias competitivas,sometidos a evaluación externa por agencias nacionales o internacionales como la ANEPo similar

• Participación como IP o como investigador en Contratos de investigación con laAdministración Pública, instituciones o empresas, siempre que generen conocimiento (si

Proyectos y Contratos

Administración Pública, instituciones o empresas, siempre que generen conocimiento (sino a 1.C.2 transferencia al sector productivo)

• Otros méritos asociados a los proyectos y contratos: pertenencia a redesinternacionales, publicaciones especializadas derivadas y autoría en informes técnicosasociados a contratos. La participación como IP en Proyectos de relevancia se valoraadicionalmente también como mérito de gestión en 4.C (TU) 3.C (CU

• Patentes y productos con RPIEspecialmente valorada en ámbitos tecnológicos en los que esta actividad es significativa

• Patentes nacionales o internacionales en explotación o con contrato de cesión o licencia

• Patentes solicitadas que hayan superado alguna fase de valoración

• Productos con RPI (obras artísticas, técnicas, programas informáticosTransferencia de conocimiento al sector productivo

Transferencia

Transferencia de conocimiento al sector productivo

• Actividades innovadoras de transferencia de conocimiento, informes, desarrollo de sofware en explotación, colaboración con empresas

• Actividades ligadas al mantenimiento e incremento del patrimonio cultural, artístico, museístico

• Cursos y seminarios impartidos en empresas y organismos públicos asociados a transferencia de resultados o a formación de personal cualificado

Movilidad

• Estancias media/larga (superiores a 1 mes) en centros de investigación de prestigio

• Becas y ayudas o contratos obtenidos en convocatorias competitivas para realizar estancias

Otros meritos Actividad Investigadora

Otros méritos

Otros meritos Actividad Investigadora

• Evaluador (Peer) de artículos para revistas JCR o equivalentes• Evaluador de proyectos (ANEP o similares)

• Pertenencia a comisiones de selección de solicitudes de movilidad

OJO. Pertenencia a Consejos editoriales revista JCR oequivalentes en méritos de gestión 3.C (CU), 4.C (TU)

Aplicación informática ANECA



*


*Este campo también aparece en el apartado de revistas indexadas

Criterios 2009

OjoOjoAyer se publicaron los criterios para la convocatoria 2009. Hasta donde hemos podido comprobar los criterios se mantienen prácticamente igual. Cambio significativo, se tendrán en cuenta “o aquellas revistas acreditadas por la FECYT”, si cumplen apéndice 1

ÍNDICE SS DE LA UPV/EHUÍNDICE S = NSO/NSPÍNDICE S = NSO/NSP:

NSO=número total de sexenios obtenidos por el colectivoNSP=número total de sexenios posibles para dicho colectivo.

ÍNDICE S DE LA UPV/EHU





-Introducir un régimen retributivo para incentivar, median te evaluaciones, laactividad investigadora de calidad entre el profesorado de las Universidadesy el CSIC-

-Es aspiración de la CNEAI fomentar que los investigadores or ienten sustrabajos a lograr resultados de amplia repercusión (intern acional) científica ysocial

-Se han constatado dos hechos desde la puesta en marcha del sistema : 1. la

LA AUTORÍA. CNEAI-ANECACNEAI. Filosofía general

-Se han constatado dos hechos desde la puesta en marcha del sistema : 1. laciencia española ha experimentado un importante crecimien to tanto encalidad como en cantidad.

2. La CNEAI ha desarrollado una amplia experiencia evaluado ra-Tanto es así que la CNEAI ha sido y es referente para otras age ncias entareas evaluadoras y políticas de evaluación de personas e i nstituciones

-Tras la larga experiencia acumulada, la Resolución de 2005 consideróobjetivo fundamental el precisar la objetivación de los cri terios deevaluación a fin de poder determinar que investigación tien e suficienterepercusión científica y socioeconómica en base a la utiliza ción deindicadores aceptados internacionalmente

Fundamentos CNEAI de Evaluación

Cinco aportaciones ordinarias Cinco aportaciones ordinarias

Libros; capítulos de libro; prólogos (estudios preliminares de

investigación con aportación valiosa), introducciones y

anotaciones de textos; artículos en revistas; patentes o

modelos de utilidad.

En determinadas áreas de conocimiento, son también En determinadas áreas de conocimiento, son también

aportaciones ordinarias los desarrollos tecnológicos,

proyectos arquitectónicos singulares, creaciones artísticas,

actas de congresos de relevancia

Excepcionalmente aportaciones extraordinarias:

Informes, estudios, dictámenes; trabajos técnicos, artísticos;

participación en exposiciones, excavaciones; dirección de

tesis; comunicaciones a congresos

Fundamentos CNEAI de EvaluaciónCNEAI precisa que exige a las aportacionesCNEAI precisa que exige a las aportaciones

Contribución progreso del conocimiento, innovación o creatividad

Participación relevante en los trabajos: argumentar participación

y orden de firma

Relevancia científica del medio de difusión en que se publica la

aportación : Impacto (revistas), Editorial (Libros)

Premios y distinciones recibidas: para creaciones artísticas

Referencia que otros autores hacen y que sean indicativos de

relevancia: se refiere a las citas

Apreciaciones del propio interesado sobre las aportaciones de su

trabajo al progreso del conocimiento. En publicaciones colectivas

mencionar la contribución del solicitante

�Reseñas en revistas especializadas

�En patentes: datos de explotación económica

LA AUTORÍA. CNEAI-ANECACNEAI. El apéndice 1

- Resolución de 2005: incluye el Apéndice 1 con una listade criterios mínimos de carácter formal, de calidadeditorial y de difusión que debe cumplir un medio dedifusión de la investigación (revista, libro o congreso) pa raque pueda ser reconocido a priori como de suficientegarantía

- No obstante, se deja abierta la posibilidad para que losautores comuniquen a la Comisión las citas, valores yreconocimientos independientes que han tenido laspublicaciones elegidas para su curriculum

-Los requerimientos mínimos que se exponen para obteneruna evaluación positiva tratan de reglar lo más posible elproceso evaluador y su aplicación no tiene carácterabsoluto

Apéndice 1Apéndice 1

Criterios que hacen referencia a la Criterios que hacen referencia a la

calidad informativacalidad informativa

1. Identificación de los miembros de los comités editoriales y científicos.

2. Instrucciones detalladas a los autores.

3. Información sobre el proceso de

6. Anonimato en la revisión de los manuscritos.

7. Comunicación motivada de la decisión

8. Existencia de un consejo asesor, formado por profesionales e investigadores de reconocida solvencia, sin vinculación

Criterios sobre la calidad científica Criterios sobre la calidad científica

LA AUTORÍA. CNEAI-ANECACNEAI. El apéndice 1

3. Información sobre el proceso de evaluación y selección de manuscritos o jueces.

4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de Congresos.

Criterios sobre la calidad del proceso Criterios sobre la calidad del proceso

editorialeditorial

5. Periodicidad

Criterios sobre la calidad científica Criterios sobre la calidad científica

de las revistasde las revistas

9. Porcentaje de artículos de investigación; más del 75% de los artículos.

10. Autoría: grado de endogamia editorial, más del 75% de los autores serán externos al comité editorial y ajenos a la organización editorial de la revista.

11. Indexación de las revistas en las bases de datos internacionales especializadas

Hoja de evaluación CNEAI

UNIQUAL peso investigación

peso UNIQUAL a las publicaciones

UNIQUAL = Imprecisión-No Indica criterios de calidad de las revistas ni de los libros ¿Cómo deben ser?

- No da referencia sobre bases de datos

- No hace distinciones entre disciplinas

- Parece más una guía basada en ANECA que unos criterios

Por ejemplo:Por ejemplo:

Publicaciones Científicas Indexadas en revistas de nivel medio/alto de su área

[¿?]

Publicaciones Científicas en revistas con consejos de redacción o revisores

nacionales [¿?]

Consejo: en general las agencias autonómicas adoptan los criterios nacionales

sin demasiado criterio, por tanto mejor seguir ANECA para interpretar los

criterios UNIQUAL

LA AUTORÍA. CNEAI-ANECA¿Qué dicen las agencias de la autoría?

CNEAICNEAIEl número de autores no será evaluable como tal, pero si deberá estar justificadopor el tema, complejidad y extensión del mismo: Campos 1,2,3,4,5,6: Física,Matemáticas, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de laNaturaleza, Ingenierías y Arquitectura

Salvo que estuviera plenamente justificado por la complejidad del tema y/o laextensión del trabajo, un elevado número de autores puede reducir la calificaciónasignada a una aportación. Campos 7,8,10,11: Sociología, Política, Educación,Economía, Geografía, Psicología, Historia y expresión artística, Filosofía, Filología,LingüísticaLingüística

El número de autores de una aportación deberá estar justificado por el tema,complejidad y extensión del mismo. Para que una aportación sea considera, elsolicitante deberá haber participado activamente haciendo constar su concretaautoría en la investigación publicada mediante referencia a páginas, capítulos oapartados. Sólo se valorará la labor investigadora personal individualizada delsolicitante. Campos 9: Derecho

ANECA ANECA Se tiene en cuenta la posición y el número de autores, reduciendo el valor de lapublicación cuando este número sea superior a la media en la especialidad. Todaslas áreas de conocimiento

LA AUTORÍA. CNEAI-ANECA¿Qué quieren evitar?

LA AUTORÍA. CNEAI-ANECA¿Cual debe ser el número de autores? (1)

Categoría Categoría

Agricultura 44 Matemáticas 22

Ciencias de la Alimentación 44 Ing. Mecánica, naval, … 33

Ingeniería Civil y Arquitectura 33 Medicina 55

Ciencias Computación / Informática 33 Bioquímica y Biología Molecular 55

Número de autores (aprox.) en trabajos en revistas Web of ScienceNúmero de autores (aprox.) en trabajos en revistas Web of Science(Principalmente internacionales y anglosajonas)(Principalmente internacionales y anglosajonas)

Ciencias Sociales 22/3/3 Psicología 33

Derecho 22 Química 44

Economía 22 Comunicaciones 33

Ing. Eléctrica y Electrónica 44

Farmacia y Farmacología 55

Filosofía, Filología 11

Ganadería y Pesca 55

Historia 11

Ciencias materiales 55

LA AUTORÍA. CNEAI-ANECA¿Cual debe ser el número de autores? (2)

Categoría

Antropología 11

Documentación 1/21/2

Ciencia Política 11

Número de autores (aprox.) en trabajos en revistas InNúmero de autores (aprox.) en trabajos en revistas In--RecsRecs/In/In--RecjRecj(revistas nacionales)(revistas nacionales)

Comunicación 11

Economía 1/21/2

Educación 1/21/2

Geografía 22

Psicología 22

Sociología 1/21/2

Education

MÓDULO 1.CURSO UPV/EHU. Criterios generales de evaluación. ANECA, CNEAI y UNIQUAL