INDICADORES DE PRODUCTIVIDAD CIENTÍFICA .pdf

117

INDICADORES DE PRODUCTIVIDAD CIENTFICA Implicaciones para la evaluacin de la psicologa espaola

D. Pez y J.F. Salgado

La evaluacin de la activi-dad cientfica y de la producti-vidad de los investigadores es una cuestin de inters desde muchas perspectivas distintas:

la financiacin de la investigacin, la recompensa de la actividad de in-vestigacin, la formulacin de polticas de investigacin y la toma de decisiones relacionadas con tales polticas, la planificacin estratgica de la actividad universitaria, la negociacin salarial en los casos en que sta se hace directamente entre el investigador y la organizacin contra-tante, la dotacin de plazas de profesorado universitario y su promocin as como la concesin de becas, entre otras. Por estas razones, la pre-ocupacin por sistemas justos de evaluacin de la actividad investiga-dora ha sido y es un preocupacin tanto para los propios implicados en la investigacin como para aquellos que tienen que tomar decisiones al respecto. En Espaa, tres entidades del Ministerio de Ciencia e Innova-cin (antes del Ministerio de Educacin y Ciencia) son las encargadas, con diferentes propsitos, de evaluar la actividad cientfica. La calidad de los proyectos investigacin es evaluada por la Agencia Nacional de Evaluacin y Prospectiva (ANEP) (ver Gordillo, Gonzlez Marques y Muiz, 2004). La actividad investigadora del profesorado universitario funcionario la evala la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI) y los criterios de evaluacin se describen en la convocatoria anual en el Boletn Oficial del Estado (BOE). Por su parte la Agencia Nacional de Evaluacin de la Calidad y Acreditacin (ANE-CA) realiza, entre otros, la evaluacin de la calidad de los programas de doctorado as como la evaluacin del profesorado cara a la contratacin

Boletn de Psicologa, No. 97, Noviembre 2009, 117-136

Daro Pez Rovira es Catedrtico de Psi-cologa Social en la Universidad del Pas Vasco. Jess Fernando Salgado Velo es Catedrtico de Psicologa Social en la Universidad de Santiago de Compostela.

Boletn de Psicologa, No. 97, Noviembre 2009

118

o a la acreditacin para el acceso a los cuerpos docentes universitarios (ver ANECA, 2006). As pues, de modo general, dos aspectos de la actividad investigado-ra son tenidos en cuenta por estas agencias y comisiones: la cantidad y la calidad de lo producido. No siempre los indicadores de estos dos as-pectos han confluido, dando lugar a numerosos debates al respecto y posiciones encontradas. Los criterios fundamentales utilizados en Espa-a son, adems de la cantidad de artculos publicados (criterio de pro-duccin) en revistas indexadas en el Institute for Scientific Information (ISI), el nmero de citas que el trabajo de investigacin ha recibido y el ndice de impacto de la revista en la que se ha publicado en trabajo de investigacin (criterio de calidad). Un reciente Informe de la ANEP espe-cificaba as los criterios de evaluacin de la I+D en Ciencias Sociales (Economa, Geografa, Sociologa, Ciencia Poltica, Educacin y Psico-loga): Una publicacin de investigacin aporta un resultado novedoso en un campo del saber. Por ello, una publicacin de investigacin tiene que estar al alcance de la comunidad cientfica, tiene que haber sido difundida por un medio que incluya la evaluacin por pares y los resulta-dos de la investigacin deben de ser susceptibles de rplica y verifica-cin. Adems, para ser considerada relevante (en el sentido de hacer avanzar el conocimiento), la publicacin ha de tener impacto. [] Para los trabajos difundidos en publicaciones peridicas, el listado de referen-cia sera el elaborado por el ISI para cada una de las reas. [] Los criterios de valoracin han de incluir, fundamentalmente, el ndice de impacto de la revista y las citas que el artculo haya recibido, todo ello normalizado, teniendo en cuenta la productividad media, a nivel mundial, de las diferentes reas y especialidades cientficas. En este sentido, se considera urgente que, por parte de la administracin, se realicen estu-dios de productividad para las diferentes reas, de forma que se dispon-ga para la evaluacin de una norma basada en la evidencia (Cabrales, Carmona, Fuentes, Gmez, Gutirrez, Herrero, Jordana, Olcina, Pez y Snchez, 2007, pginas 6-8). Por consiguiente, este artculo busca pre-sentar las posibilidades y limitaciones de los indicadores bibliomtricos a los que el texto anterior hace mencin, as como de otros indicadores (e.g. los tramos o sexenios) para evaluar el rendimiento o productividad cientfica. La evaluacin de la actividad investigadora incluye tanto los insumos para la produccin (fondos de investigacin, subvenciones, becas de formacin, etc.) como los resultados de esta produccin de conocimiento, esencialmente las publicaciones cientficas. La relacin costes/resultados es un aspecto interesante y poco desarrollado de la evaluacin. Nos concentraremos en este artculo en las publicaciones cientficas como indicador de rendimiento, ya que hay informacin y re-flexin suficiente sobre ello. Nos parece importante que las opiniones sobre estos temas se fundamenten en evidencias y no en juicios a priori. Los datos que presentamos, resumiendo estudios parciales, permitirn


119

situar la evaluacin en un mbito realista, superando una serie de pre-juicios existentes (e.g. la situacin espaola es particular, es escandalo-so que la produccin sea asimtrica, los estudios bibliomtricos subes-timan la produccin espaola). Adems nos permitirn sugerir criterios normativos, aunque stos se basen en estudios parciales y limitados, ya que en la actualidad no hay estudios administrativos oficiales. Empeza-remos analizando las caractersticas de la produccin cientfica y su relacin con la docencia, para cuestionar una serie de creencias aparen-temente dominantes en nuestro entorno. A continuacin describiremos las caractersticas de la produccin cientfica en la Psicologa espaola. Posteriormente analizaremos los tramos o sexenios, un criterio de eva-luacin que nos parece claramente inadecuado aunque se haya plan-teado frecuentemente como tal. Seguidamente, expondremos las poten-cialidades y limitaciones de los indicadores basados en la produccin de artculos y citaciones. Finalmente, en un ltimo apartado describiremos criterios normativos basados en los estudios reseados. Las caractersticas reales de la produccin cientfica. Posicin y tendencias de la psicologa espaola Espaa ha pasado del rango 32 en 1963 al 9 en produccin cientfica mundial entre los aos 60 y el fin del siglo XX. Desde la aprobacin de la Ley de la Ciencia en 1986 al siglo XXI el nmero de investigadores ha pasado de 24,500 a 101,000 37% en la privada. En el 2005, en la En-seanza Superior (E.S.) haba 54.028 investigadores, un 4,7% ms que en el 2004. Sin embargo, la tasa de crecimiento del 2005 respecto al 2004 fue ligeramente inferior (4,9% en 2004) y tres puntos menos que en 2003 (Fundacin Conocimiento y Desarrollo, 2007, de ahora en ade-lante Fundacin CyD). Actualmente, la economa espaola es la novena-dcima en impor-tancia sobre el PNB mundial. La produccin cientfica se corresponde con este peso en lo referente a la cantidad de publicaciones, ya que en la actualidad es el noveno pas productor de ciencia pasando del 0,7 en 1981, al 1,1 en 1986-88, al 2,0% en 1995-1997 y al 2,85% en 1997-2001 (King, 2004). Un estudio utilizando la base Scopus encontr que Espaa se situaba en el rango dcimo de la produccin mundial de Psi-cologa, detrs de EEUU, Reino Unido, Canada, Alemania, Australia, Holanda, Francia, Italia y Japn. Adems, la posicin en el ranking en Psicologa era ligeramente inferior a la posicin de Espaa en el ranking de produccin cientfica total (De Moya, 2008). En el ao 2002 la partici-pacin de Espaa en la produccin cientfica total era del 2,95 mientras que la participacin de Psicologa y Psiquiatra era de 1,76, es decir, la produccin tena un impacto inferior al medio (Aguirre, 2003). Entre los aos 1980 y 2000, se duplic la inversin en I+D y en educacin, redun-dando en una duplicacin del nmero de profesores universitarios (de


120

los que aproximadamente un tercio hacen investigacin) y una cuadru-plicacin del nmero de investigadores. En consecuencia, entre 1986-88 y 95-97 se ha duplicado la produccin de artculos cientficos (King, 2004). La produccin cientfica de las Universidades comprende el 60,4% de la produccin cientfica espaola en revistas internacionales, utilizando solo el 32% del presupuesto (Fundacin CyD, 2005; 2006). Por el contrario, la produccin universitaria solo representa el 10% de las patentes, indicador de innovacin tecnolgica (Fundacin CyD, 2007). La produccin de artculos cientficos ha aumentado regularmen-te y se ha orientado progresivamente a revistas internacionales. Las universidades con mayor produccin total fueron las mismas que las ms productivas en trminos relativos (Fundacin CyD, 2005; 2006). En sntesis, si los investigadores se han cuadriplicado, la produccin se ha duplicado. Se est llegando a una cierta estabilizacin, como indican los anlisis de la produccin global y los de produccin sectorial en Psicolo-ga (Musi-Lechuga et al, 2005). Es decir, las mismas posiciones y ten-dencias al crecimiento de la produccin cientfica se dan en Psicologa, si bien de forma menos marcada. Las caractersticas reales de la produccin cientfica y su relacin con la docencia En nuestro contexto han sido muy frecuentes afirmaciones como publicar es una prdida de tiempo porque nuestra produccin se cita poco o son muy pocos los que publican o potenciar la investigacin conlleva un efecto negativo en la docencia. Sin embargo, una revisin de los estudios empricos existentes no apoyan estas creencias. En pri-mer lugar, se observa que el bajo impacto de la produccin es general. Igualmente ocurre con la distribucin asimtrica de la produccin e im-pacto, que es asimtrica en EEUU y otros pases (vase el artculo de Joy, 2006, reproducido parcialmente en este monogrfico). Por otro la-do, segn los estudios internacionales, no hay relacin negativa entre investigacin y docencia. La limitada evidencia disponible de nuestro entorno va en el mismo sentido. Con respecto a la escasa citacin, segn algunas estimaciones ge-nerales, el 90% de los artculos no son nunca citados el primer ao. In-cluso en las revistas de mayor impacto, la mayora de las citaciones vienen de un 15% de los artculos publicados (Lee, Cassano y Vicente, 2005). A finales del siglo XX el 55% de los artculos de las revistas ISI no haban sido citados en los primeros cinco aos, y que la moda cita-cin era cero (Hamilton, 1991). A este respecto, el ISI en un informe de 1999 reflejaba que el porcentaje de artculos no citados a medio plazo oscilaba entre el 44,5% de Ciencias de la Computacin y el 13% de In-munologa, siendo del 25% el porcentaje de artculos no citados en Psi-cologa y Psiquiatra (ISI, 1999).


121

Finalmente, tambin se ha constatado que el 10% de los cientficos ms destacados producen alrededor de 50% de las publicaciones cient-ficas. Un estudio ya antiguo encontr que el 10% de los autores en Psi-cologa publicaban el 47% de los textos, mientras que el 50% de los autores publicaban solo el 15% de stos (Deniss, 1954 citado en Lee, Cassano, y Vicente, 2005). El artculo de Joy (2006) confirma que 120 profesores concentran el 47% de las publicaciones de una muestra de alrededor de 1200. En el caso espaol, un 5% o menos de los autores ms prolficos producen el 30% de los artculos publicados por titulares y catedrticos de psicologa (Musi-Lechuga et al, 2005). Esta concentra-cin de produccin en una minora tambin se da en el impacto reflejado en el nmero de citaciones. Una minora de cientficos recibe una gran parte de las citas en todos los campos cientficos, incluida la Psicologa. Por ejemplo, un 10% de todos los artculos de Astrofsica y un 5,2% de los de Ciencias de la Computacin obtienen el 50% de todas las citas. En Psicologa y Psiquiatra ese porcentaje es del 7,1% (ISI, 1999). Tambin se ha criticado la alta tasa de errores de identificacin de autores en los estudios bibliomtricos locales realizados, atribuyndose la misma, generalmente, a distorsiones voluntarias. El hecho es que en los estudios bibliomtricos se da un error de identificacin de citas, con una media del 7% pudiendo llegar al 30% (Avital y Collopy, 2001; van Raan, 2005). En cuanto a la importancia de la investigacin sobre la docencia y su efecto negativo sobre esta ltima, cabe sealar que en la universidad espaola la investigacin es menos prioritaria de lo que se percibe. En el 2004 el 44% del profesorado universitario no haba solicitado un sexenio o no se lo haban concedido y en el rea de Ciencias Sociales el porcen-taje era del 41% (Fundacin CyD, 2005; 2006). Es decir, solo seis profe-sores funcionarios sobre diez intentan ver reconocida su actividad de investigacin. Respecto al hecho de que la investigacin menoscaba la docencia, los tres meta-anlisis que han examinado la relacin entre productividad (generalmente operacionalizada como la cantidad de art-culos publicados) y la eficacia docente (operacionalizada mediante las encuestas de opinin del alumnado sobre la calidad docente del profe-sor) han encontrado correlaciones positivas pequeas (alrededor de r=0,10). Una revisin de 30 de los estudios incluidos en estos meta-anlisis mostr que en un 66% se daba una asociacin de cero y en un 37% una asociacin positiva (Feldman, 1987; Allen, 1996; Hattie y Marsh, 1996). Como limitaciones sealar que estos estudios se han llevado a cabo en universidades sobre todo anglosajonas y la operacionalizacin tanto de la productividad como de la eficacia docente ha sido limitada. Pese a ellas, a partir de estos resultados se ha concluido que no hay una rela-cin negativa, sino que la relacin entre investigacin y docencia es lige-ramente positiva. Dicho de otra manera, la investigacin no afecta nega-


122

tivamente a la docencia, y es probable que haya buenos investigadores que sean buenos docentes, aunque ser buen investigador no implica ser buen docente. Singularmente en las universidades anglosajonas la creencia dominante es que la investigacin y la docencia estn positi-vamente asociadas, mientras que en Espaa se piensa lo contrario. Una estimacin de los docentes que eran buenos en docencia e investiga-cin (por encima de la media en evaluacin de alumnos y en produccin de artculos) evidenci que un 22% eran buenos o superiores a la media en ambos aspectos (Fairweather, 2002). Aunque no hay estudios loca-les, un anlisis de los datos agregados parciales del rea de Psicologa en las evaluaciones de una Agencia de Evaluacin Autonmica, encon-tr una correlacin positiva y significativa entre docencia e investigacin [r(40)=.64, p


123

productividad un peso casi igual al de artculos publicados en revistas del Journal Citation Reports (JCR) de WoK (Buela-Casal, Bermdez, Sierra, Quevedo-Blasco y Castro, 2009). Sin embargo, un estudio sobre los catedrticos de Psicologa Social encontr que el nmero de sexe-nios de investigacin correlacionaba ms fuertemente con la antigedad como catedrtico y con la antigedad como doctor que con los ndices de productividad cientfica como el ndice h, el total de citas o la cita mxima (Salgado y Pez, 2007). En el mismo sentido Carca-Prez (2009) encontr que en el rea de Metodologa no haba diferencia entre catedrticos y titulares en el ndice h. Segn Musi-Lechiga et al (2005), la produccin media de artculos ISI de catedrticos y titulares (con ma-yor produccin sobre el total) era similar en la mayora de reas de Psi-cologa. Recordemos que los primeros tienen ms sexenios que los se-gundos por definicin. A partir de esta evidencia limitada podemos con-cluir que nmero de sexenios muestra ser un indicador de valor reduci-do. De hecho, los resultados sugieren que la obtencin de sexenios es-tara ms basada en la posicin desempeada y en la antigedad que en la productividad cientfica. Por ende pensamos que, en la actualidad, los sexenios no son un indicador til de evaluacin de la calidad de la productividad cientfica. Las bases de datos de citaciones Las revistas incluidas en la base de datos del WoK, Web of Science (WoS), tienen la ventaja de que basan la seleccin de artculos en el sistema de revisin de pares y, en general, son las revistas de mayor impacto mundial en la ciencia. Ahora bien, la muestra de revistas de WoS tiene una serie de limitaciones: se da un sesgo lingstico a favor del ingls, predominan las reas de ciencias naturales y de la vida, y las reas de ciencias sociales y de humanidades estn sub-representadas. Una comparacin entre la lista de 1986 de las revistas cientficas de la UNESCO con las revistas integradas en WoS mostr que haba 2,5 ms revistas en la primera que en la segunda. El 60% de las revistas del WoS eran de EEUU frente al 17% de la lista de la UNESCO (Schoepflin, 1990). En la actualidad la WoS incluye alrededor de 8700 revistas. Cu-bre solo alrededor del 10% del total de revistas cientficas, que se esti-maban en alrededor de 100 mil a fines del siglo XX. Ahora bien, cubre un cuarto de las cerca de 24 mil revistas que utilizan revisin por pares (Beauvois y Pansu, 2008). Por otro lado, en 2005 el 98,7 % de las revis-tas de WoS eran de habla inglesa, representando alrededor del 0,20 del total las revistas en otros idiomas (francs o chino). Recientemente se ha ampliado el nmero de revistas que publican en otros idiomas o que provienen de pases con un idioma diferente al ingls. En cuanto a las reas de ciencias humanas y sociales, indicar que solo son de esas reas un 20% de las revistas de la WoS.


124

Sin embargo, pese a todas estas limitaciones, y confirmando que el ingls es el latn cientfico de nuestro tiempo, hay que sealar que de nueve de cada diez citas realizadas en las publicaciones de Psicologa en espaol son respecto a revistas en ingls o internacionales. Adems los profesores e investigadores que publican mayoritariamente en publi-caciones espaolas citan muy poco las revistas en castellano (Alcain y Romn, 2005). Otra cuestin criticada de estas bases es que no integran libros y monografas. Un estudio concluy que en el caso de las ciencias socia-les el 40% de las publicaciones se haca en libros y monografas, frente al 15% de las ciencias naturales, diferencias que se encuentran incluso en los pases anglosajones (Pestaa, Gmez, Fernndez, Zulueta, Mndez, Koenig y Bookstein, 1995). Ahora bien, hay que indicar que un procedimiento del sistema de bsqueda de WoS, Cited Reference Search, permite estimar las citas realizadas en las revistas de WoK a todo tipo de texto (incluyendo tesis, libros, monografas y actas). Por otro lado, la base Scopus, lanzada por Elsevier en el 2004 como una alternativa europea a la WoS, incluye una base ms amplia de re-vistas (cerca de 13 mil) as como 125 series de libros, 700 actas de con-gresos cientficos y 275 millones de pginas Web. En esta base un 60% de los textos provienen de fuera de EEUU (Jacso, 2008). Es decir, hay alternativas en ambas bases que permiten integrar la produccin de libros y monografas. Sin embargo, tanto WoS como Scopus tienen como limitaciones esenciales el ser de pago y tener una cobertura parcial. Si bien es ver-dad que, actualmente, WoK est disponible para todos los investigado-res pblicos espaoles. Como base gratuita alternativa est Google Schoolar y el sistema de bsqueda Publish or Perish (ver www.har-zig.com). Las limitaciones centrales de los sistemas gratuitos son la ba-se indiferenciada de citaciones y las dificultades para identificar clara-mente a los autores, revistas y artculos. Estas tres bases y sistemas entregan indicadores de citaciones, de ndice h y de ndice g. Los estudios limitados existentes sugieren que la WoS proporciona ms fcilmente datos fiables, que las bases se recu-bren parcialmente (alrededor del 40%) y que en general se obtienen mayores citaciones con Scopus que con WoS y an ms con Google Scholar (Kermarrec, Faou, Merlet, Robert y Segoufin, 2007). Conjugan-do estos sistemas, si los autores hacen pblicos sus CVs para identifi-car claramente todos sus textos, se pueden obtener fcilmente estima-dores comparables.


125

La calidad de las publicaciones. El factor de impacto de una revista (Journal Impact Factor o JIF) La calidad de la revista en la que se publica se considera un indica-dor de evaluacin. Por ejemplo, se requiere un mnimo de dos publica-ciones indexadas en WoK para obtener un tramo o sexenio de investi-gacin en Psicologa. En evaluaciones como las realizadas recientemen-te por agencias de evaluacin autonmicas estilo ANECA, reflejando la importancia de la calidad de la revista, se otorgaba un peso de 100 a publicaciones indexadas internacionales, de 50 a publicaciones indexa-das nacionales (Psicothema y otras ms en la actualidad) y de 25 a pu-blicaciones no indexadas (Pez, 2007). El Factor de Impacto de la Re-vista o Journal of Impact Factor (JIF) es la relacin entre las citaciones recibidas durante un periodo de dos aos y el nmero de artculos publi-cados durante el mismo periodo. Por ejemplo, el JIF para Science en 1995 era de 21,9, ya que ese ao se haban dado 24979 citas de artcu-los publicados en 1993, ms 20684 citas de artculos publicados en 1994 y los artculos publicados esos dos aos ascendieron a 2084. A partir del valor del JIF se puede concluir que las revistas con un impacto como Science son escasas. En concreto en 1994, un 6.7% tena un JIF > 3, un 27% tena 3


126

Un anlisis de las 61 revistas de Psicologa segn el JCR, respecto al ao 2009 y utilizando la ventana de cinco aos, evidencia que un 38% tena un JIF


127

Journal of Health and Social Behavior tienen tasas de auto-citaciones del 20-35% (Johnson y Wolinsky, 1990). Tambin la publicacin por entregas, o en salami, puede inflar el impacto ya que en cada una se incluyen solo aspectos parciales de un estudio y la apreciacin global exige citar todas las entregas. Esta tcti-ca se puede apreciar sobre todo en el caso de grupos y autores consoli-dados, que entregan poco a poco una serie de estudios complementa-rios. Por otro lado aunque la calidad de la revistas donde se publica es un indicador del esfuerzo acadmico, no lo es tanto de su impacto. La rela-cin entre el JIF de las revista y las citaciones de los artculos publica-dos en ellas no es alta. Un anlisis exhaustivo de las referencias del WoS encontr una tasa de referencias sin relacin con el tema del art-culo del 7%. Los sistemas de bsqueda proponen una tasa de Auto-citacin o relacin entre citaciones publicadas en la revista y el total de citaciones que esta obtiene. Sin embargo, se ha concluido que la tasa de auto-citacin de las revistas no es una limitacin central, ya que pue-de indicar la consistencia de las lneas de investigacin (Johnson y Wo-linsky, 1990; Glnzel, 2008). En sntesis, publicar en revistas de impacto inferior a uno indica un esfuerzo meritorio y en publicaciones de impacto superior a 1-2 un esfuerzo mayor. Sin embargo, como indicador tiene un valor limitado, ya que el impacto de la revista no es automticamente el impacto de la produccin del artculo de la persona. Es por esto que se han desarrollado indicadores como los siguientes. Diferentes tipos de Indicadores bibliomtricos sobre la cantidad y la calidad de la produccin cientfica Los indicadores de citaciones de la produccin cientfica ms comu-nes son (Salgado y Pez, 2007): a) Nmero total de trabajos o artculos publicados: cuya ventaja resi-de en que mide la produccin realizada pero cuya desventaja es que no mide la importancia ni el impacto de los trabajos. b) Nmero total de citaciones: cuya ventaja es que mide el impacto total y cuya desventaja es que es difcil de lograr. Este indicador puede estar inflado por unos pocos grandes impactos que pueden no ser re-presentativos de la persona, si es coautor de tales trabajos con muchos otros. Tambin pueden dar un peso exagerado a los artculos de revi-sin o de meta-anlisis, altamente citados, frente a contribuciones origi-nales de investigacin. Se ha estimado que un articulo de revisin tiene 5 veces ms impacto que un artculo normal en una misma revista (Beauvois y Pansu, 2008). Ahora bien la influencia de artculos de snte-sis y meta-anlisis en parte las citaciones reflejan la utilidad cientfica del texto, es decir, estos textos tienen un impacto no solo por un artefacto


128

estadstico, sino porque en general reflejan el estado de la cuestin so-bre un tema y atraen reconocimiento cientfico por ello. Estos dos indicadores de cantidad y calidad se han criticado fuerte-mente ya que la cantidad no se asocia a la calidad. Sin embargo, los estudios muestran que la investigacin de alta calidad proviene de las personas que publican ms prolficamente (Simonton, 2007). Confir-mando esto, en varios estudios con muestras de psiclogos, la relacin entre el total de artculos, el total de citaciones e ndices ms sofistica-dos como el ndice h, que evalan la calidad del impacto, es lineal, signi-ficativa y fuerte (superior a .70) (Garca-Prez, 2009; Dorta-Contreras, Arencibi-Jorge, Marti-Lahera y Araujo-Ruiz, 2008). Tambin se ha cues-tionado su carcter sustantivo. Se ha planteado que considerar las cita-ciones como el sistema de recompensas de la ciencia, como planteaba el socilogo de la ciencia Merton, es inadecuado e ingenuo (Beauvois y Pansu, 2008). Las citaciones, como las publicaciones, seran indicado-res de visibilidad cientfica, ms relacionados con redes de sociabilidad, colegios invisibles y capacidades de comunicacin intercultural, que reales indicadores de productividad (Iiguez, Martnez, Muoz, Pea-randa, Sahn y Alvarado, 2008). Sin negar que estas afirmaciones tie-nen un ncleo de verdad, los estudios han mostrado que indicadores basados en citas tenan capacidad predictora de la obtencin de reco-nocimiento cientfico de todo tipo, incluyendo los Nobeles, es decir, que tenan una validez como indicador predictivo de rendimiento cientfico (Simonton, 2003). Aunque en la actualidad no se considera ingenua-mente a las citas como un reflejo puro de reconocimiento, hay consen-so en que las citas son un indicador de recepcin, uso o consumo de la informacin inherente a un artculo cientfico. Si un texto recibe varias citaciones al ao, varios aos despus de su publicacin, es muy proba-ble que su contenido se integre en la disciplina cientfica en cuestin. Si un texto nunca es citado varios aos despus de su publicacin, es muy probable que su contenido no se integre al cuerpo del conocimiento cientfico. Las citas constituyen un indicador de la recepcin del texto, de su impacto pblico en el conocimiento, que es la forma esencial de eva-luar la actividad cientfica (Cabrales et al, 2007). Como contra-ejemplo por excelencia de muchos crticos de los criterios cuantitativos se han mencionado casos como los de Mead o Wittgenstein, que publicaron poco y son reconocidos como grandes pensadores. Ante esto, podemos mencionar que lo que confirma que Wittgenstein es un gran filsofo o que Mead sea un precursor de la Psicologa social, no es que haya pu-blicado poco, sino que lo poco publicado y las notas divulgadas por sus discpulos, situados adems en instituciones anglosajonas de gran pres-tigio, han sido ampliamente citados y discutidos. Es decir, que sus escri-tos han tenido un impacto pblico, evaluable por citaciones. Con respecto a la distribucin de la produccin de artculos en nues-tro contexto, los datos agregados de los aos 2003-2004 indican que la


129

Media de artculos del ISI por profesor espaol universitario al ao es de 0,5 por ao (Fundacin C y D, 2006). Una evaluacin de la productividad durante el quinquenio 2000-2004 encontr que el promedio de las uni-versidades ms productivas espaolas, como la Universidad de Barce-lona (puntuacin 0,92 sobre 100), era de 4,5 artculos del ISI por profe-sor a tiempo completo durante esos aos. Es decir, alrededor de un art-culo por ao. En el caso de la Universidad Complutense, que se situaba en la media en productividad (puntuacin 0,49 sobre 100), el promedio era de 2,4. Es decir, de 0,5 artculos por ao, lo que coincide con la me-dia antes descrita. La UPV que se situaba en la puntuacin 0,32 sobre 100, tena un promedio de 1,4 (Grupo Scimago, 2007). Con estos indi-cadores, y debido a que la distribucin es asimtrica ya que la mediana es inferior a la media, podemos concluir que dos artculos en seis aos sitan a la persona por encima del 50% de los profesores espaoles en general. De hecho es el criterio que se plantea para obtener sexenios en Psicologa: dos publicaciones del ISI sobre un total de cinco. Podemos suponer que tres publicaciones en cinco aos indican una alta producti-vidad relativa. Utilizando PsycInfo como base, se ha estimado que 6 publicaciones por sexenio es la mediana de los profesores de Psicologa de las Uni-versidades de Investigacin ms productivas de los EEUU. La mediana para Universidades de produccin media, a las que se pueden asemejar por condiciones las espaolas, era de 3-4 artculos por sexenio (Joy, 2006). El estudio de Musi-Lechuga et al. (2005) que analiz la produc-cin de artculos en revistas del ISI de titulares y catedrticos de Psico-loga hasta el ao 2004 era muy diferente por rea y entre universida-des. Segn la media por rea y la media para las cinco universidades con mayor produccin por rea, las personas con ms de 16 y de 26 artculos respectivamente en Psicobiologa, con ms de 6 y 8 en Meto-dologa, con ms de 6 y 7 en Petra, con ms de 5 y 7 artculos en Bsi-ca, con ms de 3 y 4 en Social y con ms de 2 en Evolutiva, se sitan por encima de la media de los profesores y departamentos universita-rios. Aunque no se especificaba los aos medios de carrera acadmica, stos se pueden estimar entre 20 y 25 para los catedrticos. Con el cl-culo ms exigente, usando el mnimo de aos de carrera acadmica (20) y la estimacin ms alta de publicaciones (26 para Psicobiologa) se puede proyectar que un artculo por ao es un indicador de excelencia productiva local. Adems las publicaciones se hacan en revistas in-dexadas nacionales mayormente (Psicothema) por lo que los autores que publiquen mayoritariamente en revistas ISI internacionales se sitan por encima de la media. Otros dos indicadores de calidad o de impacto que se ha utilizado son los siguientes: - Citas por trabajo, es decir el ratio entre total de citas y cantidad de artculos, cuya ventaja es que permite comparar a autores de edad y


130

carreras diferentes, aunque recompensa una productividad dbil y pena-liza una productividad fuerte. Un estudio sobre la produccin 2002-2006, basado en Scopus, indi-ca que la media de citaciones por articulo en Psicologa es de 6,06 en Espaa (rango 22 en 25 pases ms productivos), frente a 10,4-10,8 en EEUU, Reino Unido, Caada, Suecia y Holanda, a 9,1 Italia, 8,6 Alema-nia y 5,95 Japn. Es decir, un artculo con ms de 6 citaciones est por encima de la media local y con ms de 10 se sita en la produccin de mayor calidad mundial (De Moya, 2008). - Nmero de publicaciones significativas: nmero de textos citados ms de Y veces. Este indicador no tiene los inconvenientes de los indi-cadores precedentes, aunque depende de la base y arbitrariedad con la que se define el numero Y. Por ejemplo, si utilizamos el criterio de ms de 100 citaciones, estaramos exigiendo valorar solo los artculos del 1% ms citado a nivel mundial (usando la base WoS). Exigiendo citaciones por encima de 6 exigiramos que fuera superior a la media espaola y por encima de 10 planteamos que sea superior a la media de los pases ms productivos (usando la base Scopus). Ante las limitaciones de los indicadores anteriores se han planteado indicadores ms sofisticados, que normalizan en relacin a una lnea base y temporal las citaciones. Algunos ejemplos son los siguientes: - ndice h de Hirsch: nmero de veces que un texto ha sido citado ms que su rango cronolgico en la produccin cientfica de una perso-na (vase Salgado y Pez, 2008). - El ndice a: o promedio de citaciones de los artculos que confor-man el ncleo del ndice h. - El ndice g: nmero de artculos en los que la suma de citaciones es al menos g al cuadrado. Un ndice g de 10 indica que el autor ha es-crito 10 textos cuya suma de citaciones es al menos de 100 (Egghe, 2006). El ndice h difiere segn la base de datos utilizados y las reas. El ndice h sumario de la WoS es inferior al calculado por Publish or Perish. Ahora bien, la correlacin entre las h calculadas con diferentes sistemas es alta en general. Utilizar un sistema mantiene los rangos y diferencias relativas. Como dijimos previamente, las publicaciones difieren segn las instituciones y las reas, lo que hace necesario calcular un ndice h por rea. Por ejemplo, la media de publicacin es ms baja en Educa-cin y ms alta en Psicobiologa en el estudio de Salgado y Pez (2007) que analiz este ndice en los 10 catedrticos ms productivos por rea, adems de todos los del rea de Social. En el caso del rea de Metodo-loga de las Ciencias del Comportamiento el valor de la h oscila entre 3 y 7, en Personalidad, Evaluacin y Tratamientos Psicolgicos entre 7 y 12, entre 6 y 15 en Psicologa Bsica, entre 4 y 6 en Psicologa Evolutiva y de la Educacin, entre 8 y 23 en Psicobiologa y entre 5 y 10 en Psicolo-ga Social. As pues, de los veinte investigadores con ndice h ms alto


131

de la Psicologa espaola, nueve pertenecen al rea de Psicobiologa, cinco pertenecen a Psicologa Bsica, tres a Personalidad y tres a Psi-cologa Social (Salgado y Pez, 2007). Es decir, el impacto del rea de Psicologa social, desde este punto de vista, sera un tercio del impacto del rea de Psicobiologa, la mitad del de Psicologa Bsica y parejo al de Psicologa de la Personalidad. Utilizando simultneamente la WoS y el sistema local INRECS como bases de datos, aplicando como criterio el rango mnimo y la media de los 10 investigadores ms productivos, podemos concluir que ndices h superiores a 8 y 16 respectivamente en Psicobiologa, a 6 y 9 en Bsica, a 7 y 8 en Petra, a 5 y 7 en Social, a 3 y 5 en Metodologa, y a 4 y 5 respectivamente en Evolutiva, indican que la persona se sita en una posicin de alta productividad relativa en Es-paa. Criticas a los Indicadores de Impacto ms complejos Las criticas que se han planteado a estos ndices, en particular al ndice h, son las siguientes: Los ndices pueden aumentar con el paso del tiempo aunque el in-vestigador no est activo. El ndice h correlaciona con la edad. Ahora bien, en general la rela-cin entre edad e ndice h es positiva ya que a mayor edad, mayor ca-rrera acadmica y probabilidad de acumular publicaciones y citaciones. Sin embargo, en el caso espaol y para muestras de catedrticos de Metodologa y Psicologa Social la relacin era negativa, lo que se pue-de explicar porque la orientacin a la publicacin era menor en los aos finales de la Dictadura y de la Transicin. En cambio en la muestra total de Metodologa, la relacin entre edad e ndice era cercana a cero (Gar-ca-Prez, 2009; Salgado y Pez, 2007). Es decir, en nuestro contexto y con los datos disponibles estas dos crticas no son validas. Estos ndices sub-estiman a los autores que publican libros (aunque con el sistema de bsqueda Cited Reference Search de WoS se inclu-yen las citas a libros, lo que corrige este sesgo). Los ndices no toman en cuenta la cantidad de autores ni el orden de autora (aunque perfectamente se pueden establecer ndices que divi-dan por el numero de autores y ponderen dando peso a la posicin en la autora). En otras palabras, esto incita al uso de sistemas de bsqueda que incluyan citaciones a libros (como se hizo en Salgado y Pez, 2007), as como a ponderar por el numero de autores (y de orden si este tiene sentido) ms que a cuestionar el ndice. Los ndices ignoran el total de citaciones: sin embargo, la relacin entre el ndice h y el total de citaciones era de r=.83 para una muestra de Psicologa Social y de r=.88 para una muestra de Metodologa. Los ndices no toman en cuenta la inflacin del impacto por las auto-citaciones (aunque stas se pueden eliminar con los sistemas de bs-


132

queda). El promedio de auto-citaciones en Psicologa, segn un estudio utilizando Scopus (De Moya, 2008), es bastante alto en algunos pases con mayor impacto cientfico: 54% en EEUU, superior al 30% en Reino Unido y Alemania, del 30% en Espaa, aunque solo del 20% en los pa-ses Escandinavos, que tienen excelente impacto. Glnzel (2008) revi-sando la evidencia bibliomtrica concluye que en general las auto cita-ciones no tienen un impacto real. Garca-Prez (2009) compar los ndi-ces h directo y el corregido eliminando autocitaciones. El promedio drec-to era de 2,06 (SD=2,04) y el corregido era de 1,67. Es decir, obviamen-te era menor, aunque la disminucin era solo un 0,20 de la desviacin tpica. Un 72% de los investigadores mantena el mismo ndice y un 25% disminuya un punto (solo 2 personas perdan tres puntos en su ndice h y 10 perdan dos). Podemos concluir que la autocitacin en general no afecta a los ndices bibliomtricos, aunque es importante una revisin individualizada para evaluar personas concretas, ya que al eliminarla una minora ve disminuido de forma importante la evaluacin de su pro-ductividad. Una auto-citacin superior el 30% situara a la persona por encima de la media. Tambin es importante examinar si la auto-citacin indica seguir una lnea consistente de investigacin y no una actividad de inflacin de las citas. Estos ndices sumarios no toman en cuenta los artculos ms impor-tantes de un autor o los muy citados. Efectivamente, la relacin entre el mayor nmero de citaciones recibidas por una persona y su ndice h era menor a la que tiene este ndice con otros indicadores como el total de citas o artculos. La relacin era solo de r=.61 para los catedrticos de Psicologa Social y de r=.41 para titulares y catedrticos de Metodologa (Salgado y Pez, 2007; Garca-Perez, 2009). Pese a estas crticas, el ndice h ha mostrado amplia validez concu-rrente y predictiva. Adems de la evidencia revisada y encontrada en nuestro artculo anterior (Salgado y Pez, 2007), estudios recientes han encontrado que el ndice h de postulantes aceptados en una institucin puntera de investigacin biomdica era ms alta que el de los rechaza-dos, que los ndices h de grupos de 147 grupos de investigacin de Qumicas correlacionaban con otros indicadores bibliomtricos y con la evaluacin por pares de la productividad cientfica (Bornmann y Daniel, 2005, 2008), los ndices h nacionales reproducen el rango de otros indi-cadores bibliometricos de la produccin en Psicologa (De Moya, 2008) y los ndices h individuales correlacionan fuertemente con otros indicado-res bibliomtricos en muestras de psiclogos espaoles y cubanos (Dor-ta et al, 2008; Garca-Prez, 2009). Como limitacin contrastada empri-camente, un estudio con fsicos encontr que la media y el mximo n-mero de citaciones eran indicadores fiables y exactos del rendimiento acadmico, mientras que el ndice h era menos exacto como indicador de la productividad cientfica (Bornmann y Daniel, 2008).


133

Concluyendo, el ndice h es bastante convergente con otros indica-dores, el impacto de las autocitaciones es limitado, aunque se debe to-mar en cuenta en algunos casos. En cambio, la mayor cantidad de cita-ciones debera ser un aspecto a tomar en cuenta ya que complementa a ndices como el ndice h. Por otro lado, tomar en cuenta la media de citaciones tambin parece necesario. Indicadores para la evaluacin en nuestro contexto A partir de las medias, medianas y rangos de los estudios antes revi-sados, que son limitados pero los nicos disponibles hasta que la Admi-nistracin realice estudios normativos con la poblacin directa implicada en la evaluacin, podemos concluir unos parmetros razonables para evaluar positivamente a los investigadores locales. stos son los que detallamos a continuacin (ver Tabla 1): Con respecto al factor de Impacto: personas que publiquen en revis-tas ISI, en particular internacionales, ya muestran un esfuerzo de pro-ductividad. Es esperable que estas personas publiquen en revistas de impacto inferior a 1 y entre 1 y 2. Con respecto a los artculos publicados: dos artculos en revistas internacionales indexadas ISI, en seis aos, son un resultado satisfacto-rio y 3-4 publicaciones internacionales ISI, en 6 aos, indican una alta productividad relativa. En relacin con la produccin total, personas con ms de 16 y 26 artculos respectivamente en Psicobiologa, con ms de 6 y 8 en Metodologa, con ms de 6 y 7 en Petra, con ms de 5 y 7 art-culos en Bsica, con ms de 3 y 4 en Social y de 2 en Evolutiva, se sit-an por encima de la media. Evidentemente esta produccin total ser diferente segn la duracin de la carrera cientfica, la que debe ser to-mada en cuenta. Seis artculos por sexenio es una norma que indica de todos modos una excelente productividad, equivalente a la de los grupos de investigacin ms productivos. Con respecto a las citas: un artculo con ms de 6 citaciones est por encima de la media local y arriba de 10 se sita en la produccin de mayor calidad mundial. Un porcentaje de artculos con citas superiores a la media de alrededor del 50% se puede considerar otro criterio normati-vo razonable. Con respecto a indicadores ms sofisticados: ndices h superiores a 6-7 en general y de 8 en Psicobiologa, a 6 en Bsica, a 7 en Petra, a 5 en Social, a 4 en Evolutiva, y a 3 en Metodologa, indican una alta pro-ductividad relativa. Una auto-citacin de alrededor del 30% situara a la persona evaluada en la media. Auto-citaciones elevadas deberan ser contrastadas si reflejan consistencia en la investigacin o auto-inflacin deliberada. Tomar en cuenta los artculos ms citados agrega una informacin complementaria importante a los anteriores criterios.


134

Tabla 1 Criterios normativos de evaluacin de la produccin cientfica

segn la evidencia emprica Evaluacin Factor de

Impacto Artculos

publicados N de

Citaciones ndice h

Buena 1 menos 2 en internacional ISI

6 6-7*

Muy buena 1 y 2 3-4 10 8 ms * Con relacin a las reas, ndices h de 8 en Psicobiologa, de 6 en Bsica, de 7 en Petra, de 5 en Social, de 4 en Evolutiva y de 3 en Metodologa. Con este trabajo esperamos haber situado en una base emprica, aunque limitada, los criterios evaluativos de la produccin cientfica de la Psicologa espaola. Adems creemos que los tres ltimos criterios pre-sentados tienen un peso superior a los anteriores, aunque sera un error limitar a un solo indicador la evaluacin de la productividad cientfica. Nota: La investigacin incluida este trabajo ha sido financiada parcialmente por el Ministerio de Educacin y Ciencia con cargo al proyecto de investigacin SEB1098-2005. Direccin de contacto: Daro Pez, Departamento de Psicologa Social y Me-todologa, Avda. De Tolosa, 70, 20018 Donostia y Jess F. Salgado, Departamento de Psicologa Social, Bsica y Metodologa de la Universidad de Santiago de Com-postela, 15782 Santiago de Compostela. E-mail: [email protected] y [email protected]. Referencias Agencia Nacional de Evaluacin de la Calidad y Acreditacin (ANECA) (2006): Ma-

nual de procedimiento para la emisin del informe conducente a la mencin de calidad a los estudios de doctorado. [Accesible via http://www.aneca.es/modal_ eval/ docs/pdc_05_manual.pdf ]

Aguirre,A.(2003): La Investigacin espaola crece hasta el 3% de la produccin mundial. ABC, 28/06/2003.

Alcain,M.D.-Romn,A.(2005): Hacia una valoracin integrada de las revistas espao-las de Ciencias Sociales y Humanas: las revistas de Psicologa. Psicotema, 17, 179-189.

Allen,M.(1996): Research Productivity and Positive Teaching Evaluation: an exami-nation of relationship using meta-analysis. Journal of the Association for Com-munication of Administration, 2, 77-96.

Avital,M.-Collopy,F.(2001): Assesing Research Perfomance: Implications for selec-tion and motivation. Sprouts: Working Papers on Information Environments, Sys-tems and Organizations, 1, 40-61. [Accesible via http://sprouts.case.edu/2001/ 010303.pdf. ]


135

Beauvois,J.L.-Pansu,P.(2008): Facteur d Impact et Mondialisation Culturelle. Psy-chologie Francaise, 53, 211-22.

Bornmann, L.-Daniel,H.D.(2005): Does the h-index for ranking scientists really work? Scientometrics, 63, 391-392.

Bornmann,L.-Daniel,H.D.(2008): What do we know about the h-index? Journal of the American Society for Information Science and Technology, 58, 1381-1385.

Buela-Casal,G.-Bermudez,M.-Sierra,J.C.-Quevedo-Blasco,R.-Castro,A.(2009): Ran-king de 2008 en productividad en investigacin de las universidades espaolas. Psicothema, 21, 309-316.

Cabrales,A.-Carmona,S.-Fuentes,L.-Gomez,J.-Gutierrez,R.-Herrero,C.-Jordana,J.- Olcina,J.-Pez,D.-Snchez,V.(2007): Informe sobre Criterios de Evaluacin de la I+D en Ciencias Sociales. Tercer Grupo de Trabajo ANEP, Enero-Octubre, 2007. Madrid: ANEP.

De Moya,F.(Director)(2008): Indicadores Bibliomtricos de la Actividad Cientfica Espaola 2002-2006. Grupo de Investigacin Scimago. Universidad de Grana-da. Madrid: Fundacin Espaola para la Ciencia y la Tecnologa.

Dorta-Contreras,A.J.-Arencibi-Jorge,R.-Marti-Lahera.-Araujo-Ruiz,J.A.(2008): Pro-ductividad y visibilidad de los neurocientficos cubanos. Revista de Neurologa, 47, 355-360.

Egghe,L.(2006): An improvement of the H-index the G-index. ISSI Newsletter, 2, 1, 8-9. Society for Information Technology, in press.

Fairweather,J.S.(2002): The Mythologies of Faculty Productivity. The Journal of Higher Education, 73, 26-48.

Feldman,K.A.(1987): Research productivity and scholarly accomplishment of college teachers as related to their instructional effectiveness: A review and exploration. Research in Higher Education, 26, 227298.

Fundacin Conocimiento y Desarrollo (2005): La universidad en Espaa. [Accesible via http://www.fundacioncyd.org/Publicaciones/InformeCyD.asp]



Garca-Perez,J.(2009): The H index in Methodology of Behavioral Science. Manu-scrito.

Glnzel,W.(2008): Seven Myths in Bibliometrics. En H. Krestchmer y F Havemman (Eds.). Proceedings of Fourth International Conference on Webometrics, Infor-metrics ans Scientometrics 2008, Berlin. [Accesible via http://creativecommon. org/licenes/by/2.0]

Hamilton,D.P.(1991): Research papers: Whos uncited now?. Science, 251, 25. Hattie,J.-Marsh,H.W.(1996): The relationship between research and teaching: A

meta-analysis. Review of Educational Research, 66, 507542. iguez,L.-Martnez,L.M.-Muoz,J.M.-Pearanda,M.C.-Sahagn,M.A.-Alvarado,J.G.

(2008): The mapping of Spanish Social Psychology trough its conferences: a bi-bliometric perspective. The Spanish Journal of Psychology, 11 (1), 137-158.

ISI(1999): Citations reveal concentrated influences: some fields have it, but what does it means, Science Watch, January/February, 1-2

Jacso,P.(2008): The plausibility of computing the h-index of scholarly productivity and impact using reference-enhanced data bases. Online Information Review, 36, 266-283 [Accesible via http://www.emeraldinsight.com/1468-4527.htm]

Johnson,R.J.-Wolinsky,F.D.(1990): The Legacy of Stress Research: the course and impact of this journal. Journal of Health and Social Behavior, 31, 217-239.


136

Joy,S.(2006): What I Should be doing, and Where are they doing it? Scholarly Pro-ductivity of Academic Psychologists. Perspectives in Psychological Science, 1, 346- 364.

Katz,J.S.(1999): Bibliometric Indicators and Social Science. ESRC SPRU, University of Sussex, UK.

Kermarrec,A.M.-Faou,E.-Merlet,J.P.-Robert,P.-Segoiufin,L.(2007): Que mesurent les indicateurs bibliomtriques?. Document de la Comission dAnalyse de lInstitut National de Recherche en Informatique et Automatique. Paris: France.

King,D.A.(2004): The scientific impact of nations. Nature, 430, 311-316. Lee,J.D.-Cassano,A.-Vicente,K.J.(2005): Bibliometric anlisis of Human Factors

(1970-200). Human Factors, 47, 753-766. Musi-Lechuga,B.-Olivas-Avila,J.A.-Portillo-Reyes,V.-Villalobos-Galvs,F. (2005): Pro-

duccin de los profesores funcionarios de Psicologa en Espaa en artculos de revistas con factor de impacto de la Web of Science. Psicothema, 17, 539-548.

Pez,D.(2007): La Evaluacin de la Calidad de la Investigacin en la Universidad Espaola. Comunicacin al Seminario Evaluacin de la Enseanza Superior, Facultad de Psicologa, San Sebastin, 5 de Diciembre del 2007.

Pestaa,A.-Gmez,I-Fernndez,M.T.-Zulueta,M.A.-Mndez,A.-Koenig,M.E.D.-Book-stein,A.(1995): Scientific evaluation of RyD activities in medium size institutions: a case study on the Spanish CSIC. En M. Koenig y A. Bookstein (Eds.) The Pro-ceedings of the Fifth International Conference on the International Society for Scientometrics and Informatics, No5, River Forest IL, USA, pp425-434.

Salgado,J.-Pez,D.(2007): La productividad cientfica y el ndice h de Hirsch de la Psicologa Social espaola. Psicothema, 19, 179-189.

Scimago(2007): La productividad ISI de las Universidades Espaolas (2000-2004): El Profesional de la Informacin, 16, 354-358.

Schoepflin,U.(1990): Problems of representativity in the Social Science Citations Index. In P. Weingart, R. Schringer y M. Winterhager (Eds.). Representations of Science and Technology, Bielefeld, Germany: DSWO Press, pp. 177-188.

Simonton,D.K.(2003): Scientific creativity as constrained stochastic behavior: the integration of Product, Person, and Process Perspective. Psychological Bulletin, 129, 475-494.

Simonton,D.K.(2007): Psychologys limits as a scientific discipline: A personal view. Applied and Preventive Psychology, 12, 35-36.

Thibergien,G.-Beauvois,J.L.(2008): Domination et Imprialisme en psychologie. Psychologie Francaise, 53, 135-155.

Van Raan, A.F.J.(2005): Fatal attraction: Conceptual and methodological problemas in the ranking of universities by bibliometric methods. Scientometrics, 62, 133-143.

Van Raan,A.F.J.(2006): Comparison of the H-Index with standards bibliometrics indicators and with peers judgments for 147 chemistry research groups. [Accessible via http://arxiv.org/ftp/physics/papers/0511/0511206.pdf.].

Documents

INDICADORES DE PRODUCTIVIDAD CIENTÍFICA .pdf