Experiencias en

Evaluación de Investigadores

del IRI / Earth Institute,

Universidad de Columbia

Walter E. BaethgenDirector, Investigación Sectorial y RegionalLíder Programa América Latina y el CaribeColumbia University, New York

Nueve Temas Centrales de Investigación:

(+30 Institutos)

Cientos de Institutos, Centros

de Investigación

Colegios, Departamentos

Académicos

(+30 Institutos)

• Clima y Sociedad (IRI)

• Agua

• Energia

• Urbanización

• Peligros y Riesgos

• Salud Pública

• Pobreza

• Alimentos, Ecología y Nutrición

• Ecosistemas

• “Cross-Cutting Initiatives”

+10 más…

Misión: Soluciones para un Desarrollo Sostenible

Una forma general de evaluar investigadores: Contribuyen efectivamente a la misión?

El Earth Institute congrega personas y herramientas necesarias

para encarar algunos de los problemas más difíciles del mundo,

desde cambio climático y degradación ambiental, a pobreza,

enfermedades, y el uso sostenible de recursosenfermedades, y el uso sostenible de recursos

• Programas de Investigación desde más básica a más aplicada

• Informar toma de decisiones y políticas

• Capacitar científicos, técnicos, y tomadores de decisiones (incluyendo política pública)

Cómo se evalúa la contribución a la misión?

Postdoc Associate Research Senior

Research Research Scientist Research

Scientist Scientist Scientist

(1-2 años) (4-5 años) (5 años)

Criterios tipicos de evaluación (publicaciones, proyectos, patentes, cursos, etc.)

En los últimos años:

Contribuciones muy valiosas a la misión que no pueden ser evaluadas

con los mismos criterios que el resto de la institución académica

Algunos investigadores no publican mucho en revistas arbitradas de alto impacto

pero han sido responsables de contribuciones muy valiosas del Earth Institute

Se necesita una nueva “ruta” para promociones (New Research Track)

Manual muy claro con todos los requerimientos y todos los pasos a seguir

para las evaluaciones y promociones de Investigadores

(72 páginas)

Comentarios prácticos para todas las evaluaciones:

La evaluación anual es importante. Pero no es “larga”, es sencilla y cubre los

puntos clave (que dependen de las responsabilidades de cada investigador).

Se intenta evitar “aprender a jugar el juego de las evaluaciones” (qué casilleros llenar).

El investigador tiene la oportunidad de comentar la evaluación que recibió (feedback)

y de llevarla a las autoridades si no está de acuerdo.

Las promociones llevan tipicamente 5 años. En la mitad hay un “Mid-term Review”Las promociones llevan tipicamente 5 años. En la mitad hay un “Mid-term Review”

• Feedback al investigador(a) sobre el progreso logrado (comité)

• El investigador(a) tiene la chance de defender sus ideas y su agenda

• Se identifica si el investigador(a) está en el “track” indicado (“Practice” o no)

El mid term review es fundamental para evitar sorpresas de ambos lados

• Has the practice oriented scholar been engaged in fieldwork on cutting-edge issues of sustainability and

advancing the Earth Institute’s and the particular unit’s mission?

• Is the practice-oriented scholar doing practice work of high quality and reporting on it in leading journals or

conferences?

• If the work is high quality, but is not being reported in leading journals and/or conferences, is it being

recorded or otherwise widely shared and reviewed in another legitimate way?

• Has the practice-oriented scholar extended his or her expertise in new directions? For example, has the

scholar developed innovative methodologies, approaches or solutions?

• Has the practice-oriented scholar’s work advanced the research goals and education of other practitioners,

faculty, researchers or students?

• Does the practice-oriented scholar take part in outside or professional practice advisory or review groups

from peer institutions?

• Has the practice-oriented scholar achieved recognition, such as awards and lectureships, for achievements in

Practice Oriented Research Scientist

• Has the practice-oriented scholar achieved recognition, such as awards and lectureships, for achievements in

practice work?

• Has the practice-oriented scholar been invited to present work in external venues, including conferences

outside his or her discipline (for example, an epidemiologist presenting at a climate conference on health

effects of climate change or a public policy expert giving a presentation to environmental scientists)?

• Has the practice-oriented scholar engaged in advanced problem-solving for the public good?

• Are the results of the practice-oriented scholar’s research cited widely and/or in multiple disciplines?

• Has the practice-oriented scholar’s work been implemented? If so, has the implementation been evaluated?

Has the implementation and/or evaluation advanced the research outcomes of the practice work?

• Has the practice-oriented scholar worked with clients and if so what were the assessments of the clients?

• Has the practice-oriented scholar raised or received funding for field or practice work?

• Has the practice-oriented scholar demonstrated leadership by being the principal investigator in a practice-

oriented project?

Pero además: Cada Instituto dentro del Earth Institute tiene criterios algo diferentes

claramente descriptos (ayuda al evaluador y al investigador que está siendo evaluado).

Porque:

Cada Instituto tiene misiones particulares dentro del Earth Institute (Grupos en INIAs?)

El “Practice-Oriented Research Scientist” resuelve el problema de evaluar

en forma diferente a investigadores que contribuyen en forma diferente

a la misión del Instituto

Cómo evaluar si un investigador está contribuyendo a la misión del Instituto?

1. La misión del Instituto es clara para todos?

2. Se puede “mapear” quién contribuye a qué?

3. Cada investigador, se puede mapear a sí mismo?

En un Instituto que no es “Académico Puro” como Earth Institute,

que requiere investigar pero tambien transformar agendas:

Cadenas / Redes de Información

Academia(Ciencia Básica)

InvestigaciónEstratégica,Operacional

Aplicada

Institucionesde “Borde”

Traducen Cienciaen InformaciónImplementable

Implementadores

Desafíos: (1) Avances en Ciencia no son Proporcionales a sus Aplicaciones

Aquí hay un gran desafío:

En qué eslabones se quiere

actuar?

Aquí hay un gran desafío:

Se necesita un Nuevo Tipo de Científico/Técnico

Cómo se forma / estimula este tipo de Investigador?

(Traductor, Integrador)

Ciencia

Climática

Productos

Información

Climática

Prod. Información

Climática para

AGRO

(INIAs, Univ)

Técnicos

Asesores

Extensionistas

Implementación

Local(Productor, Ministro)

Ejemplo: Red de Información en Clima / Agro

Ciencia / Tecnología y Sociedad

Ejemplo en Agricultura (Muy) Simplificado

Instituto

Internacional

Clima

Universidad

Local 2Instituto

Asesores

Agricultores

Agricultor

Ministerio

Instituto

Internacional

Agricultura Universidad

Local 1

Instituto

Investigación

Rural / Social

Servicios

Extensión

Asesores

Ministerio Servicio

Meteorológico

Clima Local 2Instituto

Investigación

Agrícola

Agricultores

Instituto

Regional

Investigación

Universidad

Local 3

Instituto

Investigación

Clima

ONGsSeguros

Agribusiness

Servicios

Financieros

•Entender las Redes (eslabones, procesos)

•Definir prioridades

•Identificar Usuarios / Necesidades

•Reforzar Eslabones, Comunicación En qué eslabones actuar?

Cadenas / Redes de Información, de Conocimiento

Desafío: (1) Avances en Ciencia / Tecnología no son Proporcionales a sus Aplicaciones

Problema: Paciente con Dolor de Cabeza

Indicación del Médico: Tomografía (CAT Scan)

Investigación básica en Rayos-XTodos y cada uno son

fundamentales y necesarios

Cada uno puede darnos

información en base a

Investigación estratégica en

Procesamiento Digital Geométrico información en base a

sus conocimientos y / o

experiencia

Solamente uno puede

dar información

"ACCIONABLE"

Procesamiento Digital Geométrico

Investigación aplicada que conectó

imágenes con calcificaciones, edemas

Técnico operador del Tomógrafo

Médico / Neurólogo

Paciente

El paciente decide qué hacer(la evaluación solamente por la

Adopción puede no siempre ser buena)

Cadenas / Redes de Información, de Conocimiento

Problema: Paciente con Dolor de Cabeza

Indicación del Médico: Tomografía (CAT Scan)

Investigación básica en Rayos-XUna Pregunta Clave:

En qué parte(s) de la cadena

debería actúa nuestra

institución?Investigación estratégica en

Procesamiento Digital Geométrico

Desafío: (1) Avances en Ciencia / Tecnología no son Proporcionales a sus Aplicaciones

institución?Procesamiento Digital Geométrico

Investigación aplicada que conectó

imágenes con calcificaciones, edemas

Técnico operador del Tomógrafo

Médico / Neurólogo

Paciente

Responder claramente a

esa pregunta

es fundamental para

establecer un buen

Sistema de Evaluación

Cadenas / Redes de Información, de Conocimiento

Problema: Paciente con Dolor de Cabeza

Indicación del Médico: Tomografía (CAT Scan)

Investigación básica en Rayos-XUna Pregunta Clave:

En qué parte(s) de la cadena

debería actúa nuestra

institución?Investigación estratégica en

Procesamiento Digital Geométrico

Desafío: (1) Avances en Ciencia / Tecnología no son Proporcionales a sus Aplicaciones

Procesamiento Digital Geométrico

Investigación aplicada que conectó

imágenes con calcificaciones, edemas

Técnico operador del Tomógrafo

Médico / Neurólogo

Paciente

Investigación Básica? (NO)

Investigación Estratégica

Investigación Operacional

Investigación Aplicada

Capacitación

Investigación en Transferencia

Investigación en transferencia

Transferencia/Capacitación

Investigación Básica / Fundamental: Avances en ciencias por el bien de la ciencia misma.

Mejorar el conocimiento. No importa si los resultados tienen una aplicación práctica

(En IRI no hay)

Investigación Estratégica:

• Responde a problemas (Nacionales, Regionales o Globales)

• Busca principios, métodos, procesos, para diferentes lugares y condiciones

• El Objetivo no es el resultado específico sino los principios, procesos, métodos.

• Aplicaciones prácticas pueden no ser inmediatas. A veces muchos años (En IRI: <5 años)

Investigación Operacional:

Trabajos interdisciplinarios de Ciencias aplicadas, que utilizan modelación para llegar a Trabajos interdisciplinarios de Ciencias aplicadas, que utilizan modelación para llegar a

soluciones óptimas (ej.: máximo ingreso, mínimo riesgo, etc.)

• Investigación de Sistemas, mejorar toma de decisiones

• Herramientas: estadística, optimización, probabilidades, teoría de juegos , análisis de

decisiones, modelos de simulación (En IRI hay mucha)

Investigación Aplicada:

Utilizar teorías, métodos, conocimientos, técnicas, etc. ya existentes, para resolver

problemas prácticos específicos en sitios específicos.

En general es empírica / experimental. (En IRI hay mucha)

Desafío de Instituciones Orientadas a “Problemas”, “Demandas”

Mucha investigación Aplicada:

• Usa Ciencia / Tecnología desarrollada por otros

• Es Fundamentalmente Empírica (Experimenta un Rango Amplio de Opciones)

• Aumenta la percepción de relevancia de la Institución: es muy útil para

resolver problemas inmediatos de por ejemplo productores

• A veces se convierte en una “susesión de Consultorías”

Esto atenta contra la capacidad de generar nuevos conocimientos científicos/tecnológicosEsto atenta contra la capacidad de generar nuevos conocimientos científicos/tecnológicos

Siempre “corre atrás”, no se anticipa a los próximos problemas/demandas

Se vuelve dependiente de otras instituciones

Es difícil que sea “líder” en un área de trabajo (es líder en experimentar)

Las “Consultorías” son importantes si la relación con el “Cliente” genera nuevas

Demandas de Investigación (en especial si sirve para anticipar demandas)

Importante encontrar balance entre Investigación Estratégica, Operacional y Aplicada

(Esto afecta la Evaluación de la Institución y de sus Investigadores)

Ciencia/Tecnología informando Decisiones/Políticas Públicas:

El avance en las Ciencias requiere especialización cada vez mayor (enfoque “reduccionista”) (“islas de conocimiento en un mar de ignorancia”)

Meinke et al, 2007

Desafío: (2) Avances en Ciencia no son Proporcionales a sus Aplicaciones

Tomadores de decisiones: enfoque “holístico, integrado e intuitivo”

Hace falta Integrar conocimiento (conectar las “Islas”)

Comentarios Finales

Definir una misión que sea entendible y accionable (en qué eslabones, procesos)

Mapear la contribución de cada Investigador a la misión con el balance adecuado de tipos de investigación (y evaluarla de acuerdo a lo esperado de cada uno)

Cada investigador debería poder mapearse a sí mismo (y por ende, evaluarse)

Institutos con presión por la “demanda”: asegurar el balance adecuado (investigación estratégica, aplicada) para contribuir a la misión y anticipar demandas

Cada investigador debería poder mapearse a sí mismo (y por ende, evaluarse)

Estar atentos a la susesión de “Consultorías” como programas de Investigación(corren de atrás, no anticipan demandas, no permiten que el instituto lidere)

Aprovechar las “consultorías” para ANTICIPAR FUTURAS DEMANDAS

Tener instancias de evaluaciones de medio término en el camino a promociones

Walter E. Baethgen

Director, Investigación Sectorial y Regional

Muchas Gracias

Director, Investigación Sectorial y Regional

Líder Programa Regional para América Latina y el Caribe

The Earth Institute

Columbia University, New York

email: web2103@columbia.edu

Internet: http://iri.columbia.edu/