Documentos Escuela de Economía 114

Facultad de Ciencias EconómicasCentro de Investigaciones para el Desarrollo - CIDSede Bogotá

Escuela de Economía

Febrero de 2021

Documentos

114FCE - CID

Nº

¿Cómo realizar una revisión de literatura en economía?

How to make a literature review in economics

MARIO GARCÍA MOLINA Y

LILIANA ALEJANDRA CHICAÍZA BECERRA

Documentos FCE-CID Escuela de Economía N.° 114

Febrero 2021

Universidad Nacional de Colombia Sede Bogotá - Facultad de Ciencias Económicas

Pági

na 2

¿CÓMO REALIZAR UNA REVISIÓN DE LITERATURA EN ECONOMÍA?

Mario García Molina 1 Liliana Alejandra Chicaíza Becerra 2 *

Resumen

En este documento se propone un método para realizar revisiones sistemáticas de literatura en

economía y se dan sugerencias para usar de manera óptima las revisiones de literatura en las

distintas fases del proceso de investigación. La metodología propuesta parte de las

características de la producción académica en la disciplina económica.

Palabras clave: Metodología, Enseñanza de la economía, Investigación.

Clasificación JEL: A10, A14, A20, A22, B41.

HOW TO MAKE A LITERATURE REVIEW IN ECONOMICS

Abstract

The paper proposes a technique for carrying out systematic reviews of the literature in

economics. It provides tips for the optimal use of reviews at the different stages of the research

process. The method proposed is based on the features of academic production in the field of

economics.

Keywords: methodology, teaching of economics, research.

JEL: A10, A14, A20, A22, B41.

1 Profesor Titular. Escuela de Economía. Universidad Nacional de Colombia. Email [email protected] 2 Profesora Titular. Escuela de Administración y Contaduría. Universidad Nacional de Colombia. Email [email protected] * Los autores agradecen a los estudiantes de los cursos de metodología de la investigación y seminarios deinvestigación de la Universidad Nacional de Colombia entre 2011 y 2020 y de la Universidad Externado deColombia entre 2013 y 2014 con los que se aplicó esta metodología. Sus preguntas e inquietudes ayudaron apulir y dejar más clara la propuesta.

La serie Documentos FCE considera para publicación manuscritos

originales de estudiantes de maestría o doctorado, de docentes y de

investigadores de la Facultad de Ciencias Económicas de la Universidad

Nacional de Colombia; resultado del trabajo colectivo o individual y que

hayan sido propuestos, programados, producidos y evaluados en una

asignatura, en un grupo de investigación o en otra instancia académica.

D O C U M E N T O S F C E - C I DE S C U E L A D E E C O N O M Í A

Este documento puede ser reproducido citando la fuente. El contenido y la forma del presente material es responsabilidad exclusiva de sus autores y no compromete de ninguna manera a la Escuela de Economía, ni a la Facultad de Ciencias Económicas, ni a la Universidad Nacional de Colombia.

Director Centro Editorial-FCEÁlvaro Zerda Sarmiento

Equipo Centro Editorial-FCENadeyda Suárez MoralesMarisol Del Rosario VallejoYuly Rocío Orjuela Rozo

Centro Editorial [email protected]

RectorDolly Montoya Castaño

Vicerector GeneralPablo Enrique Abril Contreras

FACULTAD DE CIENCIAS ECONÓMICAS

DecanoJorge Armando Rodríguez

Vicedecano Germán Enrique Nova Caldas

ESCUELA DE ECONOMÍA

DirectoraMarta Juanita Villaveces Niño

Coordinador Programa Curricular de Economía Raúl Alberto Chamorro Narváez

CENTRO DE INVESTIGACIONES PARA EL DESARROLLO CID

DirectorFrancesco Bogliacino

SubdirectoraVilma Narváez

La serie Documentos FCE-CID puede ser consultada en el portal virtual:www.http://fce.unal.edu.co/centro-editorial/documentos.html

ISSN 2011-6322


Febrero 2021


Pági

na 4

Contenido

1. Introducción ............................................................................................................................ 5

2. Utilidad de la revisión de literatura ........................................................................................ 5

3. Revisión narrativa vs. revisión sistemática ............................................................................ 5

4. Revisiones sistemáticas en medicina ...................................................................................... 6

5. Primera aproximación ............................................................................................................. 7

6. Definición de la pregunta o tema ........................................................................................... 9

7. ¿En dónde buscar? ................................................................................................................. 11

8. Búsqueda avanzada de literatura ......................................................................................... 12

9. ¿Cómo aprovechar los artículos de revisión? ....................................................................... 15

10. Cómo identificar metodologías ........................................................................................ 16

11. Cómo reportar los resultados ........................................................................................... 18

12. Conclusiones ...................................................................................................................... 19

Referencias .................................................................................................................................... 19

Mario García Molina y Liliana Alejandra Chicaíza Becerra


Pági

na 5

1. Introducción

Cuando vamos a hacer una tesis de maestría o doctorado o, ya en la vida profesional, hacemos

un artículo de investigación, necesitamos conocer lo que se ha escrito sobre el tema que nos

interesa; para ello, se realiza una revisión de literatura. Aunque las revisiones de literatura son

frecuentes y estandarizadas en medicina y, de hecho, hay una organización dedicada

enteramente a ello —la fundación Cochrane (Levin 2001)—, no lo son tanto en otras disciplinas.

Por esta razón, las revisiones se dan de forma más bien casual. Ha habido algunos avances en

este sentido. Por ejemplo, Chicaíza-Becerra, Riaño Casallas, Rojas-Berrío y Garzón Santos

(2017) presentaron las características que deben tener las revisiones en administración. En las

páginas que siguen, proponemos un método para una revisión sistemática de literatura para

una investigación en economía, tomando en cuenta las características de la disciplina.

2. Utilidad de la revisión de literatura

Dependiendo de la fase en que nos encontremos, la revisión de literatura puede cumplir con

diversas funciones. Una revisión somera, lo que llamamos aquí aproximación inicial, es útil en

las primeras etapas, cuando apenas estamos escogiendo un tema. Más adelante, con una

pregunta definida, aunque tal vez con algunos elementos por definir, la revisión sirve para hacer

una lista de lecturas para realizar que permita ubicarnos en la literatura, identificar

metodologías existentes y el posible aporte al conocimiento de nuestro trabajo. De este modo,

es un insumo clave para la selección de la metodología. Posteriormente, con la metodología

definida, la revisión de literatura nos ayuda a encontrar ejemplos de cómo se ha aplicado esa

metodología en el pasado. Finalmente, la revisión de literatura puede servir de base para una

primera publicación doctoral.

3. Revisión narrativa vs. revisión sistemática

Existen varios tipos de revisión de literatura. Aquí nos concentraremos en dos. La revisión

narrativa (algunos autores la llaman revisión crítica (Grant y Booth 2009)) es aquella en la cual

el autor revisa una selección que, de manera subjetiva, considera importante para el tema. El

objetivo es mostrar dominio del tema. No tiene pretensión de abarcar todo lo que se ha escrito

sobre el tema y no presenta una metodología rigurosa de selección, como por ejemplo una


Febrero 2021


Pági

na 6

ecuación de búsqueda. En contraste, la revisión sistemática tiene la pretensión de abarcar todo

lo que se ha escrito sobre el tema. Se basa en una metodología rigurosa y explícita que parte de

una o varias ecuaciones de búsqueda que se aplicó a unas bases de datos determinadas. Como

se presentan los resultados de manera explícita, la revisión sistemática es hasta cierto punto

reproducible. No es reproducible al 100% porque si una persona repite la búsqueda en las

mismas bases unos meses después, seguramente habrá algunos artículos adicionales que

habrán publicado entre tanto. Pero estos artículos adicionales tampoco serían muchos. La

metodología aquí presentada sirve para hacer una revisión sistemática, aunque la completitud

dependerá también de otros factores como el acceso que el investigador tenga a bases de datos

y publicaciones. La ventaja de usar este método está en que los resultados son más organizados

y, por lo tanto, quien realiza la revisión puede tener más tranquilidad de que no ha dejado algún

documento importante por fuera.

4. Revisiones sistemáticas en medicina

Las revisiones de literatura están mucho más desarrolladas en medicina. Tal vez el sistema más

extendido de búsquedas en medicina es el PICOT. Picot es el acrónimo de Población,

Intervención, Comparador, Outcome (resultado) y Tiempo (Schardt, Adams, Owens et al., 2007).

El método Picot está diseñado para el tipo de búsqueda más frecuente en esta área, por

ejemplo: ¿en mujeres embarazadas (Población) cuál es la efectividad para prevenir

preeclampsia (outcome/resultado) de administrar calcio (intervención) frente a no hacer nada

(comparador)? En este caso, el indicador de Tiempo no aparece porque está implícito en la

categoría de embarazadas. Este método se usa para buscar principalmente ensayos clínicos

porque los ensayos clínicos tienen muy bien definidos los elementos que entran en la búsqueda

y porque las similitudes biológicas de los seres humanos son lo suficientemente altas como

para que exista comparabilidad y, en ese sentido, los resultados de un ensayo aportan evidencia

a favor de la tecnología que se pretende evaluar (en este caso el calcio).

Aunque este método es extremadamente útil en medicina, no es aplicable directamente en

otras áreas. Por ejemplo, se podría estar tentado de aplicar el PICOT con políticas económicas.

No obstante, hay que tomar en cuenta las diferencias entre países. Adicionalmente, el número

de países que existen es muy bajo comparado con los millones de seres humanos. El método



Pági

na 7

que se presenta en este documento está inspirado en los métodos de la medicina, pero tomando

en cuenta las características de la economía y adaptando en consecuencia.

5. Primera aproximación3

La primera aproximación a un problema de investigación suele ocurrir a partir de la lectura

casual de un artículo o de lo escuchado en una clase o conferencia. Se sabe que hay un tema

interesante, pero ¿cómo seguir?

Las fuentes básicas en esta etapa son varias. En primer lugar, se necesita tener al menos una

información preliminar. Habría que buscar en enciclopedias o diccionarios especializados. Una

alternativa útil es Wikipedia o las páginas de internet que expliquen lo que se busca. Al igual

que con cualquier otro texto, hay que utilizar el criterio para decidir qué información es útil y

qué información no. Indicadores sencillos de que lo que se está leyendo es de calidad pueden

ser, por ejemplo, el estilo en la argumentación, el uso de las fuentes y la existencia de una

bibliografía. Si bien hay artículos de la Wikipedia o páginas en internet de reconocidos

académicos que son fuentes sólidas, también existen otras que son inexactas o francamente

erróneas. Esto no es motivo para desechar internet como fuente de información. Simplemente

se trata de verificar la información y ser crítico con respecto a lo que se lee. Un punto clave para

verificar la seriedad de una página es la existencia de bibliografía o referencias.

En economía existe el diccionario Palgrave, cuya importancia como fuente es difícil de exagerar.

En su primera edición, el New Palgrave: A dictionary of economics (Newman et al., 1986)

comprendía 4 voluminosos tomos en los que cada entrada era escrita por el experto

internacional en la materia. La segunda edición ya comprende 8 tomos y muchas más entradas.

Existen también versiones más pequeñas del diccionario dedicadas a áreas especializadas como

la teoría del capital o las finanzas que solo contienen las entradas respectivas.

También conviene consultar las revisiones de literatura que se hayan hecho previamente sobre

el tema y que se pueden encontrar especialmente (pero no de manera exclusiva) en revistas

como el Journal of Economic Surveys, el Journal of Economic Literature y, para temas

interdisciplinarios o que desborden la frontera de la economía, Annual Reviews. Sobre las

3 Una versión audiovisual de esta sección


Febrero 2021


Pági

na 8

características de las revisiones de literatura y su contraste con otros tipos de documentos, ver

García Molina y Chicaíza Becerra (2011).

Los tesauros (en inglés thesaurus) o diccionarios de sinónimos y antónimos también son de

utilidad aquí. En economía se cuenta con varios tesauros:

• El Instituto de Estudios Documentales sobre Ciencia y Tecnología CSIC tiene varios

tesauros, incluido uno en economía (disponible en

http://thes.cindoc.csic.es/index_ECON_esp.php )

• El macro tesauro de la OECD (disponible en http://biblioteca.clacso.edu.ar//ar/oecd-

macroth/en/index.htm ) se creó como herramienta para crear un vocabulario común de

indización que sirviera a los diferentes entes de las Naciones Unidas y ahora se puede

consultar en CLACSO.

• eTesauro (disponible en http://ip.aaas.org/sthesaurus.nsf se especializa en derechos

económicos y sociales, en castellano.

• Las distintas bases de datos como web of science y Scopus también cuentan con tesauros

que es clave consultar en esta etapa.

En inglés también se cuenta con el de la biblioteca nacional alemana ZBW (disponible en

http://zbw.eu/stw/versions/latest/about)

Conviene verificar si existen manuales en el tema de interés. En los artículos de revistas es útil

buscar si existen revisiones de literatura (surveys) sobre el tema. Aunque hasta hace un tiempo

en economía el término usado era “survey”, más recientemente se ha popularizado el término

review, que anteriormente era usado principalmente en ciencias naturales y medicina. El

problema radica en que review también se usa para las reseñas de libros, y la palabra survey

también se usa en el sentido de “encuesta” (por ejemplo, la encuesta de hogares: household

survey). La única solución para estas ambigüedades es mirar el título del documento y a veces

su contenido.

El objetivo de esta primera aproximación es múltiple. De un lado se espera precisar los

conceptos relativos al tema o problema de estudio. Por esta razón, conviene construir un

glosario en el que se definan con claridad los conceptos relevantes para la pregunta de



Pági

na 9

investigación, dejando claro sus sinónimos y palabras afines. El glosario será de gran utilidad

en la revisión de literatura que se realice posteriormente.

En esta etapa, y a partir de las primeras lecturas, conviene realizar un ensayo sobre el problema

o tema de interés. Como el formato del ensayo es abierto por naturaleza, este ejercicio permite

ir dejando en claro las intuiciones que, posteriormente, guiarán la investigación. El desarrollo

temprano de tales intuiciones permite introducir elementos de creatividad que también es

crucial en la práctica de la investigación. Las fases posteriores, que enfatizan el rigor,

contribuyen a que esta creatividad resulte en un trabajo sólido.

6. Definición de la pregunta o tema

Supongamos que ya superamos la primera aproximación, pero todavía nos encontramos en una

etapa preliminar de la investigación. Hemos leído algo sobre el tema (la entrada del diccionario

Palgrave, un artículo no académico, un capítulo de un libro de texto, dos artículos académicos

y un survey). Sabemos que nos interesa el tema, pero aún no tenemos una pregunta definida. En

esta situación, la búsqueda es útil para identificar cuáles han sido las preguntas que diversos

autores han formulado al respecto y cómo han hecho para contestarlas, es decir qué

metodologías han utilizado. En este caso cabe esperar que, como la búsqueda es tan general,

los resultados sean muy numerosos y el principal problema sea su acotación.

Lo primero que hay que hacer, antes de proceder a la búsqueda, es construir un glosario que

identifique claramente los términos útiles para la búsqueda, términos relacionados y términos

similares a excluir. Es importante aclarar que cuando las bases de datos a las cuales es necesario

acudir para realizar esta revisión publican artículos en inglés en su mayoría, pero también en

otros idiomas. No obstante, las revistas académicas en otros idiomas incorporan la traducción

al inglés del título y las palabras clave, por lo cual basta con hacer la búsqueda en inglés. Ahora

bien, al buscar libros, esto no necesariamente ocurre. Por este motivo, cuando estemos

buscando libros habría que incorporar los términos en otros idiomas.

Por ejemplo, supongamos que estamos interesados en el tema de las corridas bancarias.

Todavía es muy temprano para saber si más adelante nos concentraremos en sus causas, sus

consecuencias o en algún aspecto particular. Hemos leído solo unos textos básicos al respecto

y conocemos algunos autores.


Febrero 2021


Pági

na 1

0

En este caso el primer término que habría que introducir en el glosario es precisamente “corrida

bancaria”. Habría que dejar claro qué significa exactamente y si puede tener otros significados

que no nos interesen. A continuación, habría que buscar otras formas de expresar el mismo

fenómeno. Un primer paso es examinar los textos que ya conocemos buscando los sinónimos

que usen. También están los términos usados como entradas alternativas en el Palgrave. En

tercer lugar, deberíamos tener sinónimos tanto en español como en inglés (bank run), estando

atentos a posibles traducciones literales que, aunque incorrectas, pueden ocurrir en trabajos

técnicos.

Adicionalmente, se hace una lista preliminar a partir de lo que ya conocemos (por ejemplo, a

partir de las bibliografías), de escritos y autores sobre el tema. Estas listas serán de utilidad más

adelante.

El siguiente paso es ubicar los códigos correspondientes de la clasificación JEL. Los artículos

publicados en revistas arbitradas en ciencias económicas suelen tener hasta 5 códigos de esta

clasificación para facilitar la búsqueda. La clasificación se encuentra disponible en

http://www.aeaweb.org/jel/jel_class_system.php

En la selección de códigos JEL también es útil observar cuáles fueron los usados en los artículos

que ya leímos.

Con la información anterior construimos nuestra estrategia de búsqueda. Quisiéramos ver lo

escrito en cualquiera de los códigos JEL relevantes que tenga alguna de las palabras clave

identificadas. Pero esta búsqueda nos daría demasiados artículos como para poder leerlos. Nos

limitaremos a revisiones de literatura. Por lo tanto, introducimos en los criterios de búsqueda

que la palabra ‘survey’ o ‘literature review’ aparezca en el título.

Una vez tenemos definida la estrategia, estamos en capacidad de realizar nuestra primera

búsqueda, la cual haremos en Econlit. Es necesario tener cuidado porque Econlit puede esperar

códigos de 3 dígitos y nosotros haber definidos códigos de 2, caso en el cual debemos agregar

un cero a la derecha.

Una revisión de literatura puede tratar de responder a una pregunta ya definida o puede ser el

primer intento para identificar qué se ha hecho sobre un tema. En cualquiera de los dos casos,



Pági

na 1

1

lo primero que hay que hacer es dejar claros los términos que designan o identifican el objeto

de la búsqueda. Pasos a seguir:

1) Identificar los términos relacionados con la búsqueda, sinónimos de las palabras

relevantes y códigos JEL

2) Decidir cómo se realizará la búsqueda. ¿Se buscarán los términos en el título, en el

abstract, en las palabras clave, en el texto? (buscar en el texto completo es engañoso y

sesgado, lo mejor suele ser buscar en título, resumen y palabras clave, pero al cambiar

de base de datos algunos de los campos disponibles cambiarán)

3) Realizar la búsqueda en Econlit

4) De los registros resultantes, hacer una preselección por título

5) De los registros preseleccionados por título, hacer una selección por el abstract de los

documentos que se van a leer completos

6) En cada uno de los pasos anteriores se deja un registro completo de la búsqueda.

7) Con los registros seleccionados según abstract se arma una tabla en Excel con los datos

de cada uno.

8) Con los artículos que después de la lectura resultan ser relevantes se arma la

bibliografía anotada. En ella se presenta el tema y se describe lo que se ha trabajado al

respecto presentando cada artículo en un párrafo que describe la pregunta que ese

artículo respondía, la forma como la contestó y los resultados. Este escrito no es solo

una lista de artículos inconexos. Ellos deben presentarse dentro de un todo coherente

que evidencie los intereses de la comunidad de investigadores en el tema, así como sus

avances.

7. ¿En dónde buscar?

Hay varios tipos de bases de datos bibliográficas. Nos interesan en primer lugar los índices, que

son bases especializadas en tener todas las referencias posibles sobre un área del conocimiento.

(García y Chicaíza 2011). La principal aquí será Econlit que es una base especializada en

economía que contiene la referencia a prácticamente todas las revistas de la disciplina y

numerosos libros. Cuando el tema por revisar sea estrictamente económico, esta será la base

de referencia, aunque hay que recordar que no es completa en lo que se refiere a libros. Según

el tema, esto puede tener o no importancia. Cuando el tema sea interdisciplinario hay que


Febrero 2021


Pági

na 1

2

revisar Web of Science y Scopus. Estas son bases interdisciplinarias que son muy buenas de la

década de 1990 en adelante. De para atrás hay que complementarlas con otras como JSTOR.

También son útiles las bases de documentos de trabajo, especialmente Econpapers

(econpapers.repec.org) y Social Science Research Network (www.ssrn.com).

Con el crecimiento de internet han ganado visibilidad dos bases gratuitas en línea: Google

académico (scholar.google.es) y Microsoft Academic. La primera da una gran cantidad de

entradas, aunque —como no tiene un filtro por calidad— incluye publicaciones profesionales no

arbitradas. El resultado: se puede terminar inundados de referencias poco útiles. De todos

modos, es una base todavía en desarrollo que probablemente mejore en el futuro. Microsoft

Academic (academic.microsoft.com) es similar, pero tiene una importante ventaja sobre Google

Académico: permite buscar por tipo de material. Esto hace a esta herramienta útil para

identificar libros en los campos en donde este tipo de publicaciones son importantes.

8. Búsqueda avanzada de literatura

Cuando se tiene ya una pregunta de investigación, es necesario también hacer una revisión de

literatura, aunque esta revisión tiene unas características distintas. Aquí la revisión no tiene un

carácter informativo. Se la realiza para efectos de saber, de manera exhaustiva, qué resultados

se han encontrado para la pregunta que se tiene, y con qué metodologías se los ha obtenido.

A continuación, se realizan dos ejercicios de búsqueda.

Para el primero nos concentraremos en la pregunta

¿Cuál es la relación entre tamaño del Estado y crecimiento?

En la pregunta se pueden identificar dos elementos que la caracterizan: el primero se refiere al

tamaño del estado, el segundo se refiere al crecimiento. Cada uno de estos dos elementos forma

lo que llamaremos un campo conceptual. Es posible identificar las publicaciones que se refieren

a un determinado campo conceptual porque usan ciertos identificadores, es decir, usan algunas

expresiones relativas al campo. Los identificadores que contribuyen a establecer que un

documento se refiere al campo conceptual Tamaño del estado podrían ser las expresiones

‘Government size’ o ‘Public sector size’. Los identificadores para crecimiento serían ‘Growth’ y



Pági

na 1

3

‘Economic performance’, tal como se presenta en la tabla. Buscaríamos los identificadores en

varios campos de búsqueda disponibles en Econlit, a saber, Título (Title), Resumen (Abstract) y

Palabras clave (Subject). Nos interesan las publicaciones que se refieran a los dos campos

conceptuales.

Campo conceptual 1 Campo conceptual 2 Tamaño del estado Crecimiento Identificador 1 Government size Growth Identificador 2 Public sector size Economic performance Identificador 3 Results (en título)

La ecuación de búsqueda quedaría:

[(Government size en resumen) O (Government size en título) O (Government size en palabra

clave) O (Public sector size en resumen) O (Public sector size en título) O (Public sector size en

palabra clave)]

Y [(Growth en resumen) O (Growth en Título) O (Growth en Palabra clave) O (Economic

performance en resumen) O (Economic performance en Título) O (Economic performance en

Palabra clave)].

Al realizar la búsqueda en Econlit (teniendo cuidado de no buscar únicamente los documentos

con texto completo) encontramos los siguientes resultados.

Campo conceptual 1 Campo conceptual 2 Campo 1 y Campo 2

Tamaño del estado Crecimiento Tamaño del estado y Crecimiento

Encontrados con texto completo

367 34502 117

Total encontrados 1255 132565 427

En principio los artículos candidatos para la revisión son los 427, de los cuales ya tendríamos a

disposición 117. No obstante, lo primero sería seleccionar los artículos que efectivamente

están relacionados con el tema.

En primer lugar, se filtraría por título, eliminando aquellos documentos que, con solo mirar el

título, ya se pueden identificar como no relacionados con la búsqueda. Quedarían aquellos que


Febrero 2021


Pági

na 1

4

por el título son claramente relevantes, y aquellos que quedan en duda. A continuación, se

revisan los resúmenes de los documentos restantes, con lo cual se puede eliminar otro grupo

de documentos. Los escritos que pasen estos dos filtros, serían sometidos a lectura completa.

Para ello sí se requiere hacer una búsqueda de los documentos en las diferentes bases de datos.

Una versión audiovisual de este ejemplo se encuentra en (García, 2020).

A continuación, presentamos otro ejemplo de construcción de la ecuación de búsqueda.

Supongamos que la pregunta de investigación de la que partimos es:

¿Cuál ha sido el efecto de la política de inflación objetivo sobre la inflación en Colombia?

Para abordar esta pregunta queremos revisar la literatura que sobre los efectos de la política de

inflación objetivo se ha realizado a nivel internacional.

Comenzamos por identificar los campos conceptuales que aparecen en la pregunta. El primero

es, claramente, inflación objetivo, en inglés inflation targeting. En la búsqueda, la expresión

‘inflation targeting’ va entre comillas. De no hacerlo, el programa buscará por aparte las dos

palabras y obtendremos muchos resultados que no son útiles. La pregunta se refiere a los

efectos de esa política sobre la inflación, que en principio debía ser el segundo campo, pero el

término inflación ya está incluido en el primer campo, por lo cual no sería útil. Como la pregunta

se refiere a los resultados de la política y si han sido buenos, podemos definir el segundo campo

más bien como relativo a la efectividad de la política.

Para cada uno de estos campos deberíamos identificar los posibles términos o identificadores

que permitan identificar que un artículo incluye ese campo. Para el caso de inflación objetivo,

usamos el término ‘inflation targeting’ y no es claro que existan sinónimos. Pero para efectividad,

se podría hablar también de éxito o de resultados. La palabra resultado (result) en el resumen

puede inducir a confusión puesto que probablemente sería una sección de la mayoría de

artículos identificados y no permitiría discriminar los que realmente se refieran a lo que

buscamos. No obstante, la palabra ‘result’ en el título no daría lugar a esa confusión. La misma

palabra en las palabras clave (subject) no tendría mucho sentido. De otro lado, la palabra éxito

o exitoso sí pueden ser útiles. Los campos y los términos correspondientes se presentan en la

siguiente tabla.



Pági

na 1

5

Campo conceptual 1 Campo conceptual 2 Inflación objetivo Efectividad Identificador 1 Inflation targeting Effectiveness Identificador 2 Success Identificador 3 Successful Result (en título)

Buscaremos cada uno de estos identificadores en el título, en el resumen y en las palabras clave

del artículo y el identificador ‘Result’ solo en el título. La idea es que un artículo que tenga, por

ejemplo, la palabra success en el título podría estarse refiriendo a si algo tuvo éxito. Lo que

queremos es encontrar todos los artículos que tengan algún indicador de que se refieren a

inflación objetivo y además de que se refieren a la efectividad de algo. Nos interesan, en

principio, aquellos que tienen los dos campos simultáneamente.

La ecuación de búsqueda hasta aquí quedaría:

[(Inflation target en resumen) O (Inflation target en título) O (Inflation target en palabra clave)]

Y [(Efectiveness en resumen) O (Efectiveness en Título) O (Efectiveness en Palabra clave) O (Success

en resumen) O (Success en Título) O (Success en Palabra clave) O (Successful en resumen) O

(Successful en Título) O (Successful en Palabra clave) O (Result en Título)]

9. ¿Cómo aprovechar los artículos de revisión?

La mayor parte de los artículos que se encuentren en la revisión serán artículos científicos que

tratan de encontrar una respuesta mediante la construcción de un modelo teórico o mediante

la indagación empírica, a menudo econométrica. Pero también aparecerán algunos artículos de

revisión, que merecen una consideración aparte. La gran ventaja de estos artículos es que han

realizado una revisión de literatura con anterioridad, lo cual nos puede ahorrar tiempo y

esfuerzo. Si tenemos suerte, el artículo de revisión por si solo nos puede dar unas 10 referencias

a otros artículos que claramente entran en nuestra revisión. Además, los artículos ya están

leídos y discutidos, ¿qué más se puede pedir?

Pero hay que tener cuidado por dos razones. En primer lugar, generalmente el artículo de

revisión no partió de la misma pregunta que nosotros. Por lo tanto, la lectura y la discusión

están orientadas a esa pregunta y las conclusiones o incluso el resumen no necesariamente se


Febrero 2021


Pági

na 1

6

pueden aplicar a nuestra pregunta. Imaginemos por ejemplo que estamos buscando bibliografía

sobre el impacto de las fusiones y adquisiciones sobre la productividad de empresas

manufactureras y encontramos un artículo de revisión concentrado en la productividad total de

los factores y que critica algunos artículos por no haber utilizado esta metodología. Deberíamos

considerar si las apreciaciones metodológicas son válidas o incluso pertinentes para nuestro

estudio. Si bien es importante estar al tanto de los argumentos en pro y en contra, la decisión

final es de nosotros. Recordemos que el día de la sustentación los evaluados somos nosotros y

no el artículo de revisión que leímos.

En segundo lugar, es posible que el autor haya cometido errores de interpretación en la lectura

de los textos. Por esta razón deberemos leerlos nosotros mismos y luego tomar una decisión.

En cualquiera de los casos, hallar una revisión de literatura ahorra tiempo de búsqueda, pero

no exime de leer los documentos con nuestro propio criterio.

Así como realizar una ficha de lectura es útil para los artículos científicos, una manera práctica

de aprovechar un artículo de revisión es construir un mapa de autores, métodos y conceptos

relevantes para el tema. Si escribimos los distintos autores en un color, los conceptos que

aparecen con otro color y los métodos con otro, empezaremos a notar cómo está organizada la

literatura sobre la pregunta de esa revisión. Según el tema que estemos buscando, puede ser

útil reemplazar el campo de conceptos por uno de resultados. Esto es particularmente útil

porque a veces el tipo de metodología usada incide sobre los resultados. Por ejemplo, los

autores que tienen una visión del mundo basada en la idea de equilibrio, como los autores

neoclásicos, tienden a construir modelos de tiempo continuo; los autores que enfatizan las

crisis y el desequilibrio tienden a construir modelos de tiempo discreto. Esto ocurre porque

efectivamente uno u otro tipo de modelo tiende a dar un cierto tipo de resultados. Identificar

los sesgos posibles de las diferentes metodologías nos puede dar una comprensión más

profunda de nuestro trabajo de investigación.

10. Cómo identificar metodologías

Al ir leyendo los diferentes artículos de la revisión, se va construyendo un mapa de autores,

métodos, conceptos y resultados. Del mismo tipo que la que construíamos como ficha de

lectura de artículos de revisión. Cuando terminemos la revisión, será claro cuáles son las



Pági

na 1

7

metodologías que se han usado para resolver nuestra pregunta y que esas metodologías no son

muchas.

A continuación, construimos una tabla con las diferentes metodologías en la primera columna.

En la segunda y tercera columna pondremos los requerimientos de cada metodología. En la

segunda columna pondremos los requerimientos en términos de conocimientos o destrezas que

se requieren para aplicar la metodología; por ejemplo, es posible que se necesite conocer

modelos de mecánica estadística como los usados en física, o que se necesite poder aplicar

correctamente el método generalizado de momentos. También es posible que se requiera

conocer un software especializado, por ejemplo, ARCVIEW para realizar mapas, o GAMS para

manipular matrices. También se pueden poner aquí otros conocimientos. Por ejemplo, si

pensamos realizar un estudio sobre el desarrollo económico comparativo con otro país, que

puede ser de Corea, debemos tomar en cuenta aquí que probablemente una parte relevante de

la literatura sobre el tema esté en coreano. La realización de la investigación mediante un

enfoque comparativo con este país tendría como requisito un conocimiento del idioma. Otro

ejemplo es nuestro proyecto de historia económica y estamos escogiendo el período. En este

caso tendríamos que anotar si el período a estudiar requiere conocimientos de paleografía

(para, por ejemplo, conocer el tipo de escritura de los funcionarios del siglo XVIII).

En la columna 3 pondremos los requerimientos de carácter empírico. Aquí conviene poner la

lista de variables requerida para aplicar la metodología, junto con sus características; por

ejemplo, si se requieren datos de mano de obra a nivel de planta o una serie de tiempo del PIB

que tenga raíz unitaria. O si se necesita que dos variables tengan la misma periodicidad y orden

de cointegración.

Con posterioridad llenaríamos la cuarta columna con las características de los datos disponibles

para el país que estamos estudiado. La comparación entre las columnas 3 y 4 nos dará una idea

de los problemas metodológicos que habrá que resolver al aplicar cada metodología. Por

ejemplo, si se requieren datos a nivel de planta, pero solo están disponibles a nivel de firma

tendríamos que verificar si hay manera de construir los datos requeridos (tal vez para un sector

más específico para el que sí existan) o si se puede adaptar la metodología para que funcione

con estos datos, o si es mejor optar por otra de las metodologías encontradas. Un problema

frecuente cuando se intenta replicar modelos de series de tiempo de un país a otro es que los

órdenes de integración de las series suelen ser distintos. La metodología que estaba creada para


Febrero 2021


Pági

na 1

8

una situación de Estados Unidos en la que dos series eran cointegradas de orden 1 se estrella

con que para Colombia una de las series sea I(1) y la otra I(2). Resolver estos problemas no es

mecánico porque implica tanto dificultades estadísticas como de interpretación teórica (no es

lo mismo decir que una variable esté correlacionada con el nivel de precios o con la inflación).

Algunos estudiantes de maestría subestiman estas dificultades y concluyen erróneamente que

aplicar a su país una metodología publicada para otro no es una labor digna de una tesis de

maestría. Lo que no observan es que aplicar la misma metodología plantea el tipo de retos

teóricos y empíricos mencionados arriba. Lo que se evaluará posteriormente es si se resolvieron

correctamente.

La columna 2 deberíamos compararla con nuestras capacidades, disponibilidades y gustos. En

historia del pensamiento, trabajar a Knut Wicksell implica dominar el sueco y el alemán escritos

para poder consultar los archivos de este autor. Si se va a estudiar a Piero Sraffa, los archivos

están en italiano e inglés. El doctorado puede ser una gran oportunidad para aprender un

idioma, pero ¿tenemos el tiempo suficiente para hacerlo? ¿Nos interesa? Lo mismo pasa con las

diferentes técnicas. Una persona tendrá más inclinación y disposición para aprender técnicas

matemáticas, otra para técnicas experimentales. Cada una deberá escoger la metodología

siendo consciente de que podrá cumplir correctamente con esos requerimientos.

En ese sentido, las comparaciones entre los requisitos de aprendizaje y habilidades con nuestra

disposición, y de requerimientos empíricos frente a disponibilidad de datos nos permitirá

escoger la metodología que sea más realista para nosotros y para la información disponible.

11. Cómo reportar los resultados

El reporte de los resultados es una pieza clave en la reproducibilidad de la revisión. La manera

más efectiva es mediante una gráfica. En primer lugar, se presenta el número total de

documentos encontrados inicialmente con la ecuación de búsqueda, que se representan en un

cajón inicial. A continuación, este total se subdivide en dos cajones. El primero muestra cuántos

de esos documentos eran únicos y el otro señala los que eran duplicados de los primeros. En

seguida el total de originales se subdivide en 2: los que se descartaron después de la revisión

por título y los que quedaron después de esta selección y pasaron a revisión de resumen. A su

vez, estos se subdividen entre los que fueron descartados tras revisar el resumen y los que



Pági

na 1

9

fueron seleccionados para lectura. Por fin, los que seleccionaron para lectura se dividen entre

los que fueron finalmente descartados y los que hicieron parte de la revisión.

En caso de que haya habido algunos documentos que definitivamente no se hayan podido

conseguir o se descartaran por el idioma, se puede incluir el cajón respectivo. No hay que olvidar

que, además de reportar los resultados, hay que reportar la ecuación de búsqueda y en qué

bases se aplicó.

12. Conclusiones

La revisión sistemática es una herramienta útil en la investigación. El método sugerido aquí

toma en cuenta las especificidades de la economía para poder realizar estas revisiones en la

disciplina. Una revisión sistemática permite la reproducibilidad, pero también puede ayudar el

desarrollo de la investigación en temas cruciales como la definición de la pregunta, la selección

de metodologías y la escritura de artículos.

Referencias

Chicaíza-Becerra, L. A., Riaño Casallas, M. I., Rojas-Berrío, S. P. y Garzón Santos, C. (2017).

Revisión sistemática de la literatura en administración. [Documento de trabajo Escuela de

Administración y Contaduría Pública n.° 29]. Facultad de Ciencias Económicas,

Universidad Nacional de Colombia.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3011931

Chicaíza, L. A. y García Molina, M. [Al Punto con claridad]. (2020, abril 14). Revisión de

literatura en ciencias económicas. [Archivo de video].

https://www.youtube.com/watch?v=gugFyLpOTSQ&ab_channel=AlPuntoconclaridad

Eatwell, J., Milgate, M. y Newman, P. (1987). The New Palgrave: A Dictionary of Economics.

London: Macmillan. Doi: 10.1057/978-0-230-27980-3

García Molina, M. y Chicaíza Becerra, L. (2011). Guía de fuentes para la investigación en ciencias

económicas. [Documento de trabajo Escuela de Economía n°. 22]. Facultad de Ciencias

Econ+omicas, Universidad Nacional de Colombia.

https://econpapers.repec.org/paper/col000178/007958.htm


Febrero 2021


Pági

na 2

0

García Molina, M. y Chicaíza Becerra, L. [Al Punto con claridad]. (2016, abril 22). ¿Cómo

profundizar en un tema de investigación en economía? [Archivo de video].

https://www.youtube.com/watch?v=8gITqHZmyX0&ab_channel=AlPuntoconclaridad

Grant, M. J. y Booth, A. (2009). A typology of reviews: an analysis of 14 review types and

associated methodologies. Health Information &Libraries Journal, 26(2), 91-108.

https://doi.org/10.1111/j.1471-1842.2009.00848.x

Levin, A. (2001). The Cochrane collaboration. Annals of Internal Medicine, 135(4), 309-12.

Shardt, C., Adams, M. B., Owens, T., Keitz, S. y Fontelo, P. (2007). Utilization of the PICO

framework to improve searching PubMed for clinical questions. BMC Medical Informatics

Decision Making, 7,16.

Documents

Documentos Escuela de Economía 114