3 - Mixed Methods in Impact Evaluation (SPANISH)

Esta es la tercera gua de orientacin de una serie de cuatro partes de guas relacionadas con la evaluacin

de impacto desarrolladas por InterAction y con el apoyo financiero de la Fundacin Rockefeller. Las otras

guas de esta serie son: Introduccin a la Evaluacin de Impacto; Relacin entre el Monitoreo y la Evaluacin

con la Evaluacin de Impacto y Uso de los Resultados de la Evaluacin de Impacto. Puede encontrar la serie

completa en el sitio web de InterAction : http://www.interaction.org/impact-evaluation-notes.

Notas sobre la Evaluacin de Impacto N. 3. agosto de 2012

INTRODUCCIN A LOS MTODOS MIXTOS DE LA EVALUACIN DE IMPACTO

Por Michael Bamberger

Foto: Alissa Everett

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

CONTENIDOS

Introduccin 1

Parte I: Por qu mtodos mixtos? 3

1.1. Qu es un diseo de evaluacin de impacto con mtodos mixtos? 3

1.2. Las limitaciones de una dependencia exclusiva en enfoques de evaluacin CUANT o CUAL 4

1.3. Los beneficios de un enfoque de mtodos mixtos 4

Parte II: El enfoque de mtodos mixtos 9

2.1. Cuatro decisiones para disear una evaluacin de mtodos mixtos 9

2.2. Aplicacin de enfoques de MM en cada etapa de la evaluacin 13

Parte III: Aplicaciones de los diseos de mtodos mixtos 19

3.1. Estrategias de muestreo para evaluaciones con MM orientadas CUANT y CUAL 19

3.2. Uso de mtodos mixtos para evaluar intervenciones complejas 21

3.3. Evaluacin de procesos de cambio de comportamiento 25

Parte IV: Administracin de evaluaciones con mtodos mixtos 27

4.1. Los diseos de mtodos mixtos requieren un enfoque de administracin especial 27

4.2. Consejos para que las ONG con recursos limitados movilicen la experiencia profesional y los recursos requeridos para realizar evaluaciones con mtodos mixtos 30

Parte V: Estudios de caso que ilustran las diferentes aplicaciones de los diseos de mtodos mixtos 32

Referencias 37

TABLAS

Tabla 1. Les Los mtodos mixtos se utilizan de manera diferente para diseos de evaluacin en los que predomina una orientacin CUANT o CUAL 11

Tabla 2. Mtodos CUANT y CUAL de recoleccin de datos ms usados 16

Tabla 3. Tipos diferentes de triangulacin utilizados en evaluaciones con mtodos mixtos 17

Tabla 4. Ejemplos del anlisis de datos con mtodos mixtos 18

Tabla 5. reas adicionales de experiencia profesional en investigacin que se pueden requerir en equipos con una orientacin CUANT o CUAL para realizar evaluaciones con MM. 29

Tabla 6. Ejemplos de evaluaciones con MM resumidas en el Anexo 10 36

CUADROS

Cuadro 1. Cmo se utilizan los trminos impactos y evaluacin de impacto en las guas de orientacin 3

Cuadro 2. Beneficios operativos por el uso de mtodos mixtos 5

Cuadro 3. Anlisis de atribucin, contribucin y sustitucin 22

Cuadro 4. Los resultados del programa se ven afectados por la manera en que los beneficiarios responden a los servicios y cmo reacciona el personal ante las respuestas de los beneficiarios. Estudio del cambio de comportamiento en un programa de alimentacin escolar en Nicaragua. 25

Cuadro 5. Planificacin y presupuesto de tiempo y recursos adicionales que pueden requerirse para una evaluacin con mtodos mixtos 28

Cuadro 6. Realizacin de evaluaciones de impacto con mtodos mixtos con pocos recursos: Consejos para las ONG con recursos limitados y poca experiencia profesional en evaluaciones 31

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto |

FIGURES

Figura 1. Uso de un marco de muestra nacional de hogares para garantizar la representatividad y credibilidad de una evaluacin de estudios de caso CUAL 6

Figura 2. Uso de estudios etnogrficos CUAL de pueblos y hogares para ayudar a interpretar los hallazgos de una encuesta nacional de muestra CUANT 8

Figura 3. Diseo de mtodo mixto secuencial con un enfoque predominantemente cuantitativo: Estudio de transferencias entre hogares como una estrategia de supervivencia de hogares de bajos ingresos en Cartagena, Colombia 12

Figura 4. Diseo de mtodo mixto secuencial con un enfoque predominantemente cualitativo: Evaluacin de la adopcin de nuevas variedades de semillas por parte de diferentes tipos de agricultores 12

Figura 5. Diseo de mtodos mixtos en varios niveles: Evaluacin de los efectos de un programa de alimentacin escolar en la asistencia y el desempeo 14

Figura 6. Uso de diseos de mtodos mixtos para evaluar intervenciones complejas 23

ANEXOS (disponibles en ingles en: http://www.interaction.org/impact-evaluation-notes)

Anexo 1. Ventajas y desventajas de diseos de evaluacin cuantitativos

Anexo 2. Ventajas y desventajas de diseos de evaluacin cualitativos

Anexo 3. Ejemplos de diseos de evaluacin en cada punto del continuo CUANT - CUAL

Anexo 4. Caractersticas de enfoques CUANT y CUAL en diferentes etapas de la evaluacin

Anexo 5. Cmo los enfoques CUANT y CUAL se complementan entre s en diferentes etapas de una evaluacin

Anexo 6. Comparacin entre mtodos de muestreo aleatorios y dirigidos

Anexo 7. Variedad de enfoques cuantitativos, cualitativos y basados en la teora para definir lo contrafactual

Anexo 8. Estrategias para reducir los costos de la recoleccin y el anlisis de datos

Anexo 9. Ejemplo de triangulacin: comparacin de estimaciones de ingresos de hogares y pobreza de diferentes fuentes

Anexo 10. Estudios de caso de diseos de evaluacin con MM equilibrados y con orientacin predominantemente CUANT o CUAL

Anexo 11. Cmo los mtodos mixtos pueden afianzar los diseos de evaluacin CUANT

| Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto | | 1 |

Esta gua de orientacin explica los elementos esenciales del enfoque de MM y cmo se puede utilizar en una evaluacin de impacto (EI), adems de resaltar los posibles beneficios y aplicaciones para las ONG. La Parte I aborda la pregunta: Por qu mtodos mixtos? Analizamos lo que es un diseo de evaluacin de impacto con MM, qu lo diferencia de un diseo de evaluacin de impacto CUANT o CUAL y por qu el enfoque es til para comprender las evaluaciones de desarrollo y las complejidades del mundo real en el que se imple-mentan (Seccin 1.1). La creciente popularidad de los MM se debe al reconocimiento de las limita-ciones de una dependencia exclusiva en uno de los

dos mtodos, CUANT o CUAL, (Seccin 1.2) y en los posibles beneficios que se pueden lograr cuan-do ambos enfoques se combinan adecuadamente (Seccin 1.3). Aunque los MM se pueden emplear como parte de una evaluacin de impacto extensa y bien financiada, los mtodos tienen la flexibilidad de ser igualmente tiles para muchas ONG que requieren evaluaciones crebles de sus programas, pero cuyos recursos y experiencia profesional para realizar evaluaciones de impacto son limitados.

Despus de haber expuesto el caso de los MM, la Parte II describe cuatro decisiones clave que se deben tomar al disear una evaluacin con

IntroduccinLas evaluaciones con mtodos mixtos (MM) procuran integrar las

disciplinas de las ciencias sociales con enfoques predominante-

mente cuantitativos (CUANT) y predominantemente cualitativos

(CUAL) a la teora, la recoleccin, el anlisis y la interpretacin de

los datos. El objetivo es aumentar la confiabilidad de los datos y la

validez de los hallazgos y las recomendaciones, adems de ampliar

y profundizar la comprensin de los procesos a travs de los cuales

se logran los resultados e impactos de un programa, y cmo estos

se ven afectados por el contexto en el que se implementa tal progra-

ma. Aunque ahora los mtodos mixtos se utilizan comnmente en

la evaluacin de programas, y las solicitudes de propuestas de eva-

luacin con frecuencia exigen el uso de dichos mtodos, muchos

evaluadores no aprovechan todo el potencial del enfoque de MM.


MM (Seccin 2.1): en qu etapas de la evaluacin se emplearn los MM; si el diseo de MM es secuencial o concurrente; si el diseo ser predo-minantemente CUANT o CUAL, o se utilizar un diseo equilibrado que otorgue igual importancia a ambos enfoques; y si el diseo se implementar en un solo nivel o si ser una evaluacin en varios niveles. La Seccin 2.2 explica cmo se pueden usar los MM en cada etapa del diseo, la imple-mentacin y el anlisis de una evaluacin, no solo como una manera de diversificar los mtodos de recoleccin de datos, como suponen muchos evaluadores.

La Parte III revisa algunas aplicaciones de los diseos de MM. La Seccin 3.1 analiza estrategias de muestreo con MM cuando se usan diseos predominantemente CUANT o CUAL y demuestra de qu manera los MM pueden favorecer ambas clases de diseo de muestras. La Seccin 3.2 des-cribe el uso de los MM para evaluar intervenciones de desarrollo complejas y la Seccin 3.3 expone la manera en que los diseos de MM pueden ayudar a evaluar programas que incluyen procesos de cambio de comportamiento.

La Parte IV aborda temas concernientes a la admi-nistracin de evaluaciones con MM. La Seccin 4.1

explica por qu es necesario un enfoque de admi-nistracin especial, y la Seccin 4.2 analiza cmo las ONG pueden utilizar los MM con eficacia para las evaluaciones que se realizan con pocos recursos (es decir, con restricciones de tiempo y presupuesto, y con una experiencia profesional limitada en lo que concierne a la investigacin).

La Seccin V presenta tres estudios de caso que muestran cmo se utilizan los MM en evalua-ciones predominantemente CUANT o CUAL, y en una evaluacin equilibrada que otorga igual importancia a ambos enfoques, CUANT y CUAL. El Anexo10 presenta 17 ejemplos de evaluacio-nes con MM que ilustran una gran variedad de enfoques e incluyen tanto evaluaciones extensas y bien financiadas como evaluaciones realizadas con limitaciones de presupuesto, tiempo y datos.

Un desafo en la preparacin de esta gua de orientacin (GO) fue la gran cantidad de mate-rial bibliogrfico que existe sobre MM, parte del cual es muy tcnico o especializado. Tratamos de mantener el texto accesible para un pblico amplio y no especializado, a la vez que incorporamos un conjunto de anexos (disponibles en ingles en http://www.interaction.org/impact-evaluation-notes) con informacin ms detallada.


Parte I: Por qu mtodos mixtos?

1.1. Qu es un diseo de evaluacin de impacto con mtodos mixtos?

Diferentes evaluadores utilizan los trminos impac-to y evaluacin de impacto de diferentes mane-ras. Por lo tanto, a fin de asegurarnos de que todos estemos en la misma pgina, el Cuadro 1 resume cmo se utilizan estos trminos en estas guas de orientacin. Los mtodos mixtos tienen los mismos objetivos, formulan muchas de las mismas pregun-tas y emplean todas las herramientas y tcnicas de evaluacin de impacto descritas en la gua de orienta-cin 1 (GO1) de esta serie, adems de basarse en los sistemas de evaluacin y monitoreo de proyectos de la manera descrita en la GO2. Al igual que otros di-seos de evaluacin de impacto, los MM se pueden aplicar en cualquier nivel, desde la evaluacin de un proyecto que funciona en un solo pueblo hasta una iniciativa de desarrollo nacional de varios compo-nentes que involucra muchas agencias nacionales e internacionales diferentes.

Es poco frecuente encontrar una nica metodolo-ga de evaluacin que pueda contemplar absoluta-mente todas las complejidades del funcionamiento de los programas en el mundo real. En consecuen-cia, los evaluadores deben hallar maneras creativas de combinar diferentes marcos, herramientas y tcnicas de evaluacin1; esto explica el creciente

1 Un tema relacionado importante concierne a la eleccin del diseo de evaluacin apropiado. Debido a las muchas clases de programas diferentes que se evalan, los contextos variados en los que funcionan y la diversidad de preguntas de evaluacin de relevancia para las partes interesadas, no existe un nico diseo de evaluacin que sea el mejor para todas las situaciones. La eleccin del diseo de evaluacin requiere un anlisis exhausti-vo de la naturaleza del programa, el objetivo y el contexto de la evaluacin, y el entorno en el que funciona. Consulte Bamberger, Rugh y Mabry (2012), Captulos 2 y 11 para obtener un anlisis de las estrategias para seleccionar el diseo de evaluacin ms apropiado. Consulte tambin Stern et al (2012) para encontrar un anlisis detallado de la eleccin de los mtodos.

inters por los enfoques de MM. La caracterstica nica de los enfoques de mtodos mixtos (MM) es que procuran integrar las disciplinas de las cien-cias sociales con enfoques predominantemente CUANT y predominantemente CUAL a la teora y a la recoleccin, el anlisis y la interpretacin de los datos. Aunque, actualmente, muchos evaluadores utilizan una variedad de mtodos como rutina, Lo que distingue una evaluacin con mtodo mixto es el uso intencional o planificado de diversos mtodos por los fines particulares de los mtodos mixtos utilizando diseos particulares de mto-dos mixtos (Greene 2005:255). Es muy habitual combinar mtodos de recoleccin de datos para realizar una evaluacin con MM, pero tambin es posible combinar marcos conceptuales, desarro-llos de hiptesis, anlisis de datos o marcos para la interpretacin de los hallazgos de la evaluacin.

CUADRO 1. CMO SE UTILIZAN LOS TRMI-NOS IMPACTOS Y EVALUACIN DE IMPAC-TO EN LAS GUAS DE ORIENTACIN

La gua de orientacin 1, Introduccin a la eva-luacin de impacto (pgina 2), define impactos como:

los efectos positivos y negativos, deseados y no deseados, directos e indirectos, primarios y secun-darios, que produce una intervencin. (Definicin del Comit de Asistencia para el Desarrollo de la OECD).

Normalmente, se entiende que los impactos ocurren despus, y como consecuencia, de resul-tados intermedios. La diferencia entre resultados e impactos puede ser relativa, y depende de los objetivos establecidos de una intervencin. De acuerdo con nuestra definicin, una evaluacin de impacto incluye:

cualquier evaluacin que investigue de manera sistemtica y emprica los impactos que produce (yque se pueden atribuir a) una intervencin.


1.2. Las limitaciones de una dependencia exclusiva en enfoques de evaluacin CUANT o CUAL

Cuando se utilizan de forma aislada, ambos mto-dos de evaluacin, CUANT y CUAL, tienen venta-jas y desventajas. El objetivo de los MM es apro-vechar las ventajas de ambos enfoques, CUANT y CUAL, e integrarlos para superar sus desventajas. A pesar de los muchos beneficios convincentes de la recoleccin de datos y mtodos de anlisis CUANT, tambin tienen una serie de limitaciones inherentes (Anexo 1). Muchas de las crticas se refieren a la reduccin de datos narrativos en n-meros, y diseos y procedimientos de mtodos de recoleccin de datos inflexibles que son difciles de adaptar a circunstancias cambiantes. Las catego-ras estandarizadas en cuestionarios y codificacin de datos a menudo no pueden captar los matices de las comunidades o los grupos estudiados, y suele suceder que el anlisis carece de la profun-didad y del detalle de los mtodos CUAL. El riesgo de la evaluacin CUANT es la descontextualizacin, es decir, que ignore cmo afectan a los programas las caractersticas econmicas, polticas, institucio-nales y socioculturales de las poblaciones estudia-das. Otra crtica frecuente a muchas evaluaciones CUANT es que suponen que los programas funcio-nan tal como se los planific y que todos reciben el mismo paquete de servicios (tanto en trminos de cantidad como de calidad). Esto es a menudo conocido como enfoque de caja negra, ya que la evaluacin no mira dentro de la caja negra del proyecto.

Los mtodos CUAL tambin son herramientas eficaces para la recoleccin y el anlisis de datos. No obstante, cuando se los utiliza exclusivamen-te, los diseos de evaluacin CUAL tambin tie-nen una serie de desventajas posibles (Anexo2). Las evaluaciones CUAL a menudo se centran en temas y situaciones particulares, y es ms difcil

generalizar a partir de los hallazgos. Muchos eva-luadores CUAL tambin creen que cada evaluacin es especfica de cada contexto y no es posible o apropiado generalizar. Muchas, pero ciertamente no todas, evaluaciones CUAL utilizan un enfo-que holstico; por lo que resulta ms difcil aislar elementos y factores particulares, y comprender la contribucin especfica de diferentes componentes o enfoques del programa. Algunos clientes tambin se sienten incmodos cuando se depende demasia-do de la opinin y la perspectiva del evaluador, sin dejar margen para que el lector revise fcilmente las grandes cantidades de datos escritos y registrados en las que se bas el evaluador. Un ltimo punto es que las evaluaciones CUAL no suministran la clase de documentacin detallada respecto de la metodo-loga que, por lo general, presentan los informes de evaluacin CUANT y, por lo tanto, es difcil verificar la validez de la recoleccin de datos y los procedi-mientos de anlisis.2

1.3. Los beneficios de un enfoque de mtodos mixtos3

Existen cinco razones principales para utilizar dise-os de mtodos mixtos (Greene 2005:25556):

Triangulacin de los hallazgos de la evalu-acin: aumentar la validez o credibilidad de los hallazgos de la evaluacin al comparar la informacin obtenida a partir de diferen-tes mtodos de recoleccin de datos (por ejemplo, comparar respuestas a preguntas

2 Por ejemplo, muchas evaluaciones CUAL no incluyen documen-tacin detallada sobre cmo se seleccionaron los integrantes de un grupo de discusin, y solo algunas pueden proporcionar trans-cripciones de las entrevistas (para considerar el costo y el tiempo); de modo que, por lo general, no es posible para el lector revisar los datos de manera independiente y evaluar cmo se obtuvieron los hallazgos y las conclusiones.

3 Para obtener informacin reciente sobre los beneficios de los enfoques de mtodos mixtos, consulte Adato (2012).


de encuestas con las observaciones directas del entrevistador). Cuando las estimaciones de diferentes fuentes convergen y coinciden, esto aumenta la validez y la credibilidad de los hallazgos o la interpretacin. Cuando las diferentes estimaciones se contradi-cen, el investigador sigue explorando para comprender la razn de las contradicciones (consulte el Anexo 9).

Desarrollo: utilizar resultados de un mtodo para ayudar a desarrollar la muestra o la ins-trumentacin de otro.

Complementariedad: extender la exhaustividad de los hallazgos de la evaluacin a travs de resultados de diferentes mtodos que amplan y profundizan la comprensin obtenida.

Iniciacin: generar nuevas apreciaciones en los hallazgos de la evaluacin a travs de los resultados de los diferentes mtodos

que divergen y, de esta manera, requieren de una conciliacin a travs de anlisis adicio-nales, reformulaciones o un cambio en la perspectiva.

Diversidad de valor: incorporar una variedad de valores ms amplia a travs del uso de di-ferentes mtodos que en s mismos proponen diferentes valores. Esto fomenta una mayor toma de consciencia respecto de las dimensio-nes de los valores de la evaluacin.

Un beneficio adicional es que un enfoque de MM tiene ms probabilidades de aceptacin entre eva-luadores y usuarios que tienen predileccin tanto por enfoques CUANT como por enfoques CUAL.

El Cuadro 2 resume algunos de los beneficios operativos de usar un enfoque de MM.

CUADRO 2. BENEFICIOS OPERATIVOS POR EL USO DE MTODOS MIXTOS

Comprender cmo los factores contextuales locales ayudan a explicar las variaciones en la im-plementacin y los resultados de los programas.

Reconstruir datos de base para evaluaciones CUANT cuando no es posible realizar una encuesta de base. Muchas evaluaciones se encargan hacia el final del programa y no tienen informacin muy confiable sobre las condiciones del proyecto y los grupos de comparacin en el momento en que se inici el programa. Esto hace difcil determinar si las diferencias observadas al final del proyecto se pueden atribuir a los efectos del programa o si estas diferencias podran deber-se, al menos en parte, a diferencias preexistentes entre los dos grupos. Por ejemplo, las mujeres que solicitan prstamos para pequeas empresas pueden provenir de familias que brindan ms apoyo a las mujeres propietarias de pequeas empresas que la mayora de las familias, o pueden ya tener ms experiencia comercial que las mujeres que no solicitan prstamos. Si no se identifican estas diferencias preexistentes, existe el riesgo de sobrestimar los efectos del programa de prstamos. Por lo general, es posible utilizar

tales tcnicas CUAL como entrevistas exhausti-vas, entrevistas a informantes clave o grupos de discusin para obtener informacin acerca de las caractersticas de los beneficiarios y no benefi-ciarios del programa en el momento de inicio del programa. Esta clase de informacin, que a menudo es muy simple y econmica de obtener, puede aumentar en gran medida la validez de los datos de una encuesta exclusivamente CUANT.

Fortalecer la representatividad de los estudios CUAL exhaustivos (por ejemplo, al vincular la seleccin de estudios de caso con el marco de muestreo CUANT) puede facilitar la comparacin de los hallazgos con los datos de la encuesta CUANT.

Aportar sentido comn respecto de la validez y el valor de diferentes clases de datos CUANT y CUAL.

Promover una mayor comprensin de las pers-pectivas de las partes interesadas acerca de la naturaleza de la intervencin o cmo se espera lograr sus objetivos. Esto propicia un enfoque ms participativo y una mayor coordinacin entre partes interesadas y evaluadores.


Para ilustrar algunos de estos beneficios, exami-nemos el ejemplo de una evaluacin de impacto de centros de salud rurales sobre la salud de la poblacin rural, en especial de mujeres y nios. Una preocupacin en particular es la accesibilidad de los servicios de salud a sectores pobres y vulne-rables de la poblacin. En este primer ejemplo, la evaluacin adopta un enfoque predominantemen-te CUAL. La finalidad de la evaluacin es influir en las polticas de salud nacionales al identificar algu-nas de las razones por las cuales las familias po-bres y minoritarias no utilizan los centros de salud. El equipo de evaluacin sabe que el Ministerio de Salud ha criticado las evaluaciones CUAL previa-mente por haberse concentrado intencionalmente en comunidades con problemas particulares con-sabidos, lo que implica que los hallazgos no son representativos de todo el pas y desprestigiarn al Ministerio de Salud. Los evaluadores tambin sa-ben que el Ministerio algunas veces utiliz la falta de representatividad estadstica como una excusa conveniente para ignorar crticas vlidas, y desean cerciorarse de que su estudio no sea descartado por ese motivo. Por consiguiente, el equipo de evaluacin coordina con el Instituto Nacional de Estadsticas y utiliza su marco de muestra nacional de hogares para garantizar que la muestra de las comunidades que seleccionan sea representativa en lneas generales de todo el pas (o la regin

donde se realiza el estudio). La evaluacin utiliza los mismos mtodos CUAL, pero ahora es posible indicar que la muestra de comunidades es repre-sentativa en lneas generales de todas las comuni-dades en las regiones estudiadas (vea la Figura 1).

Ahora bien, supongamos que la misma evaluacin ser realizada por un equipo diferente que planea usar un enfoque CUANT basado en una encuesta de muestra de hogares representativos a nivel na-cional. Aunque una encuesta bien diseada puede obtener estimaciones razonablemente confiables de la proporcin de la poblacin que utiliza los centros de salud (no obstante, incluso en ese caso existe la posibilidad de un informe errneo), los evaluadores son totalmente conscientes de que la encuesta no explicar por qu los hogares utilizan o no los cen-tros de salud. Por lo tanto, invitan a un etngrafo a incorporarse al equipo y realizar estudios exhaus-tivos en una cantidad reducida de comunidades. Los estudios etnogrficos explorarn las actitudes y creencias relacionadas con la salud de diferentes grupos etnogrficos y los factores que influyen en su decisin de utilizar o no los centros de salud. Los estudios tambin examinarn los factores econmi-cos, polticos, organizacionales, culturales y ecol-gicos que afectan el funcionamiento de los centros de salud en diferentes comunidades. La primera parte del anlisis abordar las diferencias culturales

Coordinacin con el Instituto Nacional de Estadsticas (National Institute of Statistics, NIS) para utilizar su marco de muestra nacional de hogares a fin de garantizar que la muestra de pueblos seleccionada para la evaluacin de centros de salud rurales sea representativa en lneas generales de las regiones estudiadas.

Acuerdo con el NIS respecto de la cantidad mnima de pueblos requeri-dos para permitir generalizaciones de los pueblos en los estudios de caso.

Los estudios de caso se realizan en los pueblos selecciona-dos para evaluar el uso de los servi-cios de salud y los impactos en la salud. Estudios de caso completen-tados por registros de centros de salud y otras fuentes secundarias.

El informe agradece la asistencia del NIS para garantizar que los pueblos en los estudios de caso sean representati-vos de las regiones estudiadas.

Figura 1. Uso de un marco de muestra nacional de hogares para garantizar la representatividad y credibilidad de una evaluacin de estudios de caso CUAL


generales que pueden afectar a todos los centros de salud, y la ltima parte (el anlisis contextual) ayu-dar a explicar los factores que afectan el funciona-miento de diferentes centros (Figura 2). El director de la evaluacin sabe que los diseos de mtodos mixtos funcionan bien solo cuando hay respeto y comprensin, y una sensacin de igualdad entre los miembros del equipo de diferentes profesiones, de modo que se invit al etngrafo a incorporarse al equipo desde el mismo momento en que se realiz la primera reunin de planificacin. Las siguientes son algunas de las formas en las que los enfoques CUANT y CUAL se pueden integrar a esta evaluacin:

Los estudios etnogrficos rpidos (CUAL) se realizan en comunidades seleccionadas para comprender los temas que se deben tratar en la encuesta y para ayudar a formular las preguntas.

A continuacin, se realiza una encuesta CUANT de hogares utilizando una muestra representativa a nivel nacional.

El anlisis de la encuesta de hogares puede producir una tipologa de hogares de acuerdo a su nivel de uso de los centros de salud o sus razones para no utilizarlos. Se seleccio-nar una muestra de cada tipo para preparar estudios de caso. Los estudios de caso a me-nudo revelarn que el uso que se aleg o los motivos por no usar los centros de salud no son correctos. Por ejemplo, las mujeres gene-ralmente no mencionan el acoso sexual para responder a la encuesta y, en su lugar, pueden alegar que las horas de atencin al pblico no son convenientes.

Se utilizar la triangulacin con el fin de obtener estimaciones CUANT y CUAL inde-pendientes para variables clave (como el uso de instalaciones sanitarias y actitudes hacia estas instalaciones). Una caracterstica clave

de la triangulacin es que los procedimientos se integran para identificar contradicciones en diferentes estimaciones y para realizar un seguimiento a fin de comprender la razn de las diferencias. Por ejemplo, se observar cmo se recibe a las personas que ingresan a la clnica o se conversar informalmente con las familias acerca de si utilizan las clnicas y cundo lo hacen para comparar estos datos con las respuestas a la encuesta.

Se prepararn borradores de informes CUANT y CUAL independientes, y luego los equipos se reunirn para identificar las reas en las que hay aparentes diferencias en los datos o la interpretacin. En el ejemplo de las contra-dicciones entre las respuestas a la encuesta sobre la utilizacin de los centros de salud y los datos de las observaciones y entrevistas exhaustivas, los investigadores CUANT y CUAL se reunirn para analizar las razones de tales contradicciones. Pueden llegar a un acuerdo respecto de que una u otra fuente de informacin es ms confiable. Por ejemplo, las entrevistas exhaustivas con mujeres cuando ningn otro miembro del hogar est presen-te pueden considerarse ms confiables. No obstante, si no est claro qu fuente es ms confiable, los investigadores podran volver al campo a recolectar ms datos o se podran buscar otras fuentes de informacin, como por ejemplo, una revisin de los registros de los centros de salud sobre visitas de pacientes o consultas a informantes clave, como lderes de la comunidad, enfermeros, etc.

En los dos casos presentados, los MM pueden favorecer la evaluacin. Sin embargo, el foco de atencin es muy distinto cuando los MM se utilizan para afianzar diseos predominantemente CUAL (Figura 1) que cuando se usan para afianzar diseos predominantemente CUANT (Figura 2).


En trminos generales, un enfoque de MM es particularmente til para:

Examinar las interacciones entre los factores contextuales complejos y cambiantes que pue-den influir en la implementacin y los impac-tos del programa.

Definir y medir indicadores de los factores cul-turales, histricos, polticos, legales, ambien-tales y psicosociales que afectan la implemen-tacin. Se requieren diferentes metodologas para medirlos.

Captar procesos complejos de cambios orga-nizacionales y de comportamiento (secciones 3.2 y 3.3).

Tener en cuenta cmo cambian los programas en respuesta a cmo son percibidos y utiliza-dos por diferentes sectores de la poblacin

objetivo. La experiencia de los primeros usua-rios y sus comentarios a vecinos pueden afec-tar radicalmente la evolucin de un programa.4

Muchos procesos y resultados son difciles de observar o, en algunos casos, incluso es difcil saber si existen. Esto es particularmente importante para evaluar la situacin de grupos vulnerables y para programas que afectan actividades ilegales o socialmente desaproba-das, como el uso de drogas, trabajo sexual o la inmigracin legal. Todas estas dificultades se multiplican en los programas humanita-rios, posteriores a conflictos y otras clases de programas de ayuda ante emergencias.

4 Realist evaluation (Evaluacin realista) (Pawson 2006) propor-ciona un marco til para el anlisis del cambio de comportamiento y para el anlisis de cmo los programas funcionan realmente en el campo.

Estudios etnogr-ficos exhaustivos realizados en una muestra pequea de pueblos para identificar problemas que se estudiarn en la encuesta de mues-tra de hogares CUANT.

Se realiza la entre-vista a la muestra de pueblos y hogares representativa a nivel nacional para calcular la proporcin de mujeres que usan los centros de salud rurales y los factores que determinan las decisiones de uso o no uso. Una tipologa de pueblos y hogares se define en trminos de tipos de respuesta a los centros de salud, y se selecciona una muestra repre-sentativa de cada tipo para un anlisis CUAL exhaustivo.

El informe presenta el anlisis estads-tico de los hallazgos de la encuesta. Los datos etnogrficos se integran sistemtica-mente para ayudar a interpretar los hallazgos, evaluar la validez de los datos CUANT y contribuir a explicar las varia-ciones en los ndices de utilizacin de centros de salud en diferentes reas.

Anlisis CUAL de factores culturales, econmicos y otros factores contex-tuales que afectan los ndices de utiliza-cin de centros de salud en diferentes pueblos.

Observacin CUAL e informantes clave para evaluar la validez de los ndices registrados de utilizacin de centros de salud.

Estudio CUAL de actitudes y creencias que afectan el uso de los centros de salud rurales.

Figura 2. Uso de estudios etnogrficos CUAL de pueblos y hogares para ayudar a interpretar los hallazgos de una encuesta nacional de muestra CUANT


Parte II: El enfoque de mtodos mixtos

2.1. Cuatro decisiones para disear una evaluacin de mtodos mixtos

Cuando se planifica una evaluacin con MM, se requieren cuatro decisiones:

1. En qu etapa o etapas de la evaluacin se utilizarn los MM?

2. Los mtodos CUANT y CUAL se emplearn de manera secuencial o concurrente?

3. Se otorgar igual importancia a los mto-dos CUANT y CUAL, o predominar una metodologa?

4. El diseo ser de un solo nivel o de varios niveles?

Decisin 1: En qu etapas de la evaluacin se utili-zarn los mtodos mixtos?La mayora de las evaluaciones con MM solo combinan mtodos CUANT y CUAL en una o quizs dos etapas de la evaluacin, por lo general, en la recoleccin de datos. No obs-tante, un diseo de MM es mucho ms eficaz si se integran los enfoques CUANT y CUAL en varias etapas de la evaluacin (o idealmente en todas). La Seccin 2.2 explica cmo se pueden emplear los MM para afianzar cada etapa de una evaluacin, el Anexo 4 compara enfoques CUANT y CUAL en cada etapa de una evaluacin y el Anexo5 presenta ejemplos de cmo se com-plementan los enfoques CUANT y CUAL para que cada etapa de la evaluacin sea ms efectiva.

Decisin 2: El diseo de MM es secuencial o concurrente?Diseos de mtodos mixtos secuencialesEn los diseos secuenciales, los mtodos CUANT

y CUAL se utilizan en fases. Por ejemplo, la evalua-cin puede comenzar con un estudio exploratorio CUAL para tratar de comprender los problemas clave y cmo los perciben las poblaciones afecta-das. Esto sirve para disear una encuesta CUANT, que luego se administra en una muestra seleccio-nada al azar. A continuacin, los datos podran analizarse utilizando mtodos de anlisis CUANT o CUAL, o ambos. En otro ejemplo, podra utili-zarse una encuesta CUANT rpida para identificar y cuantificar los principales tipos de granjas y actividades agrcolas. Esta informacin luego se usara para seleccionar una muestra representativa de granjas para la preparacin de estudios de caso CUAL exhaustivos. Los estudios de caso proba-blemente se analizaran utilizando mtodos CUAL y la encuesta de muestra se analizara utilizando tcnicas CUANT. La Figura 3 es un ejemplo de un diseo secuencial para evaluar transferencias entre hogares como una estrategia de supervivencia de familias pobres. Esta evaluacin comenz con un estudio etnogrfico (CUAL) para comprender las caractersticas de las comunidades, seguido de una encuesta CUANT a hogares y un anlisis economtrico de los hallazgos.

Diseos concurrentesEn los diseos concurrentes, los enfoques CUANT y CUAL se utilizan al mismo tiempo. Un ejemplo de un diseo concurrente es uno en el que los datos CUANT y CUAL se recolectan de forma si-multnea, utilizando la triangulacin para compa-rar la informacin de los resultados, los impactos y otros indicadores clave de distintas fuentes in-dependientes. Otro ejemplo es cuando se utilizan mtodos CUAL para realizar un anlisis contextual del lugar de un proyecto (o las reas circundantes) al mismo tiempo que se lleva a cabo una encuesta


de muestra CUANT a hogares o personas. Esto brinda la posibilidad de realizar un anlisis muy profundo pero ms complicado en el que se anali-zan las interacciones entre el entorno (contexto) y el proceso de implementacin del proyecto.

Consideraciones operativas para decidir entre un diseo secuencial y un diseo concurrenteUna ventaja de los diseos secuenciales es que la logstica es generalmente ms fcil de organizar. La recoleccin de datos que hace uso de cuestio-narios estructurados a menudo requiere un equipo grande de entrevistadores en el campo que sigan un cronograma de seleccin de hogares definido con precisin y una cantidad de entrevistas que se debern realizar cada da. Los supervisores de campo deben saber dnde est trabajando cada enumerador porque el control de calidad por lo general incluye visitas de seguimiento a una submuestra de hogares. El supervisor tambin debe estar disponible para responder las pregun-tas de los enumeradores. En contrapartida, los mtodos etnogrficos y muchas otras clases de mtodos CUAL tienen un cronograma mucho ms flexible en trminos de duracin y en el que los investigadores estarn disponibles en cualquier momento dado. Por este y otros motivos, con fre-cuencia los diseos de MM concurrentes pueden ser difciles de administrar, en particular para equi-pos de evaluacin con unos pocos supervisores experimentados. Los diseos concurrentes pueden ser un problema en particular en reas donde la planificacin logstica (por ejemplo, traslados a los sitios, lugares donde alojarse, la seguridad) puede tornarse difcil de coordinar; tambin son

ms complicados en cuanto al manejo de opinio-nes y comentarios, ya que se tendran que realizar ajustes con mayor rapidez que en el caso de los diseos secuenciales. Por otro lado, los diseos concurrentes tienen la ventaja de que la recolec-cin y el anlisis de los datos se pueden realizar ms rpidamente.

Decisin 3: El diseo de MM ser predominan-temente CUANT o CUAL, o se utilizar un diseo equilibrado?Resulta til pensar en una representacin de los diseos de evaluacin como un continuo de enfoques que va desde enfoques exclusivamen-te CUANT pasando por enfoques que otorgan igual importancia a los mtodos CUANT y CUAL hasta enfoques exclusivamente CUAL (Bamberger et al 2012 pp. 324-34; Greene y Caracelli 2003). Esto es importante ya que dife-rentes evaluadores, quienes quizs comenzaron sus carreras con una orientacin predominante-mente CUANT o CUAL, pueden tener expecta-tivas muy diferentes respecto de lo que implica una evaluacin con MM. Tambin reviste importancia porque, debido a la orientacin pro-fesional de los evaluadores, en la mayora de las evaluaciones con MM predomina un enfoque CUANT o CUAL (en lugar de uno equilibrado).5

La Tabla 1 ilustra cmo se utilizan los MM en evaluaciones en las que el enfoque predomi-nante es CUANT o CUAL, y el Anexo 3 ofrece ejemplos de diseos de evaluacin en diferentes puntos de este continuo.

5 Est emergiendo una nueva generacin de evaluadores que se capacitaron en MM como un enfoque de evaluacin integrado, y comienzan a aparecer algunos estudios con un enfoque ms equilibrado sin una orientacin predominante, aunque an son la minora. El Journal of Mixed Method Research es una buena fuente de ejemplos de diseos equilibrados.


Tabla 1. Les Los mtodos mixtos se utilizan de manera diferente para diseos de evaluacin en los que predomina una orientacin CUANT o CUAL

Qu enfoque predomina? Cmo funciona el enfoque predominante? Cmo se utiliza la otra orientacin para afianzar el diseo?

CUANT Por lo general, la evaluacin administra un cuestionario estructurado a una muestra selec-cionada al azar de individuos, grupos, institu-ciones o comunidades, y el anlisis depende principalmente de mtodos economtricos u otros mtodos cuantitativos.

Se utilizan entrevistas exhaustivas, observaciones y entrevistas grupales para disear el cuestionario. Muestras reducidas de casos seleccionados a partir de la muestra principal tambin pueden brindar una comprensin ms profunda de las relaciones estadsticas halladas en el anlisis CUANT. Los casos pueden ser representativos de cada categora principal identificada en el anlisis o utilizados para estudiar observaciones atpicas u otros grupos seleccionados a propsito.*

Se otorga igual importan-cia a enfoques CUANT y CUAL

Las encuestas CUANT se combinan con una variedad de tcnicas CUAL diferentes. A veces, estas ltimas se centran en el proceso y el anlisis contextual; en otros casos, el foco de aten-cin est en la misma unidad de anlisis que las encuestas (por ejemplo, individuos, hogares, comunidades, organizaciones), pero se utilizan diferentes mtodos de recoleccin de datos.

CUAL Estudios de caso, entrevistas exhaustivas y otras tcnicas CUAL se aplican a muestras relativamente pequeas de individuos, hogares, comunidades o grupos.

Una encuesta CUANT rpida se usa para identificar los problemas o grupos que se abordarn en estudios CUAL exhaustivos o bien, para demostrar que una muestra CUAL es razonablemente representativa de la poblacin total.

* Consulte el Anexo 6 y Bamberger et al 2012 pp. 360-61 para obtener una descripcin de muestreo dirigido.

La Figura 3 describe un diseo secuencial con un enfoque predominantemente CUANT. Este es un estudio de transferencias de dinero y bienes entre hogares como estrategia de supervivencia de ho-gares urbanos pobres en Colombia (Wansbrough, Jones y Kappaz 2000). El objetivo del estudio fue describir los patrones de transferencias y estimar si eran lo suficientemente importantes para actuar como una red de seguridad social informal que brinda ayuda a los sectores ms pobres de la comunidad en pocas de necesidad. Estas trans-ferencias entre hogares son difciles de identificar y d medir. Por tal motivo, un antroplogo vivi

en la comunidad durante un mes para estudiar los patrones de transferencias y colaborar con el diseo del cuestionario para una encuesta CUANT que luego se administr en cientos de hogares. Los datos se analizaron utilizando anlisis econo-mtricos CUANT.

La Figura 4 ilustra un diseo secuencial con un enfoque predominantemente CUAL. Describe una evaluacin hipottica para analizar la adopcin de nuevas variedades de semillas por parte de dife-rentes tipos de familias rurales. Los mtodos de recoleccin de datos principales son cualitativos:


entrevistas, grupos de discusin, observaciones y estudios de caso de hogares individuales y pe-queas comunidades agrcolas. Los mtodos de anlisis principales tambin son cualitativos: anli-sis dentro y entre casos, y el mtodo comparativo constante. Sin embargo, para obtener informacin

sobre la distribucin tnica de los hogares, las condiciones econmicas de los hogares y la pro-duccin agrcola, la evaluacin comienza con una encuesta CUANT rpida que cubre una muestra de hogares en todos los pueblos incluidos en el proyecto de extensin agrcola. Los hallazgos de

Estudio etnogrfico de cuatro semanas para comprender las estrategias de super-vivencia, los mecanis-mos de transferencia entre hogares y el concepto de hogar en esta comunidad.

CUAL

Encuesta a cientos de hogares para recolectar datos sobre condiciones socioeconmicas a fin de cuantificar el volumen y los tipos de transferencias entre hogares dentro de la comunidad y con familiares de otras partes del pas o de otros pases.

CUANT

Anlisis economtrico para cuantificar trans-ferencias e identificar los factores que deter-minan la direccin y la magnitud de las transferencias.

CUANT

Figura 3. Diseo de mtodo mixto secuencial con un enfoque predominantemente cuantitativo: Estudio de transferencias entre hogares como una estrategia de supervivencia de hogares de bajos ingresos en Cartagena, Colombia

Encuesta cuantita-tiva rpida de una muestra de hogares en todos los pueblos del proyecto para calcular el tamao y la distribucin de los diferentes grupos tnicos, obtener informacin sobre las condiciones econ-micas de los hogares y estimar el producto y el rendimiento agrcola.

CUANT

Recoleccin de datos CUAL que emplea entrevistas, grupos de discusin, observaciones y pre-paracin de estudios de caso en hogares y comunidades agrcolas.

CUAL

Anlisis de datos CUAL que utiliza anlisis dentro y entre casos, y el mtodo comparativo constante.

CUAL

Figura 4. Diseo de mtodo mixto secuencial con un enfoque predominantemente cualitativo: Evaluacin de la adopcin de nuevas variedades de semillas por parte de diferentes tipos de agricultores


este estudio se utilizaron para identificar los tipos de hogares que se deben estudiar en ms profun-didad a travs de mtodos de recoleccin de datos CUAL, y para garantizar que los casos selecciona-dos sean representativos en lneas generales del total de la poblacin de la encuesta.

Cualquiera de los dos diseos de evaluacin an-teriores se podran haber modificado para otorgar igual importancia al enfoque CUANT y al enfoque CUAL. En el caso del estudio de transferencias en-tre hogares, la encuesta a hogares se pudo haber complementado con estudios de caso CUAL sobre familias o redes de transferencias informales. Estos se pudieron haber integrado en el anlisis para comparar la descripcin y la interpretacin de las funciones y la operacin de las redes de transferencias obtenidas a partir de los estudios CUAL con los hallazgos del anlisis economtrico. En el segundo ejemplo, se pudo haber realizado un estudio CUAL o CUANT de puntos de mar-keting para calcular los cambios en las ventas del producto agrcola de las reas del proyecto y, posiblemente, los cambios en la compra de bienes de consumo por parte de las familias de las reas del proyecto.

El ejemplo 3 de la Parte V describe un diseo equilibrado (integrado) de evaluacin con MM utilizado para evaluar un extenso programa de de-sarrollo comunitario en la India. El diseo otorga igual importancia a los enfoques CUANT y CUAL en todas las etapas de la evaluacin.

Decisin 4: El diseo de MM ser en un nico nivel o se utilizar un diseo de varios niveles?Los diseos que presentamos hasta ahora funcio-nan en un nico nivel, como la granja o el hogar. No obstante, los MM tambin son una herramien-ta eficaz para la evaluacin de sistemas de entre-ga de servicios (por ejemplo, departamentos de

educacin distritales, servicios de salud estatales o un programa nacional para fortalecer los gobier-nos municipales) que requieren la descripcin y el anlisis de los vnculos entre los diferentes niveles. Estas evaluaciones se pueden tornar muy com-plejas y costosas. Los diseos de mtodos mixtos que combinan datos CUANT y CUAL en cada nivel pueden a menudo proporcionar hallazgos vlidos y crebles sobre la base de muestras ms peque-as y ms econmicas.

La Figura 5 ilustra un diseo de mtodos mixtos en varios niveles para evaluar los efectos de un programa de alimentacin escolar en el desempe-o y la asistencia. La evaluacin debe recolectar datos a nivel del distrito escolar, una muestra de escuelas, una muestra de clases y docentes en cada escuela y una muestra de alumnos y familias. En cada nivel, se recolectan datos cuantitativos y cualitativos, y se comparan. Los mtodos CUAL (como las observaciones, los grupos de discusin y las entrevistas con informantes clave) tambin pueden ayudar a examinar las conexiones entre los diferentes niveles (por ejemplo, interacciones entre funcionarios del distrito y docentes y administra-dores escolares).

2.2. Aplicacin de enfoques de MM en cada etapa de la evaluacin

Esta seccin explica las diferentes maneras en las que generalmente se aplican los enfoques CUANT y CUAL en cada etapa de una evaluacin, y cmo los dos enfoques se pueden combinar en un dise-o de MM. Los Anexos 4 y 5 proporcionan ms detalles. Al leer esta seccin, se debe comprender que para una evaluacin con MM extensa y bien financiada, el equipo podra incluir la contratacin de uno o ms integrantes por sus conocimientos CUANT o CUAL especficos (por ejemplo, mues-treo estadstico para un estudio a gran escala


sobre mala nutricin o entrevistas CUAL exhaus-tivas sobre temas sensibles como la violencia domstica). Sin embargo, muchas evaluaciones (quizs la mayora) no pueden darse este lujo y los integrantes del equipo debern aplicar ambos enfoques, CUANT y CUAL, segn se requiera. Es obvio que, incluso para las evaluaciones exten-sas, es deseable que todos los integrantes de un equipo estn familiarizados con todos los m-todos de evaluacin que se usarn. Los prrafos siguientes ilustran cmo los mtodos CUANT y CUAL se pueden integrar en diferentes etapas de la evaluacin.

Formulacin de hiptesis. Las evaluaciones CUANT derivan hiptesis deductivamente de teoras existentes o publicaciones bibliogr-ficas, mientras que las evaluaciones CUAL elaboran hiptesis inductivamente a medida que progresa el estudio. Los MM combinan ambos enfoques. Por ejemplo, una hiptesis desarrollada deductivamente utilizando un enfoque CUANT se puede estudiar y per-feccionar a travs de enfoques CUAL, como entrevistas u observaciones. Por otro lado, las etapas iniciales de la recoleccin de datos CUAL pueden describir procesos y problemas

Entrevistas exhaus-tivas a administra-dores de distrito

Distrito escolar Anlisis CUANT de registros escolares

Muestra de clases y docentes

Observaciones CU-ANT del nmero de alumnos que reciben comidas y asisten a la escuela

Entrevistas exhausti-vas a docentes sobre cmo los programas de alimentacin afectan la asistencia

Muestra de familias

Entrevistas exhaus-tivas a familias y ob-servacin de nios, por ejemplo cuando viajan a la escuela

Encuesta CUANT a hogares

Muestra de alumnosAdministracin de encuesta CUANT a muestra de alumnos

Entrevistas de grupo de discusin a alumnos

Entrevistas exhaus-tivas con adminis-tradores y directores escolares

Anlisis CUANT de asistencia y resultados de exmenes

Muestra de escuelas

Mtodos cualitativos

Mtodos cuantitativosNivel

Figura 5. Diseo de mtodos mixtos en varios niveles: Evaluacin de los efectos de un programa de alimentacin escolar en la asistencia y el desempeo


que un enfoque CUANT puede probar a travs de datos recolectados en una encuesta de muestra.

Muestreo. Por lo general, las evaluaciones CUAL utilizan una cantidad relativamente pequea de temas seleccionados delibera-damente (muestreo terico) para garantizar que se incluyan todos los grupos impor-tantes. Por el contrario, las evaluaciones CUANT habitualmente usan una muestra seleccionada al azar, lo que permite la generalizacin en poblaciones ms grandes y la comparacin estadstica de diferentes grupos (por ejemplo, los grupos del proyec-to y de comparacin). El muestreo de MM utiliza el mismo marco de muestreo para generar una muestra de encuesta CUANT extensa y seleccionar una muestra pequea pero representativa para un anlisis CUAL exhaustivo. Garantizar que las muestras CUAL sean razonablemente representativas del total de la poblacin de muestra es una de las contribuciones ms importantes de los dis-eos de MM. El ejemplo de la evaluacin de los centros de salud ilustra cmo se pueden complementar los enfoques CUANT y CUAL aplicados al muestreo. El Anexo 6 resume las diferencias entre las estrategias de muestreo CUANT y CUAL.

Diseo de evaluacin. La mayora de las evalua-ciones CUANT emplean uno de una pequea cantidad de diseos aleatorios o cuasiexperi-mentales. Siempre que sea posible, se entre-vista a las muestras representativas del pro-yecto y a los grupos de comparacin en dos o ms puntos durante el transcurso del proyecto para comparar los cambios en resultados o indicadores de impacto. Por el contrario, las evaluaciones CUAL tratan de describir proce-sos constantes de cambio que a menudo son afectados por diferentes factores y que afectan a diferentes individuos o grupos en diferentes

maneras. Algunas evaluaciones CUAL procu-ran entender el programa a travs del anlisis de relaciones entre muchos elementos diferen-tes de la comunidad u otro entorno en el que funciona el programa, mientras otros adoptan un foco de atencin ms profundo en temas individuales sin necesariamente centrarse en el contexto ms amplio. En algunas evaluacio-nes bien financiadas, el evaluador puede vivir en la comunidad o visitarla con frecuencia durante un tiempo, pero en la mayora de los casos esto no es posible, y se pone el nfa-sis en los grupos de discusin, entrevistas exhaustivas, informantes clave, etc. Por lo general, las evaluaciones CUAL no tratan de establecer una relacin de causa y efecto direc-ta entre las intervenciones del proyecto y los resultados. Una de las muchas maneras en las que se pueden combinar dos enfoques es em-plear mtodos CUAL para estudiar el proceso de implementacin del proyecto y la influencia de variables contextuales en el rendimiento del proyecto en algunas de las comunidades don-de se est realizando una encuesta CUANT a los participantes del proyecto.6

Mtodos de registro y recoleccin de datos. La Tabla 2 enumera algunas de las tcnicas CUANT y CUAL de recoleccin de datos ms usadas. Mientras que las evaluaciones CUANT recolectan datos numricos estandarizados, las evaluaciones CUAL a menudo utilizan m-todos de recoleccin de datos menos estruc-turados que proporcionan mayor flexibilidad y procuran entender las complejidades de una situacin. Aunque la ventaja de los mtodos CUANT de recoleccin de datos es que produ-cen datos estandarizados que miden cambios en el tiempo o entre grupos, estos mtodos

6 Existe una cantidad de tcnicas para transformar descripciones CUAL de factores contextuales en variables CUANT (por ejemplo, variables ficticias [Dummy]) que se pueden incorporar al anlisis de regresin (consulte la Tabla 4).


no son adecuados para obtener informa-cin sobre temas sensibles o para entrevis-tar grupos que son difciles de abordar. La recoleccin de datos con MM saca provecho de las ventajas de los datos CUANT, a la vez que examina con mayor profundidad, obtiene datos sensibles y estudia procesos y el cambio de comportamiento.

Triangulacin. Una caracterstica clave de los MM es el uso sistemtico de la trian-gulacin (Anexo9). Mientras que tanto los evaluadores CUAL como CUANT utilizan la triangulacin para obtener dos o ms estima-ciones independientes de variables de resul-tados clave, los MM tienden a utilizarla ms sistemticamente y como parte integral del diseo de la evaluacin.

Las evaluaciones CUANT utilizan la triangulacin para incluir verificaciones de coincidencias en los instrumentos de encuesta o para comparar

fuentes de datos secundarias con la informacin provista por los encuestados. Las evaluaciones CUAL emplean la triangulacin de una manera ms general, pero generalmente con un nfasis en profundizar y ampliar la comprensin a travs de las diversas perspectivas obtenidas de dife-rentes fuentes de informacin, en lugar de una verificacin de coincidencias. Los diseos de MM triangulan estimaciones CUANT y CUAL (consulte la Tabla 3). Los MM utilizan la informacin obte-nida a travs de la triangulacin para: aumentar la confiabilidad y la validez de las estimaciones de indicadores clave al comparar informacin de diferentes fuentes; profundizar la comprensin del significado de las relaciones estadsticas identifica-das en el anlisis cuantitativo y garantizar que se capten y se comparen las perspectivas de todas las partes interesadas clave, con particular nfasis en grupos pobres y vulnerables. Si las estimaciones obtenidas de diferentes fuentes coinciden, esto aumenta la validez y la credibilidad de los datos,

Tabla 2. Mtodos CUANT y CUAL de recoleccin de datos ms usados

CUANT CUAL

Encuestas estructuradas de hogares, granjas, usuarios de servicios pblicos, etc.

Guas de observacin estructuradas Medidas antropomtricas de altura y peso Anlisis de HIS y anemia mediante exmenes

y recoleccin de muestras de sangre Recuentos automticos (por ejemplo, perso-

nas que ingresan a un edificio)

Anlisis sociomtrico** GIS (generacin y anlisis de mapas de

GPS)** Programa Sistema de Informacin para la

Gestin sobre datos de entradas y salidas Revisin de datos institucionales: historias

clnicas, registros escolares, etc. **

Entrevistas exhaustivas Informantes clave Observaciones de participantes Observaciones de no participantes** Estudios de caso Entrevistas al salir los cliente** Estudios de pacientes ficticios Grabacin de videos o audio** Fotografa Anlisis de documentos** Artefactos Entrevistas grupales (p.ej., grupos de discusin, reuniones de la

comunidad)** Tcnicas grupales participativas (p.ej., evaluacin rural significativa,

cambios ms importantes) Entrevistas por Internet

Tcnicas de encuesta para estudiar la formacin de grupos, cmo se difunde la informacin, identificacin de lderes de opinin y otros patrones de organizacin social en un grupo o en una comunidad.

** Indica que estas tcnicas se pueden utilizar tanto cuantitativa como cualitativamente. Estn ubicadas en la columna correspondiente al mtodo que las utiliza ms comnmente.


particularmente de las estimaciones basadas en muestras pequeas, y produce estimaciones ms confiables que si todos los dems recursos se hubieran invertido en una tcnica particular, como la encuesta a los hogares.

Anlisis de datos. Los evaluadores CUAL emplean una amplia variedad de mtodos de anlisis de datos para identificar patrones y relaciones generales a fin de obtener una visin holstica de las complejas interacciones entre un proyecto y el entorno en el cual est insertado. El objetivo del anlisis CUANT, por otro lado, es describir las caractersticas es-tadsticas de variables clave para determinar

la importancia estadstica de las diferencias entre el grupo del proyecto y el grupo de com-paracin, e identificar factores que contribu-yen a la magnitud y direccin del cambio. El anlisis de datos con mtodos mixtos emplea anlisis CUAL para tratar de comprender el significado que otorgan los diferentes suje-tos o grupos a las asociaciones estadsticas halladas en el anlisis CUANT y para pro-porcionar casos y ejemplos a fin de ilustrar los hallazgos. Por otro lado, se puede usar el anlisis CUANT para evaluar cmo los casos incluidos en los estudios CUAL representan al total de la poblacin de inters y qu sectores no se incluyeron.

Tabla 3. Tipos diferentes de triangulacin utilizados en evaluaciones con mtodos mixtos

Mtodo Ejemplos

Uso de diferentes marcos conceptuales

Comparar marcos de anlisis feministas, de derechos humanos, de exclusin social o econmicos (p.ej., costo-beneficio)

Diferentes mtodos de recoleccin de datos

Comparar encuestas estructuradas, observaciones directas, datos secundarios, artefactos

Diferentes entrevistadores

Comparar sexo, edad, origen tnico, condicin econmica, vestimenta, lenguaje del entrevistador, etc., en las respuestas

Diferentes momentos Comparar respuestas u observaciones en diferentes momentos del da, das de la semana, pocas del ao

Diferentes lugares y contextos

Comparar respuestas y observaciones cuando las entrevistas se realizan en el hogar en presencia de otras personas, en lugares donde el entrevistado puede hablar con mayor libertad, en la calle y otros lugares pblicos, en el trabajo, en el aula


Tabla 4. Ejemplos del anlisis de datos con mtodos mixtos

Enfoque Descripcin Ejemplo

A. Anlisis paralelo de datos con mto-dos mixtos

Esto incluye dos procesos de anlisis independientes: los datos CUANT se analizan utilizando mtodos CUANT convencionales (como tablas de frecuencia, tablas cruzadas, anlisis de regresin, etc.) mientras que se realiza otro anlisis independiente de datos CUAL utilizando mtodos CUAL, como el anlisis del contenido. Luego se comparan los hallazgos de los dos conjuntos de anlisis.

En la Evaluacin de la pobreza de 2003 del Banco Mundial en Guatemala, equipos independientes fueron los responsables de recolectar datos CUAL y CUANT. El anlisis CUAL se realiz en 5 pares de pueblos, que representaban los principales grupos tnicos. Los datos CUANT del mismo conjunto de pueblos se analizaron por separado y los dos conjuntos de datos se integraron solo en la etapa final del anlisis. La combinacin de los dos anlisis independientes proporcion un contexto poltico e histrico ms amplio para comprender los impactos del funcionamiento del programa (Teddlie y Tashakkori [2009] Cuadro 11.5).

B. Anlisis de datos con m-todos mixtos de conversin

a. Los datos CUAL se convierten en indicadores CUANT (se cuantitati-vizan) utilizando calificacin, pun-taje y escalas* para que se puedan usar tcnicas de anlisis CUANT.

b. Los datos CUANT se convierten en indicadores CUAL (se cualita-tivizan) para que se puedan usar procedimientos de anlisis CUAL.

c. a. Los datos sobre el contexto poltico, econmico, social, ambiental, legal y administrativo en el cual funciona un proyecto a menudo se presentan en for-ma cualitativa y redactada. Los indicadores se pueden cuantitativizar a travs de una conversin a varia-bles ficticias (Dummy). Por ejemplo: la economa est creciendo = 1, la economa no est creciendo = 0. Estas variables ficticias se pueden incorporar al anlisis de regresin.

d. b. En la Figura 4, una tipologa cuantitativa de agricul-tores se podra cualitativizar al elaborar descrip-ciones redactadas de las diferentes actitudes hacia la adopcin de nuevas variedades de semillas.

C. Anlisis de da-tos secuencial con mtodos mixtos

a. Despus del anlisis de datos CUAL sigue el anlisis CUANT.

b. Despus del anlisis de datos CUANT sigue el anlisis CUAL.

c. Diseos de MM iterativos. El an-lisis incluye pasos CUANT y CUAL secuenciales.

a. a. En la Figura 3, el estudio de las estrategias de supervivencia comienza con un anlisis cualitativo de informes redactados sobre los patrones de transfe-rencias entre hogares que funcionan como soporte de hogares vulnerables. El anlisis CUAL colabora con el diseo de la encuesta CUANT de trasferencias entre hogares, que luego se analiza mediante tcni-cas economtricas.

D. Anlisis con mtodos mixtos en varios niveles

Las tcnicas de anlisis CUANT y CUAL se utilizan en diferentes niveles de un diseo de evaluacin de varios niveles.

La Figura 5 ilustra el uso de un anlisis con MM en va-rios niveles para evaluar los impactos de un programa de alimentacin escolar en el desempeo y la asisten-cia. Tanto el anlisis CUANT como el anlisis CUAL se realizaron de manera secuencial en el nivel del distrito, la escuela, el aula, el alumno y la familia. Esto permi-ti un anlisis de las conexiones entre los diferentes niveles.**

* Por ejemplo, los informes redactados acerca de las actitudes de los grupos polticos locales hacia un programa de desarrollo social se podran convertir en una escala numrica donde: 3 = el grupo poltico tiene una actitud favorable hacia el programa; 2 = el grupo poltico no est a favor ni se opone y 1 = el grupo se opone al programa. La calificacin, el puntaje o las escalas son maneras un tanto diferentes de realizar la conversin.

** Por ejemplo, el anlisis de los registros en el nivel del distrito puede identificar las escuelas que estn por encima o por debajo de los promedios de asistencia o puntajes de desempeo. Esta informacin se puede utilizar para seleccionar las escuelas por encima y por deba-jo del promedio que se incluirn en la muestra. De manera similar, se podran utilizar entrevistas exhaustivas con docentes para seleccionar una muestra de alumnos con caractersticas particulares de inters para incluirlos en los grupos de discusin.

Fuente: Adaptado de C. Teddlie y A. Tashakkori 2009, Foundations of Mixed Methods Research (Fundamentos de la investigacin con mtodos mixtos). Captulo 11, Sage Publications (con autorizacin). La mayora de los ejemplos fueron desarrollados por este autor.


Parte III: Aplicaciones de los diseos de mtodos mixtos

3.1. Estrategias de muestreo para evaluaciones con MM orientadas CUANT y CUAL

Modelo 1: Uso de mtodos mixtos para afianzar una evaluacin principalmente CUANTCon la mayora de los diseos de evaluacin CUANT, las encuestas de muestras se administran antes y despus de la intervencin del proyecto con un grupo de control o de comparacin. El tamao de muestra requerido para las encuestas CUANT se calcula a travs de la dimensin del efecto y la capacidad estadstica.7 Los mtodos CUAL se pueden emplear para afianzar el diseo en uno o ms de los siguientes puntos:

Estudios exploratorios o diagnsticos para comprender el contexto y los problemas antes de desarrollar los instrumentos de la encuesta. Estos pueden ser estudios cualita-tivos rpidos con una duracin de solo unos das o estudios ms prolongados en los que un antroplogo o socilogo se queda a vivir en una comunidad durante un perodo de semanas o meses. En un proyecto grande, que funciona en diferentes regiones geogrfi-cas o ecolgicas, podran necesitarse estudios diagnsticos en una cantidad de regiones o comunidades diferentes. A veces, los estudios sern llevados a cabo por un investigador solo

7 La dimensin del efecto se refiere a la dimensin del cambio o del impacto que se calcula. Cuanto mayor es el cambio que se es-tima, menor es el tamao requerido para la muestra. La capacidad estadstica se refiere a la probabilidad de que la prueba estadstica identifique correctamente que existe un impacto real. Cuanto ms alto es el nivel de confianza requerido, mayor deber ser el tamao requerido para la muestra. Consulte Bamberger et al 2012, Captulo 15, Seccin 4 para obtener un anlisis de la estimacin del tamao de la muestra.

(un investigador por comunidad o regin) mientras que en otros casos el investigador principal podra recibir ayuda de un equipo de asistentes para realizar encuestas rpidas o estudios de observacin de participantes o no participantes sobre, por ejemplo, sistemas de transporte de la comunidad, el uso del tiempo por parte de las mujeres, o sistemas de produccin y marketing. Aunque los estudios pueden tardar varios das o semanas, la uni-dad de muestreo primaria, por lo general, ser una comunidad o un grupo, y normalmente solo se estudiarn algunos grupos o comu-nidades. No obstante, es posible entrevistar a grandes cantidades de personas utilizando tcnicas de recoleccin de datos no estruc-turados o semiestructurados y, en algunos casos, tambin se pueden realizar encuestas de muestras rpidas.

Grupos de discusin formados por diferentes segmentos de la poblacin objetivo. Estos pueden llevarse a cabo durante la etapa pre-paratoria de la evaluacin o despus de que se hayan analizado las encuestas cuantitativas y se hayan identificado los grupos de inters principales. Idealmente, se debern realizar tres o cuatro grupos de discusin con cada grupo econmico o demogrfico de inters para la evaluacin (Teddlie y Tashkkori 2009, Tabla 8.5), aunque la cantidad de grupos, por lo general, es menor cuando se trabaja con limitaciones de tiempo y de presupuesto.

Se pueden agregar mdulos semiestructu-rados y especializados a una encuesta de muestra, y administrar a una submuestra de encuestados. Por ejemplo, se puede


administrar la encuesta principal al jefe/a del hogar (quien en muchas culturas suele ser un hombre), pero en una submuestra de hogares se puede entrevistar al cnyuge. A veces, el mismo entrevistador puede administrar el mdulo especial al cnyuge (u otro integran-te del hogar), pero en muchos casos ser necesario preparar una entrevista aparte, a menudo en un lugar o en un momento cuan-do el marido u otros integrantes del hogar no estn presentes. Por lo general, los mdulos se administran del 10 al 25 por ciento de la muestra original.

Preparacin de estudios de caso para com-plementar la encuesta. A menudo, resulta til preparar estudios de caso en una muestra pe-quea de encuestados para proporcionar una comprensin ms acabada de los temas de inters para la evaluacin. Por ejemplo, en la evaluacin de un programa de agricultura, se podran elaborar estudios de caso con el fin de ilustrar diferentes clases de sistemas agrcolas. Para un proyecto educativo, los casos podran comprender familias con ingresos ms altos y ms bajos, familias que viven cerca y lejos de la escuela o familias de diferentes grupos tnicos o religiosos. Una vez ms, el nmero de casos normalmente ser bastante reducido, aunque la duracin puede ser bastante prolon-gada. Cuando se preparan estudios de caso en organizaciones (como escuelas o coopera-tivas agrcolas) o comprenden comunidades enteras (por ejemplo, para ilustrar los efectos de sistemas de transporte mejorados), el estudio ser ms complicado y, por lo general, se entrevistar a una cantidad significativa de personas para cada caso.

Modelo 2: Uso de diseos de mtodos mixtos para afianzar una evaluacin CUALLos diseos de mtodos mixtos tambin se

pueden usar para afianzar una evaluacin CUAL que utiliza grupos de discusin, observaciones de participantes, observaciones de no participantes y preparacin de estudios de caso. Un desafo para muchos de estos diseos es el peligro de la parcialidad si las muestras de individuos o grupos no son representativas. Por ejemplo, a menudo las personas que asisten a los grupos de discusin son aquellas que estn muy a favor o en contra de un proyecto, aquellas que tienen el tiempo y los recursos para participar (pueden tener que hacer arreglos de transporte), o bien, en algunos casos (por lo general, sin que lo sepa el evalua-dor), algunos participantes pueden ser enviados por el gobierno local u otro grupo con un inters particular. En consecuencia, es difcil incorporar mucha informacin valiosa y esclarecedora al informe de evaluacin de una manera creble. De modo similar, muchos investigadores se sienten ms cmodos al hablar con ciertos grupos que con otros; es as que puede haber cierta parciali-dad en la seleccin de los estudios de caso. Por lo general, la muestra es relativamente pequea pero la cantidad de entrevistas vara segn el tamao de la poblacin estudiada y el nivel de precisin requerido para los hallazgos.8

8 Consulte Bamberger et al. 2012, Tabla 15.6, p. 389 si desea obtener reglas generales para calcular el tamao de las muestras para diferentes clases de mtodos de recoleccin de datos CUAL. No obstante, el tamao de las muestras vara segn el tamao y la complejidad del programa que se est evaluando y el nivel de precisin requerido para las estimaciones. Si se deben realizar generalizaciones a partir de los estudios de caso, grupos de discu-sin u otros mtodos, es importante asegurar que se seleccionen casos que sean razonablemente representativos y tambin que se incluyan suficientes casos para que los hallazgos se consideren crebles. De modo que, aunque uno o dos casos puedan ser va-liosos para ilustrar procesos o comportamientos, rara vez resulta apropiado utilizar una muestra tan pequea para realizar afirma-ciones como La mayora de los agricultores sintieron que o La mayora de las madres crean que los centros de salud. No es posible usar procedimientos estadsticos convencionales para calcular el tamao de muestra apropiado con una cantidad tan reducida de casos, de modo que, inevitablemente, la opinin se debe combinar con la consulta a las partes interesadas respecto de qu tamao de muestra se considerara razonable o creble.


El muestreo con mtodos mixtos garantiza que se seleccionen casos CUAL e informantes que sean representativos en lneas generales de la poblacin total. Esto afianza la validez de los hallazgos gene-rales. Las tcnicas cuantitativas, como una encuesta de muestra rpida, pueden ser una forma til de comparar las caractersticas socioeconmicas de los individuos o grupos incluidos en los estudios cualitativos con las caractersticas de la poblacin total. Por lo general, el tamao de muestra CUANT es relativamente pequeo, ya que la encuesta solo se utiliza para garantizar que los estudios de caso u otros datos CUAL sean razonablemente repre-sentativos. Pero si se requieren estimaciones ms precisas, se pueden emplear los procedimientos de clculo del tamao de la muestra analizados en la seccin anterior.

Modelo 3: Uso de un diseo de mtodo mixto equilibrado (integrado)Aunque en la mayora de los casos, los diseos de mtodo mixto se utilizan para complementar un diseo predominantemente CUANT o CUAL, hay casos en los se podra utilizar un diseo de mto-do mixto integrado que otorgue igual importancia a ambos enfoques. Estos diseos pueden consistir en la combinacin de tcnicas cuantitativas y cua-litativas, adems de tcnicas de mtodos mixtos especficos, en diferentes etapas de la evaluacin. La estimacin de los tamaos de muestra reque-ridos debe combinar los procedimientos CUANT para las encuestas de muestra y la reglas generales analizadas en la seccin anterior para los compo-nentes CUAL. La combinacin de ambos requiere un criterio basado en la experiencia. El ejemplo 3 de la Parte V describe un diseo de MM equilibra-do (integrado) utilizado para evaluar un programa en la India a gran escala cuya finalidad es aumen-tar la capacidad de las comunidades para admi-nistrar subvenciones de los gobiernos estatales. Las encuestas de muestra, utilizadas para obtener estimaciones cuantitativas de los resultados de

un programa, se combinaron con la recoleccin de datos cualitativos a travs de visitas peridicas a una muestra de comunidades del proyecto y de control para observar los procesos de cambio y para realizar entrevistas en una pequea muestra de hogares, as como a funcionarios locales y a informantes clave. Se emple el mismo marco de muestreo tanto para las muestras CUANT como las CUAL, y se seleccionaron estas ltimas para garantizar que fueran representativas.

3.2. Uso de mtodos mixtos para evaluar intervenciones complejas

Por lo general, se define a las intervenciones de desarrollo complejas9 como intervenciones que tienen algunas de las siguientes caractersticas:

Planificacin y evaluacin dirigidas por el pas. El programa progresa de una manera no lineal. Muchos componentes o servicios y varios

objetivos. Hay resultados cuantitativos y cualitativos. Las poblaciones objetivo son difciles de iden-

tificar o controlar. Se brinda apoyo presupuestario general sin

una definicin clara de los servicios que se financiarn.

Varios donantes y agencias. Se emplean procesos de implementacin y

planificacin participativa y, por consiguiente, los resultados e impactos son difciles de de-finir de manera anticipada y pueden cambiar constantemente.

El contexto es complejo. La situacin cambia de manera constante

y la intervencin trata de adaptarse a estos cambios.

9 Para obtener ms informacin sobre intervenciones complejas y su evaluacin, consulte Funnell y Rogers (2011), Patton (2011) y Bamberger et al, (2012), Captulo 16.


Existen procesos complejos de cambio de comportamiento que abarcan a la poblacin objetivo, los proveedores de servicios y otras agencias, por ejemplo, la polica, el ejrcito y el poder judicial (Seccin 3.3).

Mientras que algunas intervenciones com-plejas son extensas, otras son relativamen-te reducidas pero comprenden procesos complejos de cambio de comportamiento o poblaciones que son difciles de identificar o estudiar.

Los diseos de mtodos mixtos son aptos para evaluar las intervenciones complejas, ya que se puede combinar el diseo estandarizado, la recoleccin de datos y el anlisis con herramien-tas que pueden captar las complejidades del entorno del programa, la naturaleza cambiante de este y los resultados y procesos de cambio de comportamiento deseados que estn teniendo lugar. Tambin es posible combinar las pers-pectivas de diferentes partes interesadas con indicadores cuantitativos objetivos, y existe

una variedad de herramientas CUAL para reco-lectar datos sensibles de poblaciones difciles de abordar. Al mismo tiempo, los MM ofrecen maneras de calcular los impactos cuantitativos de la forma ms creble posible en circunstan-cias difciles y de utilizar la triangulacin para aumentar la validez del constructo de los resul-tados calculados y de la interpretacin de lo que realmente est sucediendo en el terreno.

La Figura 6 resume la amplia variedad de herra-mientas y tcnicas a las que puede recurrir un diseo de MM al seleccionar el diseo apropiado para evaluar una intervencin compleja (todas las tcnicas enumeradas en esta figura se describen en el Anexo 7. Un elemento central del enfoque de mtodos mixtos es ampliar las maneras en las que se puede definir y calcular lo contrafactual.10 Lo anterior se hace en dos pasos.

10 La GO1 (p. 1) define lo contrafctico como un clculo de lo que habra pasado si la intervencin no hubiese ocurrido [] por ejemplo, comparaciones con un grupo que no recibi la interven-cin.

CUADRO 3. ANLISIS DE ATRIBUCIN, CONTRIBU-CIN Y SUSTITUCIN

Aunque la evaluacin del proyecto a veces puede aplicar diseos experimentales o cuasiexperimentales que puede controlar para brindar explicaciones alternativas de los cambios observados (resultados o impactos) en el grupo del proyecto, rara vez es posible lograr el mismo nivel de rigor en la evaluacin de los efectos de intervencio-nes complejas. En consecuencia, los evaluadores de los efectos de intervenciones complejas deben decidir cul de los siguientes niveles de anlisis se pueden aplicar:

Anlisis de atribucin: se establece correspondencias entre el grupo del proyecto y el grupo de comparacin de modo que se pueden controlar (eliminar) las explicacio-nes alternativas de los cambios observados. Si hay dife-rencias estadsticamente significativas entre el grupo del proyecto y el grupo de comparacin, esto se toma como evidencia de que la intervencin del proyecto contribuy a estos cambios.

Anlisis de contribucin: el anlisis evala la contri-bucin de una agencia de desarrollo particular al logro de los cambios generales que son el resultado de las intervenciones financieras y tcnicas de una cantidad de agencias de desarrollo diferentes que ofrecen su colaboracin. A veces, el anlisis tambin incluir los programas de agencias nacionales (gubernamentales y de la sociedad civil).

Anlisis de sustitucin: se realiza una evaluacin del aumento neto en recursos en el programa o sector objeti-vo que resulta de la contribucin de una agencia de desa-rrollo en particular. Esto tiene en cuenta las desviaciones de recursos a otras actividades por parte del gobierno nacional (reduciendo el aumento neto en recursos) o cualquier efecto multiplicador (incrementando el aumen-to en recursos).

Fuente: adaptado de Bamberger et al 2012, Cuadro 16.3 pp. 403-4.


Nota: Todas las tcnicas enumeradas en esta tabla se explican en el Anexo 7

Tcnicas para afianzar los diseos contrafactualesDesglose de programas complejos en componentes

evaluablesAnlisis de carteraReconstruccin de datos de baseUso creativo de datos secundariosAprovechamiento de otros estudiosTriangulacin.

Mtodos cuantitativosDiseos experimentales y

cuasiexperimentalesDiseo en desarrolloAsignacin de conceptosAnlisis estadstico de pases

de comparacinTarjetas de informes de

ciudadanos y encuestas al consumidor

Anlisis de redes sociales

Enfoques inducidos por la teoraModelos lgicosAnlisis histricosTeora de eliminacin general

Los diseos de mtodos mixtos emplean y combinan todos estos enfoques

Mtodos cualitativosEvaluacin realistaEvaluacin rural participativa

y otras tcnicas de grupo participativas

Anlisis estadstico de pases de comparacin

Comparacin con otros sectores

Criterio de expertosInformantes claveComparaciones con el sector

pblicoSeguimiento de gasto pblico

Escalas de calificacinCriterios de OECD/DAC 5Muchas agencias utilizan

una versin modificada1. Niveles de anlisis (segn el grupo de com-paracin disponible)

Anlisis de atribucinAnlisis de contribucinAnlisis de sustitucin

2. Enfoque para definir lo contrafactual

EstadsticoBasado en la teoraParticipativo Escalas de calificacin

DEFINICIN DE LO CONTRAFACTUAL

Figura 6. Uso de diseos de mtodos mixtos para evaluar intervenciones complejas


Paso1: Segn el tipo de grupo de comparacin que est disponible, la evaluacin realizar el anlisis en uno de los siguientes niveles11 (consulte el Cuadro 3):

Anlisis de atribucin Anlisis de contribucin Anlisis de sustitucin

Luego, el Paso 2 selecciona el enfoque, o la combi-nacin de enfoques, que se utilizar para definir y calcular lo contrafactual:

Grupo de comparacin estadstica: se utiliza un grupo de comparacin o control estadstica-mente correspondiente.

Basado en la teora: el proceso de implemen-tacin y los resultados definidos en la teora de cambio se comparan con lo que se obser-va en el terreno. Cuanto ms estrecha es la correspondencia entre la realidad y la teora de cambio, ms fuerza cobra el supuesto de que la intervencin contribuy a los resultados. No obstante, tambin es importante definir y comprobar explicaciones alternativas de los cambios observados (hiptesis rival).12

Basado en la participacin: los efectos del programa se calculan a travs de la evaluacin por parte de los beneficiarios a quienes est dirigido el programa y otras partes interesa-das. Un ejemplo de este enfoque es el Cambio

11 Consulte la GO1, seccin 9, para obtener ms informacin sobre una amplia variedad de enfoques para evaluar la atribucin y la contribucin. Bamberger el al (2012) pp. 403-405 proporciona un debate ms extenso que incluye un anlisis de sustitucin.

12 Un punto dbil de muchas teoras de cambio es que no iden-tifican explicaciones alternativas de los resultados observados. Si los cambios coinciden con la teora de cambio, esto se toma como evidencia de que los cambios se pueden atribuir a los efectos del proyecto, lo que no es una conclusin vlida. Una teora de cam-bio debera identificar explicaciones alternativas (hiptesis rivales) y crear en el modelo formas de comprobar estas explicaciones rivales de las causas de los cambios observados.

ms importante, y otro es el uso de la eva-luacin rural participativa, adems de otras tcnicas de anlisis de grupo.

Escalas de calificacin: se les pide a expertos o a partes interesadas que califican el funciona-miento del programa o el grado de cambio pro-ducido por la intervencin segn un conjunto de escalas de calificacin. Las escalas del DAC y de la OECD para evaluar la relevancia, la efi-ciencia, la efectividad, el impacto y la sostenibi-lidad son un ejemplo de escalas de calificacin de uso comn.

Los diseos de mtodos mixtos pueden combi-nar, segn corresponda: enfoques inducidos por la teora, enfoques cualitativos y estadsticos, y escalas de calificacin. El Anexo 7 enumera la variedad de opciones disponibles para cada uno de estos enfoques. Se puede emplear una cantidad de tcnicas para afianzar el diseo contrafactual (desglose de intervenciones complejas, anlisis de cartera, reconstruccin de datos de base, uso creativo de datos secundarios y aprovechamiento de otros estudios). La validez del constructo de las estimaciones de todas estas fuentes se refuerza por medio de la triangulacin.

No existe un nico enfoque que sea el ms indicado para una evaluacin con mtodos mixtos, ya que los evaluadores deben seleccionar un conjunto de herramientas y tcnicas que sean las ms adecua-das segn las limitaciones polticas, de presupues-to, de tiempo y de datos, y los objetivos de cada evaluacin. Los estudios de caso enumerados en la Parte V ilustran la variedad de enfoques de mtodos mixtos que se utilizaron para diferentes evaluacio-nes. La creatividad, el conocimiento de una amplia variedad de enfoques CUANT, CUAL y basados en la teora, y la predisposicin para recurrir a dife-rentes disciplinas son requisitos esenciales de las evaluaciones con mtodos mixtos.


3.3. Evaluacin de procesos de cambio de comportamiento

Existen muchos proyectos en los que el proceso de implementacin est menos definido y es menos lineal de lo que pareca al principio. Esto significa que la evaluacin de impacto debe tener en cuenta estos procesos de cambio de compor-tamiento, ya que a menudo generan programas que tienen una cantidad de resultados e impactos no deseados. Estos son algunos de los motivos por los que esto ocurre:

En la mayora de los casos, los supuestos be-neficiarios deciden activamente si participarn o no en el programa y, a menudo, elijen qu servicios utilizarn y cules no.

Por lo general, los programas se modifican segn la manera en que los beneficiarios ini-ciales perciben y responden a los servicios y las opiniones que brindan a otros. Muchos diseos de programas se modifican como resultado de estas interacciones dentro de la poblacin objetivo y entre la poblacin y los prestadores de servicios (consulte el Cuadro 4).

El personal del proyecto tiene una actitud pro-pia hacia diferentes grupos, creencias sobre

quines se beneficiarn y quines no, y una manera propia de interactuar con la comuni-dad.13 Aunque el personal reciba una capaci-tacin rigurosa, cada persona reaccionar de una manera levemente distinta.

Cada proyecto funciona en un entorno nico donde la implementacin y los resultados son afectados por un conjunto nico de factores sociales, econmicos, polticos, ambientales y legales, entre otros.14

13 Una revisin de los factores que afectan el xito de los sistemas educativos estatales brasileros en aumentar el acceso de las familias de bajos ingresos determin que muchos docentes crean que los nios de hogares pobras tenan una alta probabilidad de abandonar la escuela, e incluso si continuaban en la escuela, tendran malas notas y mala disciplina. Por consiguiente, muchos docentes no sentan que valiera la pena el esfuerzo de ayudar a alentar a nios de hogares pobres. Bamberger y Segone (2011) ale-gan que muchas causas de inequidad se determinan socialmente ya que los gobiernos y la opinin pblica pueden no desear alentar el acceso de diferentes grupos de inmigrantes o minoras tnicas a los servicios pblicos.

14 El anlisis de sistemas proporciona marcos tiles para com-prender el funcionamiento de estos actores contextuales y tambin para entender cmo la historia afecta las actitudes y expectativas de las partes interesadas y las comunidades con respecto a las nuevas intervenciones del proyecto. El espacio no permite tratar el anlisis de los sistemas. Si desea obtener una breve introduccin al anlisis de sistemas y cmo puede utilizarse en la evaluacin de impacto, consulte Bamberger (2011), How to design and manage equity focused evaluations (Cmo disear y administrar evaluacio-nes orientadas al capital), Seccin 5.2.C.

CUADRO 4. LOS RESULTADOS DEL PROGRAMA SE VEN AFECTADOS POR LA MANERA EN QUE LOS BENEFICIARIOS RESPONDEN A LOS SERVICIOS Y CMO REACCIONA EL PERSONAL ANTE LAS RES-PUESTAS DE LOS BENEFICIARIOS. ESTUDIO DEL CAMBIO DE COMPORTAMIENTO EN UN PROGRA-MA DE ALIMENTACIN ESCOLAR EN NICARAGUA.

Se organiz un programa de desayuno escolar en una zona rural inseguro respecto de los alimentos en Nicaragua para aumentar la matrcula escolar. En algunas escuelas, los docentes tambin alimentaban a los hermanos ms pequeos que llegaban con las madres que llevaban a los alumnos a la escuela. Se corra la voz entre las madres y a medida que la aumentaba la cantidad de hermanos, algu-nos docentes les daban el desayuno a todos los hermanos y otros docentes no lo hacan. La decisin dependa en gran medida no solo de la actitud de cada docente, sino tambin de la predisposicin de las madres a preparar los desayu-nos y de los agricultores locales, a donar ms alimentos. En algunas comunidades, estas respuestas de comporta-

miento transform el programa de desayuno escolar en un programa de nutricin importante que implic la moviliza-cin de alimentos de los agricultores locales, hombres que ayudaban a transportar grandes cantidades de alimentos, la construccin de cocinas escolares y, en algunos casos, la instalacin de energa elctrica en las aulas, mientras que las madres organizaban los desayunos y, a veces, hacan huertas escolares. Los resultados finales en cada escuela y las lecciones aprendidas solo se pudieron determinar me

Documents

3 - Mixed Methods in Impact Evaluation (SPANISH)