Guía del Programa de Entrenamiento - OPS · herramientas utilizados en la evaluación de programas de salud mental y adicciones se considera un aspecto altamente importante

Guía del Programa de Entrenamiento:

“Hacia el fortalecimiento de los Sistemas de Salud:

Desarrollo de Capacidades Institucionales en

Evaluación de Iniciativas de Salud Mental y Adicciones”

Harry Cummings and Agencia Acreditadora Universidad Católica Universidad Católica Associates para la calidad de de Chile. Escuela de Chile. Depto. de

la Educación Superior de Psicología Medicina Familiar

Septiembre 2008 - Agosto 2009

Harry Cummings and Associates

Harry Cummings

Director

Susan Healey Docente

Escuela de Psicología, U. Católica de Chile

y Agencia QUALITAS

Judith Scharager Docente

Departamento de Medicina Familiar, U.

Católica de Chile

Fernando Poblete Apoyo Coordinación en Chile

Oficina Internacional, Centre for Addiction and Mental Health,

CAMH

Akwatu Khenti Director

Jaime Sapag

Docente y Coordinador General

Paulina Delgado Coordinadora Logística

Carlos Palos

Soporte Informático

1

Introducción 2 Presentación General del Curso 3-6 I. Salud Mental y Adicciones en los Sistemas de Salud: La Necesidad de Evaluación. 7-13 II. Aspectos Generales para la Evaluación de Programas. 14-21 III. Modelos de Evaluación de Programas. 22-24 IV. Marco Lógico. 25-29 V. Bases de una Evaluación . Identificación del Problema, Necesidades y Antecedentes para Implementar una Evaluación. 30-36 VI. Objetivos y Pregunta de Evaluación. 37-40 VII. Diseño de Evaluación. 41-47 VIII. Métodos de Recolección de Datos. 48-52 IX. Metodología Cualitativa en Evaluación. 53-56 X. Metodología Cuantitativa en Evaluación. 57-66 XI. Gestión y Logística en Evaluación 67-73 Currículum del Equipo Docente 74-76 Bibliografía General Complementaria 77-78

Un especial agradecimiento al Dr. Paul Garfinkel, Presidente de CAMH, por su apoyo a ésta y a otras iniciativas de colaboración Internacional.

Igualmente se agradece a Katherine Lo y a Sirad Mohamoud del equipo de la Oficina

de Salud Internacional de CAMH, por su contribución a ésta iniciativa.

ÍNDICE

2

El Centro de Addicciones y Salud Mental (CAMH), de Ontario, Canadá, con el apoyo de Harry

Cummings y Asociados (Ontario, Canadá), Qualitas (Agencia Acreditadora para la Calidad de la

Educación Superior, Santiago, Chile), la Escuela de Psicología de la P. Universidad Católica de

Chile, y el Departamento de Medicina Familiar de la P. Universidad Católica de Chile, se ha

dado a la tarea de implementar un programa de entrenamiento que fortalezca las competencias

básicas para el diseño y desarrollo de evaluaciones de iniciativas o programas en el campo de la

Salud Mental y Adiciones.

Para facilitar el aprendizaje de los/as participantes, se ha desarrollado una guía que compila las

síntesis de cada una de las temáticas que se abordarán durante el componente presencial de este

entrenamiento. Se espera que la misma facilite el proceso educativo e invite a revisar con más

detalle los contenidos a través de la bibliografia complementaria, en el marco de un proceso

interactivo y proactivo de enseñanza-aprendizaje.

Cabe mencionar que la guía no describe de manera exhaustiva los contenidos. Las distintas

temáticas se encuentran redactadas en términos generales, dando un marco de referencia. Se les

dará profundidad, detalle y aplicabilidad durante el momento presencial y durante la interacción

con el equipo docente en los próximos meses, a la luz de las necesidades que surjan en las

distintas evaluaciones.

INTRODUCCIÓN

3

El presente Programa de Entrenamiento está dirigido a instituciones de Chile y otros países de

América Latina, considerando las necesidades explicitadas por las entidades con que el Centre for

Addiction and Mental Health (CAMH), de Ontario, Canadá, realiza trabajo colaborativo en la

Región. Antecedentes

La prestación de servicios en atención de salud mental y adicciones es un elemento clave de

Salud Pública en todo el mundo. Tanto en los países “desarrollados” como “en desarrollo”, la

capacidad para responder adecuadamente a las necesidades de las personas con problemas de salud

mental, a menudo asociadas con el abuso de sustancias, se ve limitada por una serie de factores.

A nivel del macro-sistema, existe una necesidad de virar desde un enfoque fragmentado de salud

mental y adicciones hacia el desarrollo de servicios con una perspectiva integral de sistemas de salud,

con énfasis en atención primaria y dando fuerza a aspectos relacionados con el acceso, la calidad, así

como a la protección de los derechos humanos.

A nivel micro, una de las principales limitaciones es la insuficiente capacidad de los servicios de

salud para supervisar, evaluar y replicar las estrategias de intervención y prevención con el fin de

reducir el impacto asociado a las enfermedades de salud mental y adicciones.

Un proceso continuo de mejoramiento de los servicios de salud mental en el sistema de salud

requiere fortalecer la capacidad de evaluación, la que es fundamental para obtener resultados,

identificar las mejores prácticas, y así satisfacer las necesidades existentes en el ámbito de prestación

de servicios. De tal manera que el intercambio de conceptos y el perfeccionamiento de métodos y

herramientas utilizados en la evaluación de programas de salud mental y adicciones se considera un

aspecto altamente importante.

Existe una necesidad real por parte de las organizaciones que ofrecen servicios en el ámbito de la

Salud Mental y Adicciones, en desarrollar la capacidad institucional en materia de evaluación de

programas. Sólo así, las organizaciones estarán en mejores condiciones para asegurar la calidad

PRESENTACIÓN GENERAL DEL CURSO

4

de los servicios que sus instituciones ofrecen, facilitando así que los recursos limitados se

asignen afectivamente, y que la población se beneficie de las mejoras prácticas basadas en la

mejor evidencia disponible.

En América Latina y, específicamente en Chile, hay conciencia al respecto y CAMH ha recibido

solicitudes para avanzar colaborativamente en el ámbito de evaluación de iniciativas en salud

mental/adiciones.

Como líder en Adicciones y Salud Mental, CAMH ha reconocido sus responsabilidades de liderazgo

para compartir su conocimiento y experiencia con colegas internacionales en zonas que lo requieran,

desde una perspectiva horizontal y de mutuo aprendizaje. En junio de 2002, CAMH estableció la

Oficina de Salud Internacional (OIH) para hacer frente al creciente problema de adicciones y salud

mental a nivel mundial. Desde su creación, la OIH ha trabajado con más de 30 entidades en cinco

regiones - América del Norte, el Caribe, América Latina, África y Asia - para fortalecer los servicios

en salud mental y adicciones. El objetivo de estas iniciativas ha sido el desarrollo sostenible de

capacidades y el intercambio de conocimientos en los distintos niveles de planificación y provisión

de servicios.

Tras casi cinco años de sostenida colaboración en Chile con diferentes instituciones, (incluidas la

Corporación Municipal de Puente Alto, el Departamento de Medicina Familiar de la U. Católica, el

Ministerio de Salud de Chile, el Servicio de Salud Metropolitano Sur-Oriente, CONACE, el

Consorcio Universitario de Salud y Medicina Familiar y otras), las organizaciones asociadas han

identificado el desarrollo de las capacidades de evaluación como clave para su futuro. El déficit

actual en materia de evaluación en salud mental/adicciones representa una barrera para el

fortalecimiento del sistema de salud y sus servicios. Algunas de las organizaciones asociadas han

solicitado a CAMH apoyo para el desarrollo de capacidades en este ámbito. Instituciones de otros

países, incluyendo Argentina, Ecuador, Perú y México, también esperan avanzar en el desarrollo de

capacidades de evaluación de sus respectivos programas.

Por tal razón, como respuesta a esta necesidad manifiesta, en Junio de 2008, CAMH acordó

desarrollar un programa de entrenamiento para el desarrollo de capacidades de evaluación en

América Latina. Cabe mencionar que Harry Cummings y Asociados (HCA), en Guelph, Canada,

Qualitas (Agencia Acreditadora para la Calidad de la Educación Superior, Santiago, Chile), la

5

Escuela de Psicología y el Departamento de Medicina Familiar de la P. Universidad Católica de

Chile se encuentran contribuyendo con el diseño e implementación del proyecto.

Propósito del Curso

Contribuir al desarrollo de las competencias institucionales de evaluación en Chile y en otros

países de América Latina en el ámbito de Salud Mental y Adicciones, para el fortalecimiento de

los Sistemas de Salud.

Grupo Objetivo y Beneficiarios

El proyecto está dirigido a fortalecer las capacidades de evaluación de los profesionales que trabajan

en el ámbito de la salud y las adicciones en Chile y otros países de la Región. Los beneficiarios

directos son 20 a 45 representantes de 10 a 15 instituciones (2 a 3 representantes por cada una)

dedicadas preferentemente a la atención de Salud/Salud Mental/Adicciones.

Objetivos y Alcance del Proyecto

El programa de entrenamiento tiene por objetivo fortalecer las competencias básicas para diseñar,

desarrollar e implementar un plan de evaluación de proyectos o programas de pequeños equipos de

profesionales designados por sus instituciones. El programa de formación incluye un período de

cinco días presenciales, en Santiago de Chile (12 al 16 de Enero de 2009). Después de ello, se dará

un seguimiento a distancia por siete meses, y se proveerá apoyo para el proceso de aplicación y

realización de las evaluaciones.

El programa servirá también para probar un nuevo modelo de capacitación en evaluación para

profesionales e instituciones. El contenido y el formato del programa de capacitación será evaluado y

perfeccionado para futuras aplicaciones.

Resultados Previstos

Los participantes del proyecto fortalecerán sus capacidades para planificar y llevar a cabo un

programa de evaluación utilizando metodologías y herramientas apropiadas a su contexto y

necesidades.

6

Los participantes del proyecto llevarán a cabo una evaluación de un programa o proyecto en su

institución con el fin de identificar las prácticas más pertinentes, y así mejorar la prestación de

servicios y contribuir al soporte del programa o proyecto.

Los participantes de este entrenamiento se convertirán en agentes de cambio en sus respectivas

instituciones, ya que demostrarán y compartirán conocimientos sobre la función de evaluación en

el marco de las Adicciones, Salud Mental y, por ende, en la prestación de servicios.

7

Resumen El contenido enfatiza la relevancia y pertinencia del uso de la evaluación como

herramienta que permite mejorar la calidad de distintos procesos, específicamente en el área de Salud Mental y Adicciones en los Sistemas de Salud. Revisa el propósito y los distintos tipos de evaluación, así como los agentes que se podrían encontrar involucrados. Finalmente, describe por pasos, el desarrollo de una investigación evaluativa.

Objetivos Se espera: - Revisar, discutir y comprender aspectos centrales relacionados con la

evaluación como herramienta imprescindible en el desarrollo de las iniciativas y procesos, específicamente en los Sistemas de Salud.

Datos que Justifican la Necesidad de Evaluación

Los trastornos de Salud Mental y los problemas asociados al abuso y dependencia de

sustancias psicoactivas, constituyen un real problema de Salud Pública, que se asocia a

consecuencias negativas en cuanto a morbi-mortalidad, discapacidad y calidad de vida.

Los sistemas de salud constituyen parte de la respuesta requerida para enfrentar este

problema, tanto en la detección, tratamiento y rehabilitación, como en prevención y

promoción de salud.

Los sistemas de salud y organizaciones no gubernamentales implementan diversas

iniciativas para hacer frente a la problemática de Salud Mental y Adicciones. Es

fundamental poder evaluar dichas iniciativas, de forma tal que facilite el desarrollo de

servicios apropiados y efectivos en cada contexto.

Algunas Definiciones de Evaluación

Es el proceso de establecer juicios de valor basados en la evidencia sobre un programa o

producto (Smith & Glass, 1987).

Es el proceso de proveer de información a los que toman las decisiones (Stufflebeam).

Es comparar, en un instante determinado, lo que se ha alcanzado mediante una acción,

con lo que se debería haber alcanzado de acuerdo a una programación previa (Espinoza,

1983).

I. SALUD MENTAL Y ADICCIONES EN LOS SISTEMAS DE SALUD: LA NECESIDAD DE EVALUACIÓN.

8

Es un tipo de investigación que analiza la estructura, el funcionamiento y los resultados

de un programa, con el fin de proporcionar información de la cual se deriven criterios

útiles para la toma de decisiones en relación con su administración y desarrollo (Briones,

1985).

La evaluación no es un instrumento para controlar, sino para mejorar en la consecución

del objetivo básico. Es una herramienta de extrema utilidad en la clínica y en la gestión.

La evaluación debe ser simple y pragmática: ajustada a las limitaciones y caracterizada

por su aplicabilidad posterior.

Elementos que se Evalúan

Caso único: se focaliza en un caso individual en la práctica clínica, para generar un

feedback (retroalimentación) continuo que permite correcciones respecto al tratamiento

inicialmente diseñado.

Actividad: evaluación de un tratamiento o técnica específicos (p.ej., determinado

fármaco, prevención de recaídas, etc.)

Programa: evaluamos el tratamiento ofertado por un servicio o programa específico (p.

ej., Plan Primera Respuesta, Plan Ambulatorio, Residencial, programa depresión APS.

etc.).

Servicio: constituye la evaluación de todos aquéllos servicios prestados por un mismo

Servicio de salud.

Sistema: se trata del nivel más complejo y con mayor trascendencia socio-política.

Propósito de la Evaluación

Proporcionar información de la cual se deriven criterios útiles para la toma de decisiones

en relación con la administración y desarrollo del programa, proyecto o estrategia a

evaluar.

Orientar el proyecto o programa de acción en sus distintos componentes a través del

análisis crítico de sus: objetivos, procesos, resultados e impacto.

9

Agentes Involucrados en la Evaluación de Programas

Evaluador

Equipo de apoyo técnico

Actores vinculados al programa

- Clientes

- Beneficiarios (directos e indirectos)

Agentes que deben Evaluar

Interna: planificada y ejecutada por miembros del equipo de trabajo.

Externa: ejecutada por personas que no han participado en el programa.

Principales Focos de Evaluación

Necesidades: previa a la planificación e implementación del programa de tratamiento. Ej.

¿qué necesidades existen en la comunidad, relacionadas con el problema?

Proceso: Ej. ¿cómo está desarrollándose el programa de tratamiento? ¿Hasta qué punto

está realizándose según se planificó?

Resultados: Ej. ¿cómo han cambiado los pacientes y en qué medida son atribuibles estos

cambios al tratamiento?

Satisfacción: Ej. ¿cuál es la visión del tratamiento, por parte del paciente?

Costos: Ej. ¿cuál es el costo de cada componente del tratamiento? ¿Y el total?

Económica: Ej. ¿el tratamiento es más eficiente que otras opciones?

Antes que todo, se debe tomar en cuenta a las personas u organizaciones que se encuentran

interesadas:

¿Agencias sostenedoras: (estado/fundación privada)?

¿Directores de proyectos específicos?

¿Directores o administradores de programas/diseñadores de programas?

¿Profesionales de un programa?

¿Consultores de programas (académicos/profesionales)?

¿Científicos/académicos/investigadores?

¿Público/opinión pública?

10

Los que formulan políticas, necesitan la evaluación para:

Establecer estándares

Focalizar metas

Monitorear la calidad de la intervención

Recompensar/sancionar prácticas

Formular políticas

Canalizar recursos ($ y humanos)

Los administradores de programas, para:

Monitorear efectividad de programas (identificar debilidades/fortalezas, establecer

prioridades programáticas, etc.)

Planificar y mejorar programas

Los profesionales de salud, para:

Diagnóstico individual

Monitorear progreso de usuarios o pacientes

Motivar pacientes

Evaluar usuarios

Evaluar actividades o estrategias de programas

Los familiares y pacientes, para:

Evaluar progreso, en tratamiento

Determinar responsabilidad del establecimiento

Tomar decisiones informadas para derivación, cambio u otro motivo

Desarrollo de una Investigación Evaluativa

1 Se inicia en el momento en que surge la idea de echar a andar un programa o

intervención, confrontando los primeros lineamientos de objetivos con:

Las necesidades reales del medio en que se inserta,

Con la factibilidad de llevar a cabo los procedimientos que se requiere implementar

para dar cumplimiento a los objetivos y,

Con los recursos humanos, materiales y económicos disponibles.

11

2. Una vez que se pone en marcha el programa, la evaluación se orienta a la determinación

de la necesidad de ajustes y cambios:

El desarrollo del programa se sigue paso a paso, con procedimientos que permiten

detectar desviaciones respecto del plan original que requieren modificaciones para

optimizar los resultados, tomando en cuenta los nuevos escenarios.

Esta fase de la evaluación se concibe comúnmente como un "monitoreo" (o

seguimiento) de actividades, evaluación del proceso a través de recolección y

análisis periódico de los indicadores seleccionados, para determinar si las

actividades del programa se están llevando a cabo como se planearon.

3. Finalmente, se evalúa el cumplimiento de los resultados esperados del programa, de

acuerdo a los objetivos propuestos, a través de:

La comparación de un patrón de deseabilidad (imagen-objetivo hacia la cual se orienta la

acción) con la realidad (lo que realmente sucedió como consecuencia de la actividad

programada)

En la siguiente página se presente esquemáticamente el proceso de evaluación en programas

de Salud.

12

DIAGRAMA: Proceso de Evaluación de Programas en Salud.

17

1. Planifica-ción

• ¿Cuáles son las necesidades de la comunidad? (pers-pectiva técnica, ad-ministrativa y de la comunidad

• ¿Qué recursos exis-ten para mantener los servicios?

2. Inicio

3. Plena Operación

4. Fin del Ciclo

• ¿Hasta qué punto se está implementando el programa?

• ¿Hay que hacer algún cambio no anticipa-do?

• ¿Se necesitan adapta-ciones?

entrevistas con dirigen-tes comunitarios; grupos focales; indicadores de-mográficos; encuestas, tasas; etc.

• ¿Está funcionando el programa?

• ¿Qué modificaciones deberán hacerse ?

• ¿Cuáles son los resultados de las actividades del programa?

• ¿Cómo afectó a los participan-tes?

Nuevo diagnóstico

de Necesidades

revisión documentación programa; entrevistas con personal de de salud, usuarios, dirigentes co-munitarios; observación del servicio; etc.

medidas períodicas de cumplimiento de activi-dades; informes sistemá-ticos a administradores y equipo de salud para ajustar el programa; etc.

medidas períodicas de cumplimiento de objetivos; encuestas/entrevistas a equipo de salud, usuarios dirigentes, otros actores sociales locales relevantes; registros; etc.

Identificación de Necesidades:

Evaluación de la Implementación :

Evaluación del Proceso:

Evaluación de Resultados:

PROCESO DE EVALUACION DE PROGRAMAS EN SALUD

13

BIBLIOGRAFÍA SECCIÓN: Salud Mental y Adicciones en los Sistemas de Salud. La necesidad de

evaluación.

Alarcón RD. Mental health and mental health care in Latin America. World Psychiatry. 2003 February; 2(1): 54–56.

Dalton, J., Elias, M., & Wandersmon, A. Program evaluation and program development. In Community psychology. Stamford: Wadsworth Dodge, G. R. (2000).

Garrard, J. (1993). Program evaluation in health and mental health settings. Institute for Health Services Research School of Public Health, University of Minnesota.

Murray, V. (2001). The state of evaluation tools and systems for nonprofit organizations, The High Performing Nonprofit. Seattle Center, Seattle,WA: Conference Resources.

Prince M, Patel V, Saxena S, Maj M, Maselko J, Phillips MR, Rahman A. No health without mental health. Lancet. 2007 Sep 8;370(9590):859-77.

Saxena S, Sharan P, Garrido M, Saraceno B. World Health Organization's Mental Health Atlas 2005:implications for policy development. World Psychiatry. 2006 October; 5(3): 179–184.

UNODC. 2008 World Drug Report. Disponible en: http://www.unodc.org/documents/wdr/WDR_2008/WDR_2008_eng_web.pdf (Last visit: August 28, 2008).

WHO. Mental Health Atlas 2005. Geneva, 2005. W.K. Kellogg Foundation Evaluation Toolkit: Disponible en:

http://www.wkkf.org/default.aspx?tabid=75&CID=281&NID=61&LanguageID=0

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Prince%20M%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Patel%20V%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Saxena%20S%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Maj%20M%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Maselko%20J%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Phillips%20MR%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22Rahman%20A%22%5BAuthor%5D&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsPanel.Pubmed_DiscoveryPanel.Pubmed_RVAbstractPlus�

http://www.unodc.org/documents/wdr/WDR_2008/WDR_2008_eng_web.pdf�

http://www.wkkf.org/default.aspx?tabid=75&CID=281&NID=61&LanguageID=0�

14

Resumen Esta sección se centra en la evaluación como componente del ciclo de diseño,

implementación y evaluación de programas y proyectos. Se revisan también otros términos utilizados en la evaluación de programas. Además, se presenta el proceso para establecer Términos de Referencia (TDR) para una evaluación..

Objetivos Se espera: - Examinar las formas comunes de evaluación. - Diferenciar entre la evaluación y el seguimiento. - Utilizar con mayor confianza la terminología básica de la evaluación. - Entender lo que es el TDR de una evaluación. - Crear un TDR.

Aspectos Relevantes

La evaluación, por lo general, es el proceso de determinar el valor de algo. Típicamente, este

“algo” es el cambio efectuado por algún tipo de intervención, sea un proyecto, programa o

política. Esto requiere un proceso sistemático y objetivo. La planificación, implementación (o

ejecución) y evaluación son partes de un ciclo continuo de programación. La evaluación sirve

para examinar uno o más de los siguientes componentes de un proceso de intervención

planificada:

- El diseño del proyecto o programa;

- El proceso de implementación;

- Los resultados/impactos a corto y largo plazo.

Los principales temas de interés en la evaluación son: 1

- Eficacia – realización de objetivos, constatación de que ocurren y se sostienen o no los

cambios esperados;

- Eficiencia – relación entre los recursos utilizados y los productos logrados;

- Pertinencia – constatación que los objetivos (del programa) se dirijan o no a las

necesidades;

1 Algunos marcos de evaluación incluyen el concepto de utilidad – constatación que los impactos del programa se dirijan a las necesidades. Se puede entenderlo como una combinación de eficacia y pertinencia.

II. ASPECTOS GENERALES DE LA EVALUACIÓN DE PROGRAMAS.

15

- Equidad/Destinatarios – constatación de que los impactos/beneficios abarcan o no a

todos los grupos meta; y

- Sostenibilidad – constatación de que los impactos positivos del programa durarán o no.

El plazo para poder dar una respuesta informada a cada uno de estos temas varía: por ejemplo, es

probable que se necesite más tiempo para responder a la cuestión de sostenibilidad.

Nota: Proyecto se puede entender como una intervención específica que comprende varias

actividades dirigidas a responder algún problema o serie de problemas afectando a un grupo meta

definido. Programa se puede entender como un conjunto de proyectos y actividades dirigidos a

responder a un problema más complejo que requiere de una seria de intervenciones,

posiblemente con varios grupos meta y típicamente a largo plazo. Un programa puede tener, o

no, un plazo fijo de implementación. Una evaluación puede ser dirigida tanto a un proyecto

como a un programa (o a los demás elementos o niveles de evaluación vistos en la Sección 1), y

se utilizan ambos términos aquí para explicar los conceptos de evaluación.

16

Formas de Evaluación

La etapa del ciclo de programación cuando se realice la evaluación, y el objeto de evaluación

determinan la forma de evaluación que sea más adecuada. Se pueden identificar cuatro formas

principales de evaluación, que reflejan los tipos de evaluación reflejados en la Sección 1:

1) Evaluación ex ante o de diseño

2) Evaluacion de término medio

3) Evaluation ex post, y

4) Evaluación de impactos.

La evaluación ex ante o de diseño investiga las fortalezas y debilidades del diseño del programa

y examina la pertinencia del programa. Se realiza este tipo de evaluación antes de implementar

el proyecto. Se puede entender esto también como un estudio de factibilidad.

La evaluación de término medio se interesa en saber si un programa esta siendo implementado

tal como planificado. Examina los objetivos, las acitividades realizadas, y los indicadores

preliminares de la eficacia y eficiencia del programa. La evaluación de término medio sirve para

identificar las primeros señales de logros o dificultades que se encuentran en el proyecto.

Típicamente, estas evaluationes son de tipo “formativa”, y sirven para mejorar la

implementación del proyecto o programa y avanzar en la realización de los objetivos. Pueden

ser también “sumativa” si proporciona evidencia que justifica, o no, la continuación del

programa.

La evaluación ex post se realiza cuando concluye el plazo programado para la implementación y

administración de un proyecto o proyecto piloto. Permite que se recauden las enseñanzas

aprendidas durante la implementación y que se desarollen recomendaciones para la continuación,

modificación o terminación del programa, y/o la ejecución de otros proyectos parecidos.

La evaluación de impactos se desempeña típicamente 5 años después de la implementación del

proyecto, u otro plazo adecuado para poder medir los cambios a largo plazo. Este tipo de

evaluación relata la historia del proyecto e intenta medir y relatar los cambios – directos,

indirectos, esperados e inesperados – que pueden ser atribuidos al proyecto. En turno, estos

hallazgos ayudan a determinar si el diseño del proyecto y la teoría que se lo informa sean o no lo

17

más apropriado. Tanto la evaluación ex post como la evaluación de impactos se denominan

evaluaciones sumativas. La evaluación sumativa sirve para documentar las enseñanzas

aprendidas que luego pueden ser compartidas con los beneficiados, los financiadores, y las otras

partes interesadas en el proyecto.

La Evaluación como Componente del Ciclo de Programación

Más que todo, la evaluación es una forma de aprendizaje que sirve para mejorar la gestión de

proyectos. Proporciona evidencia acerca de la eficiencia (producto por inversión), eficacia

(realización de metas u objetivos), impacto (los cambios efectuados), y equidad (distibución

equitativa de beneficios entre el grupo meta). También ayuda a asegurar que las

responsibilidades para la realización de los objetivos sean compartidas entre todas las partes

interesadas en el proyecto.

La siguiente figura representa una versión simplificada del ciclo de programación. Se notará que

la evaluación es una parte importante del ciclo. Las evaluaciones formativas proporcionan

retroalimentacion para el diseño del proyecto e información sobre los efectos directos, y sirven

para mejorar el proyecto durante el proceso de implementación. La evaluación formativa, al

igual que el seguimiento, son elementos críticos para la implementación exitosa de un programa

o proyecto, mientras que la evaluación sumativa informa y enriquece la planificación de futuras

intervenciones.

DIAGRAMA. El ciclo de programación y evaluación simplificado.

Planificación

Implementación, seguimiento, evaluación formativa

Evaluación sumativa

18

El Seguimiento vs. la Evaluación

El seguimiento y la evaluación comparten algunas características. Ambos sirven para la

medición de resultados, pero lo hacen en forma diferente y en distintos momentos. El

seguimiento es un proceso continuo que apunta principalmente a proporcionar – a los

responsables del proyecto y a las partes interesadas claves – información preliminar acerca de la

ejecución del proyecto y la probabilidad de éxito, o falta de éxito, en realizar los resultados

esperados. Por otro lado, la evaluación intenta proporcionar información relacionada a los temas

identificados anteriormente: eficacia, eficiencia, pertinencia, equidad/destinatarios, y

sostenibilidad. El seguimiento es principalmente una actividad interna manejada por los

responsables y/o integrantes del proyecto, mientras que la evaluación puede ser conducida por

personas internas o externas al proyecto.

Calidad en la Evaluación

Una evaluación de alta calidad debe reunir ciertos criterios reconocidos. Estos son:

1) Utilidad: una evaluación debe servir los requerimientos informacionales de los destinatarios

de la evaluación;

2) Viabilidad: se debe poder realizar la evaluación a tiempo con un cuidadoso manejo y

rendición de cuentas de los recursos disponibles;

3) Ética: se require que la evaluación sea conducida dentro de los marcos legales y éticos,

incluyendo a los reglamientos institucionales y/o requerimientos locales (por ejemplo,

Consentimiento Informado). Además, implica la debida consideración al bienestar de los

involucrados en la evaluación, y de los que puedan ser afectados por los resultados de la

misma;

4) Fidelidad: Esto se refiere a la toma de medidas para asegurar que la información recaudada y

compartida mediante la evaluación satisfaga los criterios reconocidos en cuanto a la selección

de indicadores, aplicación de métodos de análisis cuantitivos y cualitivos, y presentación e

interpretación de resultados.

Es importante que el equipo evaluador se conduzca de acuerdo con los principios éticos. Los

evaluadores deben respetar la dignidad humana y el valor de las personas involucradas en el

programa sujeto de la evaluación, y deben comportarse con sensibilidad hacia el ambiente

19

cultural y social del programa y sus partes interesadas. Además, los evaluadores tienen que

asegurar la integridad de la evaluación, y actuar acorde a los intereses del programa y a sus

partes interesadas, así como del público en general. Deben revelar de antemano cualquier

perjuicio, conflicto de interés, o limitación en cuanto a metodología o capacidad que puedan

tener. Sobre todo, los evaluadores deben respetar la intimidad de la información personal.

La evaluación es un campo profesional con su propia terminología., la cual se encuentra en

continuo avance y evolución, por lo que es necesario que los evaluadores se mantengan al día

con los nuevos conceptos que aparecen en las discusiones y literatura.

Términos de Referencia

El documento denominado ‘términos de referencia’ (TDR) de una evaluación articula el objetivo

y la estructura de una evaluación. Típicamente el organismo que esta financiando la evaluación

esta a cargo de preparar el TDR. Si se trata de una evaluación interna, un comité compuesto por

representantes de la agencia ejecutora del programa y de otras partes interesadas prepara el TDR.

En otros casos, una agencia externa o los financiadores del programa redacta el TDR. El TDR

ofrece un resumen del programa o proyecto y de las partes interesadas. Además, clarifica los

objetivos, el área de accionar, y las expectativas del programa; sirve para atraer el interés de

evaluadores externos y también como invitación a presentar una propuesta. El TDR identifica el

por qué de la evaluación, y las preguntas prioritarias a ser apuntadas. Incluye un cronograma de

actividades y el presupuesto para su realización.

Si se buscan propuestas de agencias externas para realizar la evolución, el TDR viene a ser parte

importante del contrato de trabajo y normalmente se adjunta una copia del TDR al contrato. El

TDR en combinación con la propuesta de evaluación que se prepara como respuesta al TDR (una

vez aprobada) representa una definición precisa del trabajo a ser realizado.

El TDR sirve para guiar el proceso de la evaluación. Un TDR que precisa claramente el proceso

de evaluación esperado es un elemento clave para asegurar el éxito de la evaluación.

La (s) propuesta(s) de evaluación preparada(s) como respuesta al TDR representa(n) en sí el plan

de trabajo (plan de evaluación) más los recursos necesarios para realizarlo.

20

Componentes del TDR:

El TDR debe cubrir la mayoría de los siguientes temas. Otros temas pueden ser también

abarcados dependiendo de los requerimientos específicos:

Antecedentes del proyecto/programa: debe incluir una breve introducción al proyecto, los

recursos que ocupa, detalles sobre manejo y gestión, etc.

El porqué de la evaluación

Objetivos de la evaluación

Área de accionar y preguntas claves de la evaluación

Metodología

Número y cronograma de informes a ser preparados (por ejemplo, un informe preliminar a

ser compartido y revisado, y un informe final)

Organización y gestión de la evaluación (equipo de evaluación, otros comités, integración de

las partes interesadas, etc.)

Cronograma de actividades

Bibliografía/referencias citadas

Si se trata de una evaluación a ser realizada por una agencia o un equipo externo, se debe agregar

también:

Entrega de propuestas de evaluación; ¿a quién?

Términos del contrato: por ejemplo, presupuesto máximo, formas de pago

Plazo para entregar propuestas

21

BIBLIOGRAFÍA SECCIÓN: Aspectos Generales de la Evaluación de Programas.

Modelos de evaluación

W.K. Kellogg Foundation. (1998). Evaluation Handbook. Battle Creek: W.K. Kellogg Foundation., Chapter 3. (http://www.blackwellgroup.ca/PDF%20Files/Evaluation%20Handbook%20Kellogg.pdf)

¿Por qué evaluar?

Boulmetis, J., & Dutwin, P. (2000). The ABCs of Evaluation. San Francisco: Jossey-Bass.,Chapter 2

Bamberger, M. J., Rugh, J., & Mabry, L. (2006). RealWorld Evaluation. Working Under Budget, Time, Data, and Political Constraints. Thousand Oaks: Sage Publications, Inc., pp. 30-31

Zorzi, R., McGuire, M., & Perrin, B. (2002). Canadian Evaluation Society Project in Support of Advocacy and Professional Development Evaluation Benefits, Outputs, and Knowledge Elements. Ottawa: Canadian Evaluation Society. Pages vii, pp. 16-23 (disponsible online)

Lecturas opcionales:

Rand Corporation. (2001). Analyzing the Costs and Benefits of Early Childhood Interventions. Santa Monica: Rand Corporation. Estudio de caso, costos/beneficios (disponible online)

Treasury Board of Canada Secretariat. (2001). Evaluation Policy. Ottawa: Treasury Board of Canada Secretariat.

Diferenciación entre monitoreo y evaluación.

Boulmetis, J., & Dutwin, P. (2000). The ABCs of Evaluation. San Francisco: Jossey-Bass.,Chapter 3 pp.38-43

INSIDEOUT. (2005). M&E In’s & Out's Newsletter # 3. Cape Town: INSIDEOUT, pages 1-6. (disponsible online)

Estándares de evaluación

Treasury Board of Canada Secretariat. (2001). Evaluation Policy. Ottawa: Treasury Board of Canada Secretariat. Ver Appendix B (disponible online)

Ramlow, M. E. (2005). The Program Evaluation Standards. Fairhaven: American Evaluation Association. (disponible online)

Ética en evaluación

Canadian Evaluation Society. (2001). CES Guidelines for Ethical Conduct. Ottawa: Canadian Evaluation Society. (disponible online)

Terminología en evaluación

Development Assistance Committee-Organisation for Economic Co-operation and Development (DAC-OECD). (2002). Glossary of Key Terms in Evaluation and Results Based Management. Paris: Development Assistance Committee-Organisation for Economic Co-operation and Development (DAC-OECD). (disponible online)

http://www.blackwellgroup.ca/PDF Files/Evaluation Handbook Kellogg.pdf�

22

Resumen Este módulo sirve como introducción a los modelos de evaluación, y ayuda a determinar el modelo de evaluación más apropiado.

Objetivos Se espera: - Diferenciar entre varios modelos de evaluación. - Seleccionar el modelo de evaluación que sea mas apropiado según el por

qué de la evaluación.

Aspectos Relevantes

Una de los primeros pasos en el proceso de evaluación es el seleccionar el modelo o estilo de

evaluación más apropiado. Este paso define la forma en que participan las partes interesadas

como el director del proyecto o programa, los ejecutores (empleados/trabajadores/profesionales),

los beneficiarios, y los responsables/ejecutivos institucionales. También, clarifica el rol de los

evaluadores en el proceso. Los modelos de evaluación mas comunes son: 1) clásico 1) en base a

asociados (‘partnership’) 3) participativo, y 4) naturalístico.

La evaluación clásica es manejada por un evaluador externo, independiente del programa y de

sus responsables. Según este modelo, los evaluadores tienden a utilizar las metodologías

objetivas, lógicas y positivistas que comprendan la prueba de hipótesis basada en el diseño

experimental o quasi-experimental. La independencia del evaluador es altamente valorada en

este modelo. A la vez, este modelo es criticado por ser dirigido desde afuera.

La evaluación en base a asociados opera según los principios de colaboración entre los

evaluadores y los asociados locales designados. Los asociados están involucrados en el diseño y

el manejo de la evaluación, y también proporcionan retroalimentación en forma regular en

cuanto a los resultados. El equipo evaluador y los asociados debaten el valor de la evaluación y

buscan cómo utilizar los resultados. La articulación y justificación de decisiones basadas en la

evaluación es un componente característico de este modelo. El factor más importante en la

aplicación exitosa de este modelo es el de mantener buenas relaciones entre evaluadores y

asociados.

III. MODELOS DE EVALUACIÓN DE PROGRAMAS.

23

La evaluación participativa parte de la teoría de que el conocimiento es producto de las

relaciones sociales y que la memoria es construida y compartida entre las partes interesadas. Los

papeles y las relaciones entres las partes interesadas forman la base de este modelo. El enfoque

principal radica en cómo enriquecer la utilización de la evaluación mediante el mayor

involucramiento cualitativo y cuantitativo de las partes interesadas en el proceso de evaluación.

Se considera que los hallazgos de este tipo de evaluación tienen mayor relevancia e importancia

para las partes interesadas en comparación a los otros modelos. Además, su participación en el

proceso sirve para fortalecer su capacidad de participar en futuras evaluaciones, y ayuda a

profundizar su ‘pensamiento evaluativo”. Mas allá, esta forma de evaluación puede conllevar a la

Investigación Participativa y de Acción. También, se denomina este tipo de evaluación la

evaluación democrática en base a la participación amplia de las partes interesadas.

La evaluación naturalística se basa en la teoría de que el cambio social debe ser evaluado

mediante la observación de las interacciones entre las partes interesadas en su transtorno natural.

Bajo este modelo, trabajamos con los beneficiarios lo más pronto posible en el proceso de

evaluación. Este modelo requiere una atención perceptiva y sistemática al contexto, y a las

percepciones y entendimientos de las partes interesadas. Comprende una variedad de técnicas o

métodos múltiples. Un objetivo de este modelo es minimizar la participación ‘forzada’ o auto-

consciente de las partes interesadas mediante varios métodos, como por ejemplo la observación

de participantes (Guba and Lincoln, 1989). El objetivo es observarlos sutilmente en sus vidas

cotidianas sin intervenir. Este modelo requiere de bastante tiempo en campo para coleccionar la

información sin interrumpir la vida de los observados. Posteriormente, los participantes están

involucrados en la evaluación mediante una variedad de técnicas cualitativas como las

entrevistas con informantes claves, los grupos focales, y otras técnicas de observación

estructurada. La evaluación de cuarta generación introducida por Guba and Lincoln (1989) está

ligada a este modelo y también al concepto de evaluación para empoderamiento.

24

BIBLIOGRAFÍA SECCIÓN: Modelos de evaluación de Programas.

Boulmetis, J., & Dutwin, P. (2000). The ABCs of Evaluation. San Francisco: Jossey-Bass. Chapter 5

Bamberger, M. J., Rugh, J., & Mabry, L. (2006). RealWorld Evaluation. Working Under Budget, Time, Data, and Political Constraints. Thousand Oaks: Sage Publications, Inc. Page 267, 270

Guba, E. G., & Lincoln, Y. (1989). Fourth Generation Evaluation. Thousand Oaks: Sage Publications. Chapter 2 and Chapter 3

Development. Rome: International Fund for Agricultural Development (IFAD). (disponible online)

25

Resumen Esta sección presenta los principios del Marco Lógico y su aplicación en la

evaluación.

Objetivos Se espera: - Manejar los principios fundementales del concepto: Marco lógico. - Explicar la manera en que se aplica el Marco lógico a la práctica de la

evaluación. Crear un Marco lógico para un programa o proyecto.

Aspectos Relevantes El proceso de desarrollar un Marco Lógico o Marco Lógico de programa (MLP) sirve como herramienta tanto para la creación como para la evaluación de programas. El Marco lógico es parte del ciclo de programación y evaluación visto antes y reproducido aquí.

DIAGRAMA. El ciclo de programación y evaluación simplificado.

Si desenvolvemos más la etapa de planificación, se ve que ésta comprende varios pasos,

principalmente los siguientes cinco: 1) identificación del problema o el reto que el programa

pretende apuntar, 2) determinación de la(s) meta(s), 3) identificación de los objetivos

específicos, 4) diseño de estrategias/actividades para cumplir los objetivos específicos, y 5)

designación de recursos necesarios par implementar las estrategias/actividades.

Planificación

Implementación, seguimiento, evaluación formativa

Evaluación sumativa

IV. MARCO LÓGICO.

26

En sí, la evaluación sirve para retroalimentar todos estos pasos de la planificación e identificar

los ajustes necesarios (a uno o más de los 5 pasos). Entonces, es necesario que haya bastante

correlación entre el plan del proyecto, y el marco lógico para evaluarlo. En la realidad,

típicamente existe una carencia de detalles en cuanto al plan de un programa. Entonces, la

evaluación sirve para llenar el vacío de información y ayuda para fortalecer el programa.

El marco lógico de un programa (MLP) proporciona una “pintura en palabras” de las relaciones

lógicas de causa y efecto entre cinco componentes que reflejan, en orden reverso, el plan de

programa: los insumos (recursos), las actividades (estrategias/actividades), los productos

(objetivos específicos), los efectos directos (metas), y los impactos (problema o reto).

27

La relacion lógica se puede entender de la siguiente manera: Los insumos tienen que estar disponibles para poder realizar las actividades.

Las actividades tienen que ser efectuadas para producir los productos. Los productos tienen que ser creados y utilizados para conseguir los

efectos directos y los impactos. Se puede resumir esta lógica como:

DIAGRAMA. Marco lógico simplificado.

Existen principalmente 3 vías para desarrollar el MLP: 1) Gestión Basada en Resultados (GBR) 2) Método Ogborne y Rush, y 3) Método

Marco Lógico, conocido en el alemán como Ziel Orientierte Projek Planung (ZOPP). Estas tres variaciones comprenden los cinco

componentes indicados arriba, pero sus estructuras varían (Cummings, 1997). Aquí nos concentramos en la GBR.

Se utiliza un cuadro para articular los cinco componentes del Marco Lógico (ver Cuadro). Además, el Marco Lógico identifica las

suposiciones y riesgos asociados con la implementación del programa. Las suposiciones se refieren a las condiciones externas que deben

existir para que las relaciones expuestas en el MLP se presenten tal como esperado. Los riesgos se refieren a la probabilidad de que las

suposiciones no conformen con la realidad. Un riesgo puede ser bajo, mediano o alto. Un riesgo mediano o alto sugiere que podría ser

necesario revisar el MLP durante el proceso de evaluacion si alguna condición cambia.

Insumos Actividades Efectos DirectosProductos Impactos

Los recursos humanos, financieros, materiales y de infraestructura contribuidos

por las partes interesadas

Coordinación, asistencia técnica y entrenamiento

organizado y ejecutado como parte del proyecto

El cumplimiento de las actividades. (No se sabe

todavía si se han efectuado cambios en las vidas de los

beneficiarios.)

Resultado desarrollado a corto o mediano plazo que es

la consecuencia lógica del haber realizado un conjunto

de productos

Resultado desarrollado a largo plazo que es la

consecuencia lógica del haber realizado un conjunto de

productos y efectos directos

Resultados anticipados----------------------------------- Trabajo planificado-----------------------------------------------------------------------------------------

28

CUADRO. Estructura Básica de un Marco Lógico de Programa (MLP) tipo GBR.

Resultados Esperados

Insumos

Actividades

Productos Efectos

Directos a corto plazo (1-2 años)

Efectos Directos a

mediano plazo (2-5 años)

Impactos a largo plazo (más que 5

años) Listado de insumos necesarios para realizar las actividades principales del programa o proyecto

Listado de acciones principales que en su conjunto comprenden el programa

Listado de los resultados concretos de las actividades realizadas

• Los cambios generados que conlleven a los resultados a mediano y largo plazo, y

• Sus indicadores

• Los cambios generados que conlleven a los resultados a largo plazo, y

• Sus indicadores

• Los cambios generados que representen la realización de la meta principal del programa, y

• Sus indicadores

Suposiciones y Riesgos

Indicadores y su uso para el seguimiento y la medición de los resultados

Para poder medir los resultados (efectos directos e impactos), es necesario identificar

indicadores y generar la información o datos correspondientes.

La selección de indicadores y su uso para el seguimiento del desempeño y la medición de los

resultados es una función principal de la evaluación. Fundamentalmente, se busca identificar

indicadores que puedan servir como evidencia del progreso hacia el cumplimiento de los

resultados esperados (en cuanto a la meta del programa y el problema a que se busca responder).

La selección y aplicación de indicadores es, a menudo, uno de los pasos más difíciles en la

evaluación, particularmente cuando se trata de programas dirigidos a efectuar cambios sociales.

29

Los indicadores deben reflejar una combinación de medidas de cantidad, calidad, y plazo (por

efectuar el resultado esperado). Su selección es crítica, pues puede haber un sin fin de posibles

indicadores por cada programa, especialmente si los objetivos no son precisos. Los siguientes

criterios ayudan en seleccionar los indicadores apropiados.

Un buen indicador debe:

1. Medir el resultado en la forma más directa posible.

2. Proporcionar una medida consistente durante el tiempo que se lo aplica.

3. Ser suficientemente precisa para poder reflejar cambios en el factor medido.

4. Ofrecer información que se puede recaudar y analizar fácilmente.

5. Proporcionar información que ayudará a la toma de decisiones.

6. Corresponder al presupuesto destinado a recoger y analizar los datos.

Los indicadores también sirven para establecer productos y resultados metas, especialmente si

éstos no han sido determinados en el plan del programa. (Se trabajarán algunos ejemplos de

marcos lógicos en la clase.)

BIBLIOGRAFIA SECCIÓN: Marco Lógico

Bamberger, M. J., Rugh, J., & Mabry, L. (2006). RealWorld Evaluation. Working Under Budget, Time, Data, and Political Constraints. Thousand Oaks: Sage Publications, Inc.Pages 182-187

Canadian International Development Agency (CIDA). (2006). The Logical Framework: Making it Results-Oriented. Gatineau: CIDA. (disponible online)

Development Assistance Committee-Organisation for Economic Co-operation and Development (DAC-OECD). (2002). Glossary of Key Terms in Evaluation and Results Based Management. Paris: Development Assistance Committee-Organisation for Economic Co-operation and Development (DAC-OECD). (disponible online)

W.K. Kellogg Foundation. (2001). Logic Model Development Guide. Battle Creek: W.K. Kellogg Foundation. (disponible online)

30

Resumen Esta sección revisa el significado y la relevancia de la definición del problema central de la evaluación, así como las distintas técnicas que se pueden utilizar para identificarlo. Describe, a su vez, la importancia de la identificación de necesidades y las etapas relevantes en su proceso de reconocimiento.

Objetivos Se espera: - Comprender la importancia de la definición del problema e

identificación de necesidades en el proceso de evaluación de programas.- Revisar el desarrollo de estos aspectos en distintos proyectos.

Definición de Problema y Necesidad

Cualquier intervención parte de la existencia de un determinado problema, el que puede ser

especificado a través de una serie de necesidades.

Problema:Estado o situación insatisfactoria que no puede ser resuelta de modo autónomo por los

afectados.

Necesidad: cualquier cosa que es requerida para el bienestar de una persona o grupo de personas

El primer paso de cualquier intervención supone el análisis de los problemas y de las

necesidades, es decir, su evaluación.

El Problema

Para determinar el problema, se requiere implementar un proceso de toma de decisiones que

implica algunos pasos.

1. Predefinición del Problema

Implica la percepción de síntomas de desviación del funcionamiento normal esperado

Considera el análisis confrontando con un objetivo, definiendo una hipótesis.

Comenzamos planteando una inquietud que nos interesa comprender, resolver,

estudiar… e intentamos formularlo como problema

Debe quedar claro:

V. BASES DE UNA EVALUACIÓN: IDENTIFICACIÓN DEL PROBLEMA, NECESIDADES Y ANTECEDENTES PARA

IMPLEMENTAR UNA EVALUACIÓN.

31

- ¿De qué estoy hablando?

- ¿De quiénes estoy hablando?

- ¿Por qué es de interés estudiar este problema?

- ¿En qué circunstancias se presenta el problema?

- ¿Qué antecedentes tengo del problema?

- ¿Qué sé del problema?

- ¿Qué importancia tiene para la sociedad, para la disciplina?

- ¿Qué conceptos o teorías son aplicables a mi problema?

2.- Recogida de información

Búsqueda de información relevante para un diagnóstico adecuado.

Importante validar la información, para que sea creíble y confiable.

Requiere participación en el proceso de los involucrados.

3.- Clasificación de la información

Organizar la información de modo sistemático.

Requiere la definición de criterios de ordenación, agrupando los distintos datos en torno a

ellos, de modo de estructurarlos y sintetizarlos.

4.- Definición del problema

Analizar la información para llegar a diagnóstico.

Un problema bien definido es un problema parcialmente resuelto.

Análisis de Problemas

Conjunto de técnicas para:

– Analizar la situación en relación a la problemática como es percibida por los

involucrados.

– Identificar los problemas principales en este contexto.

– Visualizar las relaciones de causa-efecto en un árbol de problemas.

– Mostrar las interrelaciones entre los problemas, y los posibles caminos para

solucionarlos.

32

Utilidades del Análisis de Problemas

Representa analíticamente la realidad

Permite la construcción de una percepción común de los distintos actores de la realidad

Permite definir y precisar indicadores objetivos y verificables para contrastar la

percepción de la realidad.

Formulación de Problemas

Ser realista y preciso

Definir un sólo problema por planteamiento, la mezcla de varios problemas lleva a la

imprecisión y a la confusión.

Identificar problemas existentes, no los posibles, ficticios o futuros.

Considerar que un problema no es ausencia de una solución.

Definición y Análisis de Problemas

Pregúntese…

¿Quiénes están siendo afectados?

¿Cuál es la situación que es necesario cambiar?

¿Cómo evolucionará si no hay intervención?

Descripción del Problema en Base a Preguntas

¿Dónde se efectuará la intervención? (Localización)

¿Cómo se alcanzarán los objetivos? (Productos y actividades)

¿Cuándo y cómo se implementará? (Cronograma)

¿Con qué recursos se implementará la intervención? (Recursos)

¿Cuál será la manera de observar los resultados? (Evaluación)

Técnicas Sugeridas para Mejorar la Evaluación de Problemas

Modelos explicativos, esquemas simplificados de la realidad, que se elaboran de modo

participativo, con aproximaciones sucesivas

33

Árbol de problema

Ofrece visión sencilla y concentrada del análisis de las causas que contribuyen a una

situación compleja.

Permite analizar la situación existente en relación con una problemática determinada.

Permite visualizar las relaciones causa-efecto en un diagrama.

Pasos para la construcción de un árbol de problemas

1. Identificar los principales problemas de la situación analizada.

2. Definir y formular el problema central, formularlo de manera corta, clara, precisa y

relevante.

3. Definir las causas del problema central.

4. Definir los efectos que provoca el problema central, y verificar su importancia.

5. Diagramar el esquema de relación, tipo árbol de problemas, donde:

a. El problema central se ubica en el centro (tronco).

b. Las causas se ubican hacia abajo (raíces).

c. Los efectos se ubican hacia arriba (ramas).

6. Revisar el esquema y verificar su validez e integridad.

34

DIAGRAMA. Ejemplo de Árbol de Problemas en Una Temática Específica.

B a j o n i v e ld ee d u c a c i ó n

F a m i l i a s p i e n s a n q u e l as o l u c i ó n d e l o s p r o b l e m a sd e s a l u d s o l o d e p e n d e n d e lc o n s u l t o r i o

M a l a sc o n d i c i o n e s d ev i v i e n d a y d eh i g i e n e

C o n s u l t o r i o s n o c u e n t a n c o n a d e c u a d o a n á l i s i sd e n e c e s i d a d e s d e s a l u d , n i d e p r o g r a m a sc o n s e c u e n t e s c o n e l l a s

2 0 % d e f a m i l i a s n o

v a n a l c o n s u l t o r i o

I n s u f i c i e n c i a d e r e c u r s o s

F a m i l i a sd e s c o n t e n t a s A l t o s n i v e l e s d e

e n f e r m e d a d y r i e s g o s

R e c u r s o sm é d i c o s

u t i l i z a d o si n e f i c i e n t e m e n t e

I n c a p a c i d a dl a b o r a l

M a l a s c o n d i c i o n e sd e v i d a

(1) Familias de extrema pobreza no satisfacen necesidades de salud

35

Diagrama de causa – efecto o espina de pescado (otra técnica)

Representación gráfica que muestra la relación cualitativa e hipotética de los diversos

factores que pueden contribuir a un efecto.

Permite una mejor comprensión del fenómeno en estudio y centra a los integrantes del

grupo en un problema específico de forma estructurada y sistemática.

Sirve en situaciones en que es necesario buscar y/o estructurar relaciones lógicas de

causa-efecto.

Pasos para la elaboración del diagrama causa-efecto

1. Definir, sencilla y brevemente, el efecto o fenómeno cuyas causas han de ser

identificadas.

2. Identificar las posibles causas que contribuyen al efecto, diferenciando entre causas

generales y principales.

3. Determinar causas para cada rama principal, y analizar causas subsidiarias para las

subcausas anotadas.

4. Determinar la validez lógica de cada cadena causal. Para esto, en cada una de las

“espinas”, leer el diagrama en dirección al efecto analizado, asegurándose que cada

cadena causal tenga sentido lógico y operativo.

5. Comprobar la integración del diagrama.

Las Necesidades

Justificación del proceso de valoración de las necesidades

Provee un punto de partida lógico para la intervención y desarrollo de programas,

implica un diagnóstico acabado.

Permite asignar racionalmente los recursos, priorizando.

Permite programar nuevas intervenciones.

36

Cuestiones claves acerca de la valoración de necesidades

¿Qué es una necesidad?

– La diferencia entre la situación presente y otra más deseable.

¿Qué es la valoración de las necesidades?

– Un proceso planificado que permite identificar las necesidades reportadas de un

individuo o un grupo de ellos.

Las necesidades reportadas ¿son reales/actuales o son sólo percibidas?

Las necesidades son cambiantes;

Necesidades pueden ser: percibidas, expresadas, normativas o relativas.

Una necesidad “es una necesidad”, no importa demasiado distinguir qué tipo de

necesidad es.

Utilidad de la evaluación de necesidades

Determina la magnitud del problema y su importancia con relación a otras políticas

públicas.

Determina dónde localizar los servicios.

Es útil para ofertar una respuesta adecuada a las necesidades de cada paciente.

Establece una correcta coordinación y aprovechamiento de otros recursos comunitarios

previamente existentes o de posterior implantación.

Diagnóstico de Necesidades: Etapas

Selección: Delimitación de aquellas necesidades susceptibles de atenderse en el contexto

de los recursos disponibles o las competencias asumidas.

Agregación: Agrupación de los contenidos temáticos de las necesidades para su

“engarce” operativo con la estructura de políticas, planes y programas existentes.

Priorización: determinación de un orden de prioridades en función de la amplitud o

niveles de urgencia de la situación de necesidad.

37

Resumen La sección hace una revisión de los elementos a considerar y de las posibles

implicaciones durante el planteamiento del problema, redacción de objetivos y pregunta de evaluación, aspectos que se encuentran estrechamente relacionados.

Objetivos Se espera: - Que los participantes revisen, comprendan y apliquen en sus proyectos

los criterios a considerar durante el planteamiento de problema, redacción de objetivos y pregunta de evaluación.

La investigación puede considerarse como el proceso de hacerse una pregunta (o una serie de

preguntas relacionadas) que luego continúa en el inicio de un procedimiento sistemático para

obtener respuestas válidas a esas preguntas. Cuando finalmente se escriba el informe de la

investigación, la pregunta debe formularse de manera que le quede muy clara al lector.

La pregunta puede presentarse directamente o puede incorporarse en el planteamiento del

problema de la investigación. Para llegar a este último, se suelen completar varias etapas, que se

originan en la primera idea acerca de lo que se quiere investigar. “El paso de la idea al

planteamiento (definitivo) del problema puede ser en ocasiones inmediato, casi automático, o

bien llevar una considerable cantidad de tiempo; ello depende de cuán familiarizado esté el

investigador con el tema a tratar, la complejidad misma de la idea, la existencia de estudios

antecedentes, el empeño del investigador y sus habilidades personales”. (Hernández, Fernández y

Baptista, 1998, pág. 10).

El planteamiento del problema consiste en la definición del problema que se propone abordar a

través de la investigación. Es en este punto donde el investigador delimita el objeto de estudio y

da a conocer las interrogantes o las grandes preguntas que orientan la investigación. Por ejemplo

: ¿Por qué a menor escolaridad de las mujeres aumenta el riesgo de enfermar de sus hijos? ¿Qué

factores tienen un mayor poder de explicación en esta relación?

VI. OBJETIVOS Y PREGUNTAS DE EVALUACIÓN.

38

Cuando sea el caso, el planteamiento del problema deberá ir sustentado con datos empíricos

(cuantitativos o cualitativos) y en hallazgos de otros estudios similares que permitan comprender

la importancia que puede tener el problema. Para tales fines, en este punto del desarrollo de una

investigación, se debe reflejar que el investigador se ha documentado sobre el problema y ha

realizado una exhaustiva revisión bibliográfica sobre el tema. Se deberá aclarar también la

pertinencia del problema (a qué área del conocimiento pertenece) y su relevancia (¿a quién le

sirve, cuáles son sus aplicaciones futuras?) justificando, desde el punto de vista teórico y

práctico, la selección realizada.

Detrás de toda pregunta que genera un problema de investigación, existe algún aspecto que

necesita conocerse. El problema surge así cuando se dan las siguientes condiciones:

1. Cuando se pone en duda alguna creencia aceptada.

2. Cuando una solución conocida no produce resultados esperados.

3. Cuando no se comprende un hecho por lo que requiere un explicación científica.

En este contexto, cada vez que se formule un problema, el investigador deberá desplegar todas

sus habilidades y estrategias para generar un estudio creativo, lo que implica un trabajo

sistemático en la búsqueda de información (documentación, lecturas, contactos con otros

investigadores, etc.).

No es nada fácil formular correctamente un problema. Este es un proceso que toma su tiempo y,

por lo general, es aconsejable ir paso a paso.

Objetivos de Investigación

Los objetivos se derivan del planteamiento del problema y se formulan en base a las principales

interrogantes que se desean contestar a través del estudio. Los objetivos de la investigación se

refieren a lo que se desea explorar, determinar o demostrar. O sea, son los objetivos los que

orientan la formulación de la hipótesis, la definición de variables e indicadores del estudio, y el

plan de análisis de los datos.

39

Los objetivos deben formularse de tal manera que sea posible evaluar su cumplimiento, una vez

terminada la investigación, para lo cual se recomienda que sean verbalizados como “productos”

o “logros terminales”. No deben confundirse con “objetivos instrumentales”, que son etapas del

procedimiento. (Ejemplo: “Seleccionar una muestra estratificada...”o “Aplicar una batería de

pruebas psicológicas...”, o “Hacer una revisión exhaustiva de la literatura...”). o con objetivos del

investigador ( y no de la investigación), como “Conocer el desarrollo del concepto de juego

infantil...” Los objetivos deben ser precisos y circunscritos, evitando partir de enunciados muy

generales, evitando iniciar su enunciado con el verbo “conocer”, ya que éste no compromete un

“producto”, sino más bien un beneficio para quien conduce la investigación. Se puede plantear

uno o más “objetivos generales”, cuyo cumplimiento no es posible evaluar directamente y

“objetivos específicos”, que se desprenden del anterior pero, cuya formulación debe ser tal, que

permita evaluarlos directamente si se logran al final de la investigación. Para cada objetivo

general, debe formularse al menos dos específicos, ya que éstos son un “desagregado” de los

primeros; éstos pueden aludir a componentes o dimensiones del constructo o variable incluida en

el objetivo general, de manera que al cumplir con el conjunto de objetivos específicos que se

derivan de uno general, se está completando con el producto propuesto en el primero.

Referencias Bibliográficas: ¿Cómo se presentan?

Aunque hay distintos estilos o normas, a modo de ejemplo, se muestra un listado de referencias

bibliográficas para orientar la forma en que deben presentarse, cuando corresponda fundamentar

las citas que se incluyan en un informe de investigación. En este ejemplo es usa la norma APA:

• Alcalay, L. & Simonetti, F. (1996). Estrategias para incrementar vocabulario: dos

programas basados en el desarrollo de habilidades de pensamiento. Psykhe 5 (2), 159-178

• Amarales, P., Gajardo, P. & Tomé, M. (1992). Adquisición de la función simbólica en

niños ciegos: conocimiento de la función simbólica a través del Juego Simbólico según

un estudio realizado entre 1991-1992. Tesis para optar al título de Psicólogo, Pontificia

Universidad Católica de Chile, Santiago, Chile.

• Halliday, M. (1989). Spoken and written language. Oxford: Oxford University Press.

Vigoski, L. S. (1995). Pensamiento y lenguaje. Barcelona: Paidós.

40

BIBLIOGRAFÍA

SECCIÓN: Objetivos y Preguntas de Evaluación

Extraído de :Scharager, J y Armijo, I. Metodología de la Investigación para las Ciencias

Sociales [CD-ROM]: Versión 1.01 Santiago: Escuela de Psicología, SECICO Pontificia

Universidad Católica de Chile. Programa computacional. 2001

41

Resumen La sección revisa el significado de “investigación evaluativa”, la tipología de los diseños de investigación de acuerdo a distintos ejes, tales como la posición del investigador, la referencia temporal, y algunas denominaciones habituales.

Objetivos Se espera: Que los participantes del taller revisen y comprendan los diferentes tipos de diseño de una evaluación y con ello justifiquen la elección de su propio diseño de evaluación.

Una investigación evaluativa es aquélla que analiza la estructura, el funcionamiento y los

resultados de un programa de intervención en una comunidad, con el fin de proporcionar

información de la cual se deriven criterios útiles para la toma de decisiones en relación con su

administración y desarrollo. El propósito central de este tipo de investigación es orientar el

proyecto de acción en sus distintos componentes a través del análisis crítico de sus objetivos,

procesos, resultados e impacto Este tipo de investigación se inicia (idealmente) en el momento

en que surge la idea de echar a andar un programa o intervención. Se comienza confrontando los

primeros lineamientos de objetivos con las necesidades reales del medio en que se inserta, con la

factibilidad de llevar a cabo los procedimientos que se requiere implementar para dar

cumplimiento a los objetivos y con los recursos humanos, materiales y económicos disponibles.

Una vez que se pone en marcha el programa, la evaluación se orienta a la determinación de la

necesidad de ajustes y cambios de acuerdo a lo planeado. El desarrollo del programa se sigue

paso a paso, con procedimientos que se elaboran ad hoc y que permiten detectar aquéllas

desviaciones respecto del plan original que requieren modificaciones para optimizar la obtención

de resultados, tomando en cuenta los nuevos escenarios que se van presentando. Esta fase de la

evaluación se concibe comúnmente como un "monitoreo" (o seguimiento) de actividades.

Finalmente, se evalúa el cumplimiento de los resultados esperados del programa, de acuerdo a

los objetivos propuestos.

VII. DISEÑO DE UNA EVALUACIÓN.

42

Para el diseño de este tipo de estudio, se aplican los mismos diseños que en la investigación

aplicada (epidemiológica, sociológica u operativa). Se propone una tipología, que clasifica los

diseños de investigación según los siguientes criterios o ejes de clasificación:

Según tres ejes Clasificatorios:

1) El primer eje se refiere a las unidades de observación del estudio; considera dos clases de

"observables": (a) individuos; (b) agregados (o colectivos de unidades individuales)

2) El segundo eje resulta de la posición del investigador (que puede limitarse a registrar u

observar los fenómenos –“posición pasiva”- o puede intervenir introduciendo

modificaciones a través de manipular condiciones o variables –“posición activa”-),

3) El tercer eje se estructura a partir la dimensión temporal del estudio, distinguiendo el “corte

transversal”, como aquel que permite una descripción “instantánea” de la frecuencia de

ciertos atributos y el “longitudinal”, cuyo interés se centra en evaluar los cambios a través

del tiempo en determinadas variables o relaciones entre éstas, para lo cual se recolectan

datos en distintos periodos específicos, para hacer inferencias respecto al cambio, sus

determinantes y consecuencias. (Almeida Filho, 1992)1 .

Eje 1: Unidad de Observación

Eje 2: Posición del Investigador

Eje 3: Referencia temporal

Algunas denominaciones habituales

transversal (seccional)

de área ecológica (1) Pasiva (Observación)

longitudinal tendencias o series temporales (2)

Colectivo

Activa ( Interacción) longitudinal investigación evaluativa (3)

transversal

“correlacional”(4) comparativo(5)

Pasiva (Observación) longitudinal cohortes(6)

caso/control (7)

Individuos Activa (Interacción)

longitudinal experimental(8) cuasi-

experimental(9)

43

1. Diseños de Área Ecológica: Este diseño se aplica en estudios epidemiológicos2 y aborda

áreas geográficas, analizando indicadores globales, la mayor parte de las veces por medio de

correlaciones entre variables ambientales (o socioeconómicas) e indicadores de salud. La

unidad de observación es un grupo (comunas, ciudades, países, etc.), en lugar de un

individuo. Se usan datos basados en promedios de poblaciones, por lo tanto el grado de

asociación entre la exposición y el problema de salud (o de otra naturaleza) es generalmente

más tenue. La mayor dificultad de estos estudios se debe a la falta de disponibilidad de datos

para controlar variables intervinientes3, lo que sumado al hecho de que las asociaciones se

atenúan, da resultados cuya validez es cuestionable. Se presenta el problema de extraer

inferencias inapropiadas de datos de áreas ecológicas, ya que diseños como éste no hacen

posible la reducción al ámbito individual de patrones observados a niveles de un colectivo

(comunas versus personas), en la medida que en este tipo de diseño, puede que no se cumpla

el supuesto que los mismos individuos son simultáneamente portadores del problema de

salud en estudio y del atributo asociado (habitantes de una determinada área geográfica. Las

ventajas de estos estudios son su facilidad de ejecución, costo bajo, simplicidad de análisis y

capacidad de generar hipótesis.

Un ejemplo de la aplicación de este tipo de diseño, se daría en una comuna de población de

bajos ingresos que se divide en sectores (por ejemplo, unidades vecinales) de igual superficie,

en las que se estudie variables socioeconómicas y demográficas y, la prevalencia4 de

problemas de salud mental (por ejemplo, depresión o violencia intrafamiliar). Se calcularía la

densidad demográfica de cada unidad vecinal para poner a prueba la hipótesis de que existe

una correlación entre concentración poblacional y prevalencia de problemas de salud mental.

En esta situación, la unidad de análisis es cada una de las unidades vecinales y las variables

2 El nombre epidemiología (del griego:epi (sobre)-demos(gente) –logos (conocimiento o ciencia), responde al origen histórico de la especialidad que se inició el estudio de un típico problema colectivo de la salud: las epidemias. A diferencia de la enfermedad -que es una noción clínica- el objeto de la epidemiología es la relación entre el subconjunto de “enfermos” y el conjunto de la población a la cual pertenece este subconjunto, así como los factores que determinan la relación. Los estudios epidemiológicos permiten describir fenómenos de salud de una comunidad: determinar la frecuencia, evolución, variaciones de un problema de salud; identificar factores causales, factores protectores y grupos vulnerables, conocer la historia natural de enfermedades; establecer rangos de variación de normalidad, predecir problemas y determinar necesidades de recursos. 3 Una variable interviniente es una variable oculta que se supone puede actuar entre la dependiente y la independiente, y cuya presencia explica la forma en que ésta ultima actúa sobre la dependiente. La variable interviniente no controlada puede convertirse en un factor de invalidez del diseño de investigación. 4 Prevalencia puede definirse como la proporción de casos de una enfermedad o problema de salud (o evento relacionado a la salud) en una población delimitada en un tiempo determinado. La prevalencia puede ser “instantánea” (cuando se marca un momento preciso en el tiempo) o, “periódica”, cuando se define un período e tiempo.

44

analizadas se constituyen en promedios (indicadores resumen de un colectivo, no de un

individuo). Por lo tanto, sería “falacioso”, hacer la inferencia del colectivo al individuo.

2. Diseños de Tendencia: Es aquel que analiza cambios a través del tiempo (en variables o sus

relaciones), dentro de alguna población (o agregado). Su característica distintiva es que la

atención se centra en la población (unidad de análisis es colectiva). Por ejemplo, una

investigación para analizar cambios en la actitud hacia la prevención del maltrato infantil en

una comunidad. Esta actitud se mide en varios momentos en el tiempo (una vez al año,

durante 10 años) y se examina su evolución a lo largo de ese período. Para este efecto, se

puede medir a la población entera o solo una muestra. (Hernández, Fernández & Baptista,

1998).

3. Diseños Correlacionales (o diseños de Observación Pasiva) son aquéllos que buscan describir

relaciones entre dos o más variables. Es básicamente una investigación estadística que no

necesariamente prueba razones causales que puedan estar subyacentes a las relaciones entre

variables. Los datos de las diferentes variables se obtienen de una sola muestra.

4. Diseños Comparativos: Son aquéllos que analizan paralelamente alguna variables entre dos

poblaciones (o sus muestras) en un momento determinado, con el objeto de establecer perfiles

diferentes o semejanzas (por ejemplo, comparación de hábitos de autocuidado entre hombres y

mujeres a partir de una muestra de cada grupo o población).

5. Diseños de Cohorte: El término “cohorte” designaba a las unidades de ejército romano que

poseían equipos y uniformes homogéneos. En el contexto de los diseños de investigación se

refiere a grupos de individuos que comparten alguna(s) característica(s); por ejemplo, los

nacidos en 1974, o los que fuman, o las familias con más de 4 hijos, etc., los que son

estudiados a lo largo del tiempo, por lo que estos diseños se consideran “prospectivos” Si se

aplican para estudiar la relación entre una probable causa de un problema de salud y la

aparición de éste, el primer paso para iniciar una investigación, consiste en identificar un

grupo poblacional homogéneo (sin el problema de salud de interés, por ejemplo, cáncer de

pulmón). Se clasifica entonces la cohorte de acuerdo con la exposición al factor de riesgo

hipotético (por ejemplo, el tabaco). Ambos subgrupos, los expuestos y no expuestos

(fumadores y no fumadores, respectivamente) son “seguidos” por el equipo de investigación,

durante un tiempo definido, para verificar el surgimiento del problema de salud (cáncer al

pulmón). El principal problema de este tipo estudios, por su condición de prospectivos -ya

que se inician antes que los sujetos hayan desarrollado la enfermedad y se los sigue durante

45

un período para determinar quienes desarrollarán la enfermedad o problema en estudio- es la

propia dinámica de las poblaciones humanas, lo que no permite siempre observar cohortes

fijas; debido a que se pierden participantes de la investigación por distintas razones

(migración, muerte, etc.), lo que puede modificar los resultados.

6. Diseño de Casos y Controles: Una manera de comprender estos diseños, es concebirlos

como el inverso de los de cohorte, ya que en los de casos y controles se parte identificando

sujetos que presenten el problema que interesa estudiar y a través de la comparación con otro

grupo que no lo tiene, retrospectivamente se buscan diferencias en la exposición al factor de

riesgo (o que es la hipotética causa del problema). Se trata de comparar un grupo de personas

con un problema (de salud u otro) –casos- con un grupo que no tenga ese problema, -control-

(un grupo de personas con cáncer de pulmón y otro que no lo tiene) en términos de la

frecuencia de exposición al factor de riesgo (fumar tabaco) o la frecuencia en la que éste

existió. En relación con la selección de los grupos, pueden ser pareados o no pareados. Este

es un estudio retrospectivo, que se inicia después de que los individuos han desarrollado el

problema o la enfermedad. Como se indicó, estos diseños son como el “opuesto” de los de

cohorte, ya que este último parte del factor de riesgo y observa prospectivamente la aparición

de casos. El diseño de casos-control (o “caso-testigo”) parte de los “enfermos”, (o no sanos o

portadores de un problema de salud u otro) identifica controles y trata de determinar

retrospectivamente el grado de exposición al supuesto factor.

Este tipo de diseño presenta algunos problemas de sesgo5 que hay que cautelar, como por

ejemplo, la distorsión del recuerdo del evento hipotéticamente causal del problema de salud

que se estudie; en la medida que el grupo de casos podrán recordar con más (o menos)

facilidad y detalles que el grupo de controles, dependiendo de cual sea el factor que se

analice.

7. Diseños Experimentales: investigación en el cual se manipulan deliberadamente una o más

variables independientes (supuestas causas) para analizar las consecuencias de esa

manipulación sobre una o más variables dependientes (efectos), dentro de una situación de

control para el investigador, con el propósito de eliminar hipótesis rivales y efectos de

variables intervinientes. La lógica de los diseños experimentales –que trata el fenómeno de la

causa y efecto- se basa en la siguiente estructura metodológica: existen dos situaciones que se 5 El sesgo en una investigación, se puede producir por una inclinación, prejuicio o interés de parte del investigador que pude influir y contaminar el manejo de procedimientos o interpretación de los datos. El sesgo depende de lo que se observa, de quien y cómo se observa.

46

miden para establecer comparabilidad; luego, se intenta modificar una de éstas introduciendo

variables extrañas (produciendo cambios o dando distintos valores a la variable

independiente, (que equivale a manipular); luego re-evaluamos cada situación después de la

manipulación. Cualquier cambio que se produzca, se supone que ha sido causado por la

variables extraña (manipulación intencional). El diseño experimental “verdadero” o “puro”,

debe cumplir con las siguientes condiciones: que exista manipulación intencional de una o

más variables independientes; medir el efecto de la variable independiente sobre la variable

dependiente (jamás manipular la variable dependiente); que exista un alto grado de control

situacional que elimine hipótesis rivales, produciendo condiciones de alta validez interna del

diseño, lo que se logra siempre y cuando exista al menos un grupo experimental (en el que se

introducen las modificaciones intencionales) y un grupo de control (que no recibe

manipulación), los que deben ser generando por un procedimiento aleatorio; vale decir,

asignando sus integrantes al azar.

8. Diseños Cuasi - experimentales: son experimentos que tienen tratamientos cuyo efecto se

quiere probar, tienen medidas de resultados, unidades experimentales, pero no usan la

asignación aleatoria para crear comparaciones a partir de las cuales se infieran los cambios en

la(s) variable(s) dependiente(s). En este caso, las comparaciones dependen de grupos no

equivalentes que pueden ser diferentes por condiciones ajenas al tratamiento, razón por la

que puede haber variables intervinientes y amenazas a la validez interna. Los diseños cuasi -

experimentales requieren que se hagan explícitas estas fuerzas que aparecen irrelevantes

cuando se emplea la asignación aleatoria. Son especialmente adecuados cuando no es posible

asignar al azar de los sujetos a los grupos experimentales, en situaciones en que la

investigación se realiza en el ambiente natural.

9. Diseños Descriptivos: Son investigaciones empíricas que pretenden hacer una

caracterización de una población en función de una o más variables, a partir del estudio de

una muestra. El procedimiento consiste en medir por medio de un instrumento (cuestionario,

test, encuesta, etc.), que proporcione tal descripción. No hay ninguna manipulación de

variable.

47

BIBLIOGRAFÍA

SECCIÓN: Diseños de una Evaluación

Extraído de :Scharager, J y Armijo, I. Metodología de la Investigación para las Ciencias

Sociales [CD-ROM]: Versión 1.01 Santiago: Escuela de Psicología, SECICO Pontificia

Universidad Católica de Chile. Programa computacional. 2001

48

Resumen Este módulo presenta los componentes principales del Cuadro de Evaluación (CDE), y lo relaciona con algunos aspectos del proceso de recolección de datos.

Objetivos Se espera: - Entender la importancia de elaborar un CDE antes de embarcar en el

proceso de evaluación. - Elaborar un CDE. - Encarar mejor el proceso de recolección de datos.

Aspectos Relevantes

El Cuadro de Evaluación (CDE) es una herramienta que sirve para la identificación sistemática

de las preguntas, los indicadores, las fuentes de datos y los métodos para coleccionar o generar

los datos necesarios para realizar la evaluación. Se puede considerar como ‘una pintura en

palabras’ del plan de evaluación. No se debe confundir el cuadro de evaluación con el MLP

(marco lógico del programa). La elaboración del MLP es el primero paso; esto permite una

visión completa del programa. Luego, el CDE sirve para enfocar la evaluación sobre ciertos

aspectos del programa. Juntas, las dos herramientas permiten un entendimiento del programa en

su totalidad, mas los aspectos específicos a ser evaluados.

El CDE consiste en 9 columnas de información, como siguen:

1. Definición del problema evaluativo – listado de temas/problemas/retos objeto de la

evaluación. Puede reflejar temas relacionados con uno o más de los siguientes aspectos de un

programa: justificación, eficiencia, eficacia, destinatarios, e impacto. Cada tema ocupa una

fila (o página) del cuadro.

Justificación: considera la contribución del programa a la misión, meta general o

dirección estratégica del organismo. Una evaluación enfocada en la justificación

considera si el programa es la forma mas apropiada de cumplir la(s) meta(s).

Eficiencia: considera el manejo racional de los insumos al programa a fin de realizar

los productos a un costo bajo. Se puede entender como la relación

VIII. CUADRO DE EVALUACIÓN Y RECOLECCIÓN DE DATOS:

VISIÓN GENERAL.

49

insumos-producto (recursos invertidos por cada unidad de producto). Considera si el

programa entrega, oportunamente, la suficiente cantidad de insumos de buena calidad en

relación a los planes y las necesidades del programa.

Eficacia: considera si los productos del programa generaron resultados (efectos

directos o impactos) que contribuyeron a la meta del programa. Mide los cambios en

el grupo meta que sean resultados del programa. Sirve para relacionar los productos

del programa con los resultados esperados.

Destinatarios considera si el proyecto genera beneficios que estén al alcance de todo

el grupo meta, y si ellos habían tenido la oportunidad de participar en el desarrollo del

proyecto.

Impacto: considera los cambios a largo plazo que resulten del proyecto.

2. Preguntas de evaluación – se las formulan en base a la problemática (ver Sección VI).

3. Indicadores – miden los resultados y proporcionan evidencia de progreso hacia la realización

de los objetivos específicos (ver Marco Lógico).

4. Datos requeridos – información necesaria para rellenar los indicadores.

5. Fuentes de datos – se refiere a los individuos, las organizaciones, los documentos u otros

informes que puedan abastecer la información necesaria. Se debe especificar la fuente de

datos para cada indicador. Típicamente, se tiene que identificar las fuentes (o potenciales

fuentes) de datos sin que ellas todavía los tengan o los generan.

6. Método de recolección de datos – especifica la manera de generar o recoger los datos. Puede

incluir cuestionarios, entrevistas, datos secundarios, grupos focales, observación directa, o

revisión de documentos. Se debe considerar el método par determinar la muestra (al alzar o a

propósito), el proceso de elaborar los instrumentos, y los datos sobre respondientes que

permitan un análisis de resultados desagregado (por ejemplo, sexo/género, edad, ocupación).

Como se ha visto antes, el modelo de evaluación en gran parte determina el método de

recolección de datos.

7. Análisis – especifica la manera de analizar los datos para poder utilizar los indicadores

(columna 3) y responder a las preguntas de evaluación (columna 2).

8. Responsabilidad – especifica quién se hará cargo de cada tema (fila de información en el

cuadro).

9. Cronograma – indica cuándo se quiere empezar y terminar el proceso de evaluación, por cada

tema.

50

La siguiente tabla presenta un Cuadro de Evaluación (CDE) con los 9 columnas de información requerida: CUADRO. Cuadro de Evaluación.

Definición del

Problema Evaluativo

Preguntas de Evaluación

Indicadores

Datos Requeridos

Fuentes de Datos

Método de recoleccion de

datos

Análisis

Responsabilidad

Cronograma

Identifique los temas a ser tratados en la evaluación Ej.: Justificación, Eficiencia, Eficacia, Impactos, etc.

Formule las cuestiones apropiadas para examiner los temas.

Especifique las unidades para medir los insumos, actividades, productos y resultados.

Indique los datos necesarios para los indicadores.

Identifique los individuos, organismos, o documentos donde originan los datos.

Determine como se recogerán o generarán los datos.

Indique el tipo de análisis que se realizará.

Identifique las personas quienes se harán cargo de coleccionar y analizar la información.

Estime el periodo de tiempo para recoger y analizar la información, y redactar y presentar el informe preliminar y final.

51

Recolección de Datos – Visión General

La elaboración de un CDE facilitará la recolección de datos para la evaluación. Ayuda a

identificar las fuentes o posibles fuentes de datos. Una vez identificadas las fuentes, éstas deben

ser consultadas para determinar el tipo y el formato de información que tienen. Existen

principalmente tres posibilidades en cuanto a datos:

1. Los datos necesarios no existen; en este caso, hay que crear métodos y nuevos

instrumentos para generarlos.

2. Los datos existen pero son demasiado antiguos, o no han sido coleccionados en forma

útil, confiable, y/o accesible. En estos casos, es aconsejable revisar la información

existente. Hay que entender como han sido recaudados, y si éstos procesos de

recaudación de datos todavía funcionan. Será necesario diseñar nuevos instrumentos para

la recolección de datos, en base a procesos ya existentes, o mediante la creación de

nuevos procesos de recolección de datos.

3. Los datos que se requieren ya existen y todavía se recoleccionan. En este caso, se tendrá

que verificar la calidad de la información, determinar si su uso es permitido (o llegar a

un acuerdo sobre su uso), y posiblemente recopilar los datos en una forma que se adecue

mejor a los propósitos de la evaluación.

Los métodos para la recolección de datos parten de la metodología elaborada en el diseño de la

evaluación. De todos modos, normalmente las evaluaciones en el ámbito de los servicios sociales

incorporarán una mezcla de métodos cuantitativos y cualitativos. Los métodos cuantitativos

implican la generación de datos que sirvan para el análisis estadístico, por ejemplo: efectuar

medidas numéricas (determinación de promedios, distribuciones, etc.), realizar pruebas

estadísticas, establecer relaciones entre variables, determinar niveles de significancia en base a

observaciones, etc. Por otro lado, los métodos cualitativos apuntan a los ‘conocimientos

emergentes’ a través de rondas sucesivas de la recolección y análisis de información. Se busca

respaldar los hallazgos provenientes de los métodos cuantitativos con los hallazgos de los

metodos cualitativos, y viceversa. Por otro lado, la revelación de contradicciones entre los

hallazgos cuantitativos y cualitativos implica la necesidad de mayor investigación para explicar o

resolverlas.

52

BIBLIOGRAFÍA

SECCIÓN: Cuadro de Evaluación y Recolección de Datos.

Boulmetis, J., & Dutwin, P. (2000). The ABCs of Evaluation. San Francisco: Jossey-

Bass. Chapter 6. Canadian International Development Agency (CIDA). (2004). CIDA Evaluation

Guide. Gatineau: CIDA. (Disponible online) Guba, E. G., & Lincoln, Y. (1989). Fourth Generation Evaluation. Thousand Oaks:

Sage Publications. Chapter 9 Palys, T. (1992). Research Decisions. Quantitative and Qualitative Perspectives.

Toronto: Harcourt Brace Jovanovich Canada Inc. Chapter 5 W.K. Kellogg Foundation. (1998). Evaluation Handbook. Battle Creek: W.K.

Kellogg Foundation: Chapter 5 Planning Steps pp. 48-68. (Disponible online)-

53

Resumen Este módulo presenta los principales métodos cualitativos para la recolección de datos en la evaluación (y en general), e identifica las situaciones más adecuadas para su uso. También proporciona más información sobre las ventajas de la aplicación del “método mixto” en la evaluación.

Objetivos Se espera: - Explicar los métodos cualitativos para la recolección de datos. - Identificar las situaciones apropiadas para el uso de las metodologías

cuantitativas. - Explicar las ventajas del uso del “método mixto” en la evaluación.

A diferencia de las metodologías cuantitativas, las cualitativas vienen de las ciencias sociales

como la antropología y la sociología. Estas suponen que el mundo está constituido por un

conjunto de fenómenos, la interpretación de los cuales es netamente subjetiva. Los métodos

cualitativos ayuden a interpretar estos fenómenos sociales. La metodología cualitativa requiere

que la colección de datos siga hasta que se genere un consenso en base a varias fuentes de datos

consultadas y/o hasta que ningún hallazgo novedoso salga.

Esta metodología permite que los métodos de recaudación de datos evolucionen paralelamente,

en forma iterativa, con el proceso de evaluación. El enfoque principal de la metodología

cuantitativa es descubrir los fenómenos, su contexto, las condiciones que les afectan, y las

estrategias de acción para enfrentarlos. Métodos cualitativos comunes son 1) las entrevistas con

informantes claves 2) los grupos focales 3) las reuniones grandes 4) la observación directa, y 5)

el análisis de documentos y artefactos.

IX. METODOLOGÍA CUALITATIVA EN LA EVALUACIÓN DE PROGRAMAS.

54

Las entrevistas con informantes claves comprenden preguntas con respuestas abiertas que

motiven unas respuestas detalladas en cuanto a las experiencias, percepciones, opiniones,

sentimientos y conocimientos del entrevistado. Las entrevistas pueden ser estructuradas, semi-

estructuradas o libres de estructura. Normalmente proporcionan una buena explicación del

fenómeno y una descripción adecuada del contexto, desde el punto de vista del entrevistado.

La información proveniente puede servir como contexto para la posterior elaboración de

encuestas a ser aplicada a una población o muestra más grande.

Los grupos focales sirven como espacio para que un grupo de invitados compartan sus

pensamientos, preocupaciones, sentimientos, actitudes e ideas sobre un tema o sobre varios

temas. Tal como las entrevistas con informantes claves, los grupos focales pueden respaldar a

datos recaudados mediante los métodos cuantitativos. Ayudan en la posterior formulación de

encuestas y también pueden retroalimentar el análisis de datos provenientes de una encuesta

estructurada. Su éxito depende en parte de la facilitación por un moderador que puede

asegurar una alta participación en la discusión sobre los asuntos importantes y dentro del

periodo de tiempo planificado. Para aprovechar el tiempo al máximo, se debe considerar la

entrega de encuestas breves a los participantes en los grupos focales en el momento de su

llegada mientras que esperan la llegada de los demás participantes.

Reuniones grandes sirven para obtener un sinopsis del contexto o de la problemática. Se puede

considerar desagregar la reunión grande en grupos focales después de unas rondas

preliminares de discusión. Por ejemplo, se podría desagregar un grupo de 50 personas en 5

grupos focales. Además, las presentaciones en plenaria y el uso de herramientas audio-

visuales sirven para comunicar la información y estimular la participación. Este foro requiere

de un facilitador para captar los puntos de vista de los grupos o representados.

La observación directa consiste en anotar las impresiones acerca de las actividades,

comportamientos, relaciones interpersonales, eventos organizacionales o comunitarios, y

cualquier otra experiencia humana relacionada al sujeto de investigación que se puede

observar. Las observaciones sirven para retroalimentar el proceso de triangulación que busca

un consenso y/o las relaciones entre los hallazgos provenientes de las distintas fuentes de

55

datos. Por ejemplo, si una familia dá los datos sobre su ingreso anual mediante una encuesta,

puede ser que la observación de su condición de vida verifique o contradiga la respuesta.

Puede ser necesario hacer más preguntas para aclarar la situación. Dependiendo de la

situación, se puede considerar el uso de cámaras fotográficas si enriquecen las observaciones.

Análisis de documentos y artefactos consiste en realizar una revisión sistemática de varios

documentos relacionados al tema de análisis, incluyendo informes oficiales o informales de la

organización o el programa, fotografías, y correspondencia. Sirve para entender los cambios

que ha experimentado una organización o un programa durante su evolución. Se debe

considerar formular un cuadro para poder captar la información proveniente de documentos en

forma sistemática para facilitar un análisis posterior y su integración a los demás hallazgos.

Los métodos cualitativos pueden ser aún más útiles cuando el evaluador conoce de cerca el

contexto de su aplicación. Para procesar la información, se identifican temas generales que

empiezan a salir mediante el proceso de triangulación. Con cada iteración o traspaso de

información, se va apuntando en forma más precisa sobre los hallazgos, codificándolos según

los temas identificados. Para el informe final, se pueden respaldar los hallazgos con breves

estudios de caso o citas directas provenientes de personas entrevistadas, o basadas en los

consensos articulados durante un grupo focal.

56

BIBLIOGRAFÍA SECCIÓN: Metodología Cualitativa en la Evaluación de Programas.

Bamberger, M. J., Rugh, J., & Mabry, L. (2006). RealWorld Evaluation. Working Under Budget, Time, Data, and Political Constraints. Thousand Oaks: Sage Publications, Inc.

Palys, T. (1992). Research Decisions. Quantitative and Qualitative Perspectives. Toronto: Harcourt Brace Jovanovich Canada Inc. Chapter 14

Williams, K. (1999). Mixing Quantitative and Qualitative Evaluation Tools: A Pragmatic Approach. Durham: The Curriculum, Evaluation and Management (CEM) Centre. (disponible online)

57

Resumen Este módulo revisa algunos aspectos principales relativos a los métodos cuantitativos en materia de evaluación de programas/proyectos. Se repasan conceptos tales como variables, universo, muestra y tipos de muestreo. Igualmente, se discuten algunos aspectos de los cuestionarios/encuestas como herramienta para la recolección de datos cuantitativos. Posteriormente, se repasan algunos elementos relativos al análisis estadístico, tanto de la estadística descriptiva como inferencial y pruebas paramétricas y no paramétricas. Finalmente, se discute la relevancia que éstos conceptos y herramientas pueden tener en los proyectos de evaluación de los/as participantes y se enfatiza el rol complementario de las metodologías cuantitativas y cualitativas, y la aproximación a través de métodos mixtos, cuando es pertinente.

Objetivos Se espera: - Revisar, discutir y comprender aspectos centrales relativos a las

metodologías cuantitativas en proyectos de evaluación. - Analizar el rol de las metodologías cuantitativas en los proyectos propuestos

por los equipos participantes en este entrenamiento.

Metodologías de Evaluación.

Es esencial conocer la pregunta y los objetivos de evaluación para definir el mejor diseño

evaluativo. Las metodologías cuantitativas y cualitativas nos ayudan a enfrentar el desafío y

responder a las preguntas/objetivos de evaluación. La utilización conjunta de los métodos

cuantitativos y cualitativos puede ser aconsejable, siempre que se den las condiciones

necesarias para llevarla a cabo. En ocasiones, hay que escoger entre un tipo y otro de

metodología, considerando los objetivos de la evaluación, el tema a evaluar y las condiciones

o situación en que se produce la evaluación.

Métodos Cuantitativos: Generalidades.

Los métodos cuantitativos, denominados también empírico-analíticos, racionalistas o

positivistas, defienden la aplicación de los objetivos, conceptos y métodos de las ciencias

naturales a las ciencias sociales. En este caso, se asume que la realidad se debe conocer,

predecir y controlar a través de la observación y experimentación de los fenómenos.

X. METODOLOGÍA CUANTITATIVA EN LA EVALUACIÓN DE PROGRAMAS.

58

Los métodos cuantitativos responden pues a una realidad positivista, hipotético-deductiva,

orientada hacia la generalización los resultados. El ámbito de aproximación social queda

reducido a fenómenos observables y susceptibles de medición, control experimental y análisis

estadístico. Permiten mediciones más precisas (desde la mirada positivista). En cambio, los

métodos cualitativos posibilitan un examen más directo de las motivaciones, actitudes y

comportamientos de los individuos.

Actualmente, ambas metodologías, al margen de los diferentes paradigmas y posiciones de las

que parten -positivista e interpretativa- se consideran compatibles, válidas y complementarias

en evaluación.

Variables Variable es una característica, propiedad o atributo de la unidad de análisis que puede tomar

diversos valores y que es observada o medida. Se le llama “variable” precisamente porque

“varía” de sujeto a sujeto. Cada sujeto tiene un valor para cada variable. La escala es el

conjunto de valores que puede tomar una variable.

Según el tipo de valores que toman las variables, se reconocen diferentes tipos de variables. El

tipo de variable es importante, pues influye en el análisis que se puede realizar y los métodos

estadísticos que se deben utilizar. Entre los distintos tipos de variables, es importante

reconocer los siguientes: Dependientes Vs. Independientes; Cualitativas Vs. Cuantitativas;

Discretas Vs. Continuas; Nominales Vs. Ordinales Vs. Intercalares.

Los datos son características o números que son recolectados por observación.

Universo Vs. Muestra

Población Objetivo o Universo: conjunto de todos los individuos (personas, objetos, animales,

etc.) que porten información sobre el fenómeno que se estudia. Por ejemplo, si se estudia la

prevalencia de depresión en los habitantes mayores de 18 años de una ciudad, la población

será el total de los habitantes de dicha ciudad mayores de 18 años.

59

Muestra: Una selección tomada de un grupo más grande (la "población") para poder

examinarla y determinar algo sobre el grupo más grande. Es, entonces, un subconjunto de la

población seleccionado de acuerdo con un criterio, y que suele buscar ser representativa de la

población.

Marco Muestral: es la lista de individuos de la población objetivo a partir de la cual se

obtendrá la muestra.

En muchas evaluaciones, no es factible contar con información de todo el universo de

elementos o individuos, por lo que se recurre al uso de muestras. Una muestra es

representativa cuando reproduce las características importantes de la población. Es

fundamental, escoger el mejor método para la selección de la muestra, según las condiciones

de cada proceso evaluativo.

Principales Métodos de Muestreo Muestras No Probabilísticas Intencionado

Cuoteo Experto

Muestras Probabilísticas Muestreo Aleatorio Simple Muestreo Aleatorio Sistemático Muestreo Aleatorio Estratificado Muestreo en Conglomerado. Muestreo Multi-etapas.

**Censo: Un caso especial. A continuación, se revisan algunas características de los principales métodos de muestreo.

Cada uno de ellos tiene sus ventajas y desventajas, las que deben ser valoradas caso a caso al

momento de decidir cuál es el más apropiado para la evaluación específica que se plantea.

A.- Muestreo Aleatorio Simple

1. Se asigna un número a cada individuo de la población.

2. Se eligen aleatoriamente tantos sujetos como sea necesario para completar el tamaño

muestral requerido

60

b.- Muestreo Aleatorio Sistemático

1. Primero, se numeran todos los elementos de la población, pero en lugar de extraer n

números aleatorios sólo se extrae un número aleatoriamente, al inicio.

2. A partir de ese número aleatorio i, los elementos que se integran la muestra son los que

ocupan los lugares i, i+k, i+2k, i+3k,...,i+(n−1)k, es decir se toman los elementos de k

en k, siendo k el resultado de dividir el tamaño de la población entre el tamaño de la

muestra: k= N/n.

c.- Muestreo Aleatorio Estratificado

1. Se consideran categorías típicas diferentes entre sí (subpoblaciones o estratos) que

poseen gran homogeneidad respecto a alguna característica (se puede estratificar, por

ejemplo, según la profesión, el centro de salud, el sexo, etc.). Requiere conocer

detalladamente el universo muestral.

2. Se pretende con este tipo de muestreo asegurar que todos los estratos de interés estén

representados adecuadamente en la muestra.

3. Cada estrato se maneja independientemente, pudiendo aplicarse dentro de ellos el

muestreo aleatorio simple o el estratificado para elegir los elementos concretos que

formarán parte de la muestra.

4. La distribución de la muestra en función de los diferentes estratos se denomina

afijación, y puede ser de diferentes tipos:

– Afijación Proporcional: La distribución se hace de acuerdo con el peso

(tamaño) de la población en cada estrato.

– Afijacion Disproporcional.

d.- Muestreo Aleatorio por Conglomerado y Muestreo Multi-etapas.

1. En este caso, la unidad muestral es un grupo de elementos de la población que forman

una unidad, a la que se denomina conglomerado.

2. Se selecciona aleatoriamente un cierto número de conglomerados (el necesario para

alcanzar el tamaño muestral establecido) y luego se estudian los elementos

61

pertenecientes a los conglomerados elegidos. Por ejemplo, los hospitales, los centros

de salud, las facultades universitarias, representan conglomerados naturales. En otros

casos, se pueden utilizar conglomerados no naturales como, por ejemplo, las urnas

electorales. Si los conglomerados son áreas geográficas suele hablarse de "muestreo

por áreas".

Determinar el tamaño adecuado de muestra (tamaño muestral) es muy importante en la tarea

de evaluación. Si la muestra es más grande de lo requerido, los costos se incrementan

innecesariamente. Al contrario, si el tamaño muestral es menor de lo necesario las

conclusiones quizás no sean válidas.

Para determinar el tamaño muestral de un estudio, debemos considerar diferentes situaciones:

A. Estudios para determinar parámetros. Se pretende hacer inferencias a valores

poblacionales (proporciones, medias) a partir de una muestra.

B. Estudios para contraste de hipótesis. Se quiere comparar si las medias o las proporciones

de las muestras son diferentes.

Considerar:

1. La situación especifica/objetivo.

2. El tipo de muestreo.

3. El parámetro a estimar.

4. El error muestral admisible.

5. La varianza poblacional.

6. El nivel de confianza.

La Encuesta/Cuestionario

Dentro de los métodos de recolección de datos cuantitativos más utilizados en evaluación de

programas, se encuentra el uso de cuestionarios/encuestas. Éstas también pueden ser muy

útiles para obtener información cualitativa, por ejemplo, cuando se utilizan preguntas abiertas.

62

Elementos clave en el diseño de un cuestionario

(1) Coherencia con los objetivos del estudio y el diseño de evaluación.

(2) Las preguntas propiamente tales,

(3) El formato de respuestas y las categorías

(4) Cualquier instrucción especial que aparezca en el cuestionario.

(5) La longitud de la encuesta.

(6) El formato de la encuesta, en su conjunto.

A continuación, en la siguiente tabla, se revisan algunas de las ventajas y desventajas del uso

de cuestionarios/encuestas y cuando es más pertinente su uso.

Cuándo Ventajas Desventajas/Desafíos Cuestionarios, Encuestas.

Cuando se requiere contar con información proveniente de muchas personas, de una forma no amenazante.

- Pueden ser anónimas. - El costo puede ser bajo. - Fácil de comparar y analizar. - Gran cantidad de información. - Pueden basarse en cuestionarios pre-existentes.

-Podrían no proporcionar suficiente profundidad. - Las preguntas y el fraseo pueden sesgar las respuestas. - Son impersonales. - No dan cuenta de la “historia completa”. - Sus resultados están fuertemente ligados a la calidad de la muestra. - Difícil, en ocasiones, lograr alta tasa de respuesta. Deseabilidad social.

63

Aplicación de la Encuesta

En Persona Vs. Auto-administrada

Medios:

o Por teléfono

o Por correo

o Por Internet

Avisos Previos y Seguimiento de Respuesta.

Importancia de preparación de entrevistadores.

Seguimiento y control de calidad.

Importante: Estrategias para alcanzar la máxima tasa de respuesta posible.

Algunas consideraciones para el manejo de información cuantitativa en evaluación.

1. Revisar los datos.

2. Definir cual será el manejo de los datos “missing” (perdidos).

3. Resguardar las bases de datos.

4. Tabular adecuadamente la información.

5. Para “ratings” y “rankings” considerar los promedios para cada pregunta. Por

ejemplo, para una pregunta “x”, la respuesta promedio fue 2,4; que puede tener más

sentido que indicar cuántas personas respondieron 1 o 2 o 3 en ésta pregunta.

6. Considerar la integración de alternativas para presentar los resultados. Por ejemplo:

20% bueno y muy bueno.

Análisis Cuantitativo

Es un elemento fundamental en el proceso evaluativo.

Las herramientas estadísticas son de alta importancia para ello.

Es esencial pensar en el análisis antes de iniciar el proceso de recolección de

datos.

Los objetivos/hipótesis del estudio así como la muestra están íntimamente

ligados al tipo de análisis que se debe realizar, en cada caso.

64

Es importante revisar algunos conceptos básicos de estadística descriptiva y estadística

inferencial. En ningún caso, se espera cubrir todos los aspectos relevantes sobre ellas, en este

entrenamiento. Se sugiere imperiosamente el uso de literatura complementaria y, para quienes

no tienen estudios en esta área o quienes desean profundizar más al respecto, el tomar cursos

en este campo es muy recomendable.

Estadística Descriptiva

Es un conjunto de procedimientos que tienen por objeto presentar datos por medio de tablas,

gráficos y/o medidas de resumen. Es la primera etapa a desarrollar en un análisis de

información. Los datos pueden ser resumidos numérica o gráficamente. Ejemplos básicos de

descriptores numéricos son: medidas de tendencia central (ej. la media) y medidas de

dispersión (ej. la desviación estándar). Algunos ejemplos gráficos son: tablas de frecuencia,

histograma, pirámide poblacional, etc.

Estadística Inferencial

Generación de modelos, inferencias y predicciones asociadas a los fenómenos en cuestión

teniendo en cuenta la aleatoriedad de las observaciones. Se usa para extraer inferencias acerca

de la población bajo estudio.

Estas inferencias pueden tomar la forma de respuestas a preguntas si/no (prueba de hipótesis),

estimaciones de características numéricas (estimación), pronósticos de futuras observaciones,

descripciones de asociación (correlación) o modelamiento de relaciones entre variables

(regresiones).

Pruebas Paramétricas

Corresponden a las técnicas estadísticas de estimación de parámetros, intervalos de

confianza y prueba de hipótesis que son aplicadas básicamente a variables continuas.

Estas técnicas se basan en especificar una forma de distribución de la variable aleatoria

y de los estadísticos derivados de los datos.

65

La mayoría de procedimientos paramétricos requiere conocer la forma de distribución

para las mediciones resultantes de la población estudiada.

Se asume que la población de la cual la muestra es extraída es NORMAL o

aproximadamente normal. Esta propiedad es necesaria para que la prueba de hipótesis

sea válida.

Suele requerirse un “n” mayor a 30.

Supuestos:

1. La distribución poblacional de la variable dependiente es normal: el universo tiene

una distribución normal.

2. El nivel de la medición de la variable dependiente es por intervalo o razón.

3. Cuando dos o más poblaciones son estudiadas, éstas tienen una varianza

homogénea, es decir: Las poblaciones en cuestión tienen una dispersión similar en

sus distribuciones.

Pruebas No Paramétricas:

Es una alternativa en la solución de problemas, donde no existen supuestos tan

numerosos ni severos como en las pruebas paramétricas y son aplicables a cualquier

variable, en particular a las de tipo nominal u ordinal, así como a distribuciones

diversas.

No se asume distribución normal.

Sí se quiere análisis no paramétricos de datos por intervalos o razón, éstos deben se

resumidos a categoría discretas. Las variables deben ser categóricas.

66

BIBLIOGRAFÍA

SECCIÓN: Metodología Cuantitativa en la Evaluación de Programas

• Andresen EM, Diehr P H, Luke D. Public Health Surveillance of Low-Frequency

Populations. Annu. Rev. Public Health 25:25-52, 2004. • Charlton R. Research: is an 'ideal' questionnaire possible? Int J Clin Pract 54(6):356-

9, 2000. • Choi BCJ, Pak AWP. A catalog of biases in questionnaires. Prev Chronic Disease

(series online) 2005 Jan. Disponible en: URL: http://www.cdc.gov/pcd/issues/2005/jan/04_0050.htm

• Couper MP. Web Survey Design and Administration. Public Opin Q 65(2):230-53, 2001.

• Dillman Don A. Why Choice of Survey Mode Makes a Difference. Public Health Reports 2006;121:11-13.

• Fernández P. Determinación del Tamaño Muestral. Cad Aten Primaria 1996; 3: 138-14.

• Fuentelsaz C. Cálculo del tamaño de la muestra. Matronas Profesión 2004; vol. 5, n.º 18. Disponible en: http://www.isciii.es/htdocs/redes/investen/publicaciones/calculo_muestra.pdf

• Gómez-Gómez M, Danglot-Banck C, Vega-Franco L. Sinopsis de pruebas estadísticas no paramétricas. Cuándo usarlas. Rev Mex Pediatr 2003; 70(2); 91-99

• Higgins JPT, Green S, editors. Cochrane Handbook for Systematic Reviews of Interventions 4.2.6 [updated September 2006]. In: The Cochrane Library, Issue 4, 2006. Chichester, UK: John Wiley & Sons, Ltd. Disponible en: http://www.cochrane.org/resources/handbook/handbook.pdf

• Lu Ann Aday & Llewellyn J. Cornelius "Designing and Conducting Health Surveys; A Comprehensive Guide", 3rd Edition. Josey-Bass: San Francisco, CA. 2006.

• Neuman WL. Basics of Social Research: Qualitative and Quantitative Approaches. Pearson Education, Inc. 2004.

• Schwarz N. Self-reports: How the questions shape the answers. Am Psychologist, 54(2), 93-105, 1999.

• Thacker Stephen B, Stroup Donna F, Carande-Kulis V, Marks James S. Roy, Kakoli, Gerberding Julie L. Measuring the Public’s Health. Public Health Reports 2006; 121:14-121

• Universidad de Chile: Vicerrectoría de Asuntos Académicos, Departamento de Evaluación, Medición y Registro Educacional. Nociones Básicas de Estadística Utilizadas en Educación. Disponible en: http://www.demre.cl/text/doc_tecnicos/p2009/estadistica_descriptiva.pdf

http://www.cdc.gov/pcd/issues/2005/jan/04_0050.htm�

http://www.cochrane.org/resources/handbook/handbook.pdf�

67

Resumen Este módulo revisa aspectos centrales de la gestión y logística en el desarrollo de

proyectos de evaluación. Muchas veces, son los aspectos prácticos los que inciden fuertemente en el éxito o fracaso de una evaluación. Es muy importante tener en cuenta estas áreas, desde la etapa de planificación de un proyecto. Entre los elementos críticos en la gestión de una evaluación se encuentran el tiempo, los recursos humanos y económicos, la calidad y las acciones/actividades. El adecuado balance entre ellos y la supervición constante de los mismos es de central relevancia para lograr los objetivos propuestos en una evaluación. Sin duda, es el factor humano de primer importancia a la hora de llevar adelante una evaluación. Muchas veces, no se le dá suficiente atención, lo que facilita la aparición de conflictos o problemas que ponen en riesgo el proceso evaluativo.

Objetivos Se espera: - Revisar, discutir y comprender los aspectos clave relativos a la gestión y

logística de un proyecto de evaluación. - Analizar las implicancias de una adecuada gestión en los proyectos

propuestos por los equipos participantes en éste entrenamiento.

Gestión de Proyectos: Aspectos Generales

La gestión de proyectos se refiere a organizar y administrar los recursos de manera tal que se

pueda concretar el trabajo requerido para alcanzar los objetivos del proyecto dentro de los

tiempos esperados, con un adecuado nivel de calidad. Involucra un conjunto de

conocimientos, habilidades, técnicas y herramientas encaminadas a planificar e implementar

tareas que conduzcan a alcanzar eficientemente los objetivos del proyecto.

Incluye la planificación, el seguimiento y control de las actividades y de los recursos

humanos y materiales que intervienen en el desarrollo de un Sistema de Información.

Permite prevenir, identificar y resolver oportunamente los problemas que pueden

surgir en el desarrollo de una iniciativa.

La Gestión de Proyectos no es un proceso completamente definido.

Distintos enfoques. Algunos valoran más el control y el seguimiento, el manejo de

recursos económicos, mientras que otros se centran en los aspectos de liderazgo y

gestión de personas.

X. GESTIÓN Y LOGÍSTICA EN PROYECTOS DE EVALUACIÓN.

68

No existe una única definición. Hay que considerar algunos énfasis y dimensiones de

las definiciones existentes:

o Administración, Gerencia, Visión,

o Diseño e implementación/ejecución.

o Es un arte.

o Cada iniciativa es única.

Implica un proceso de aprendizaje.

Dimensiones de un Proyecto

Dimensión técnica: se aplican conocimientos/competencias específicas de diversas

disciplinas, de acuerdo al problema en cuestión y a los objetivos del proyecto.

Dimensión humana: las relaciones humanas son parte esencial del desarrollo de un

proyecto o proceso evaluativo, existiendo múltiples áreas relevantes e intereses al

respecto.

Dimensión gestión: es aquello invisible que facilita el que las dimensiones técnicas y

humanas, en un contexto específico, con recursos limitados, se expresen

armónicamente para alcanzar los objetivos de la propuesta.

Fases en la Gestión de un Proyecto

Fase de planificación. Aquí la pregunta es cómo el equipo de trabajo se prepara

para satisfacer las exigencias del proyecto, incluyendo las actividades, la definición

del presupuesto, etc. La planificación detallada facilita el desarrollo del proyecto y

previene la aparición de “sorpresas” no gratas.

Fase de ejecución. Representa el conjunto de tareas y actividades que suponen la

realización propiamente dicha del proyecto, la ejecución de la obra de que se trate.

Implica la gestión cotidiana y dinámica de los recursos en la forma adecuada para

desarrollar el proyecto.

Fase de entrega. Todo proyecto está destinado a finalizarse en un plazo

predeterminado, culminando en la entrega a los receptores predeterminados. En

este caso, se trata del reporte de evaluación, de acuerdo a los estándares esperados,

alcanzando los objetivos propuestos.

69

Aspectos Críticos para la Gestión de un Proyecto de Evaluación.

Tiempo

Recursos (humanos y económicos)

Acciones/actividades

Calidad

Estos cuatro elementos están interconectados estrechamente. Es fundamental buscar la mejor

“ecuación” para su adecuado equilibrio.

A continuación, se revisan con mayor detalle los siguientes aspectos: (a) tiempo, (b) recursos

humanos, (c) recursos económicos y (d) actividades.

(a) Tiempo

En particular, respecto al tiempo necesario para una evaluación, así como para coordinar su

adecuado uso, depende, entre otros factores, de:

Cuál es la pregunta/objetivos de evaluación.

Cuál es la mejor forma de responder esa pregunta y cuál es el diseño que utilizaremos.

Urgencia y posibilidades reales de tiempos.

Contexto en que se enmarca la evaluación.

Capacidad y calidad del equipo.

Es necesario ser cuidadosos en su estimación y activos en el seguimiento.

Carta Gantt

El gráfico de Gantt es la forma habitual de presentar el plan de ejecución de un proyecto,

recogiendo en las filas la relación de actividades a realizar y en las columnas la escala de

tiempos considerada. La duración y situación en el tiempo de cada actividad se representa

mediante una línea dibujada en el lugar correspondiente.

(b) El Equipo de Evaluación

La creación y desarrollo del equipo de trabajo es fundamental para el éxito de un

proyecto evaluativo.

Equipo: es mucho más que un grupo…

70

El estilo de dirección y la forma de resolver los conflictos influye de manera decisiva

en el desarrollo del proyecto.

Definición de roles y responsabilidades.

Estilo de trabajo en equipo.

Comunicación.

Manejo de conflictos.

Clima de trabajo.

(c) Recursos Económicos.

Presupuesto: Implica, Personal/ Equipamiento/ Servicios/ Implementos (papel, tinta, etc.)/

Viajes/ Otros. La definición y asignación de los recursos suele ser, en la práctica, uno de los

aspectos que más complicaciones produce.

Implica prever, al menos, tres elementos:

o ¿Qué tipo de recursos se van a usar?

o ¿En qué cantidad?

o ¿Durante cuánto tiempo?

Realismo / Posibilidades de financiamiento.

Capacidad de priorizar.

(d) Actividades/Acciones del Proyecto.

Para la definición y planificación de actividades es necesario tomar en cuenta varios factores,

entre ellos:

Objetivos y especificaciones del proyecto.

La estructura de desagregación de proyecto.

Información histórica: por ejemplo, qué actividades fueron necesarias en proyectos

similares anteriores.

Limitaciones – presupuesto total, plazo de entrega,

Oportunidades (vinculación con otros proyectos o procesos organizacionales,

Asegurar suficiente detalle y claridad.

71

Identificar claramente los tiempos necesarios para actividades centrales del proyecto.

Aprobación ética.

Formación del equipo.

Definición de instrumentos.

Piloto.

Proceso de recolección de datos.

Procesamiento de datos.

Análisis.

Discusión.

Diseminación de resultados.

Finalmente, es necesario remarcar la necesidad de establecer mecanismos de seguimiento

continuo y la prevención activa de posibles dificultades en el desarrollo de la evaluación.

Seguimiento

Durante la ejecución del proyecto es muy importante hacer el seguimiento de lo

que se va avanzando y compararlo con lo planificado inicialmente.

La idea es detectar desviaciones respecto a lo planificado y oportunamente

incorporar medidas que permitan reencontrar el rumbo.

El seguimiento se debe hacer día a día por todas las personas que participan en el

proyecto. Es como un proceso de evaluación permanente.

Es importante realizar reuniones de equipo periódicamente pare estos efectos y

contar con informes escritos de seguimiento.

El proceso de seguimiento para cada periodo debe contemplar la descripción del

proyecto, la descripción general de la marcha del proyecto en relación con los

objetivos y resultados previstos, las actividades realizadas, el presupuesto

ejecutado, la relación de gastos realizados, la actualización del cronograma si es

necesaria, la actualización de las previsiones presupuestarias, conclusiones

respecto a los resultados del seguimiento y las recomendaciones necesarias para

avanzar.

72

Prevenir Posibles Dificultades

Conflictos en el equipo.

Dificultades financieras.

Falta de disponibilidad de información.

Inadecuada estimación de tiempos.

Dificultades en la comunicación.

Problemas éticos inesperados. Es tremendamente importante revisar

continuamente, desde el inicio del proyecto de evaluación, todos los aspectos

valóricos y éticos que pueden estar involucrados y prevenir pro-activamente todo

posible daño que pueda surgir al desarrollar la evaluación y, a su vez, maximizar

los beneficios. Se sugiere revisar literatura especifica al respecto, por ejemplo:

- Kass, N. E. (2001). An ethics framework for public health. American Journal of Public Health, 91(11), 1776-1782.

- Pinkerton, S. D., Johnson-Masotti, A. P., Derse, A., & Layde, P. M. (2002). Ethical issues in cost-effectiveness analysis. Evaluation and Program Planning, 25(1), 71-83.

Desorden en la gestión.

Insuficiente sistema de seguimiento y control.

Otros.

73

BIBLIOGRAFÍA

SECCIÓN: Gestión y Logística en Proyectos de Evaluación

• Higgins JPT, Green S, editors. Cochrane Handbook for Systematic Reviews of

Interventions 4.2.6 [updated September 2006]. In: The Cochrane Library, Issue 4, 2006. Chichester, UK: John Wiley & Sons, Ltd. Disponible en: http://www.cochrane.org/resources/handbook/handbook.pdf

• W.K. Kellogg Foundation Evaluation Toolkit: http://www.wkkf.org/default.aspx?tabid=75&CID=281&NID=61&LanguageID=0

• Lick, D. W. (2006). A new perspective on organizationallearning: Creating learning teams. Evaluation and Program Planning, 29(1), 88-96.

• Lu Ann Aday & Llewellyn J. Cornelius "Designing and Conducting Health Surveys; A Comprehensive Guide", 3rd Edition. Josey-Bass: San Francisco, CA. 2006.

http://www.cochrane.org/resources/handbook/handbook.pdf�


74

Susan Healey (Ph.D.)

Susan Healey es Senior Consultant con Harry Cummings and Associates, una firma de

consultoría de evaluación en Guelph, Ontario. Ha trabajado como planificadora estratégica,

investigadora y analista de políticas con gobiernos y organizaciones no gubernamentales en

Canadá y América Latina. Ella ha introducido los conceptos y técnicas de la planificación y

evaluación en una amplia gama de organizaciones que van desde las municipalidades y los

organismos regionales de las unidades de salud, a las organizaciones no gubernamentales y

organizaciones de la sociedad civil. Susan vivió y trabajó en Bolivia por siete años bajo

contrato con CUSO, una organización canadiense de cooperación internacional. Susan se

desempeñó como coordinadora de Investigación Institucional y Planificación en Bolivia con

dos organizaciones no gubernamentales, mismas que desempeñan un papel clave en el

desarrollo de las capacidades institucionales en los ámbitos de desarrollo de proyectos,

evaluación, planificación estratégica, investigación, y, comunicaciones. Ella emprendió una

misión de CUSO Bolivia encaminada a fortalecer el programa regional de planificación y

coordinación entre los miembros del equipo de CUSO y socios en Chile, Colombia, Costa

Rica y Honduras. En Canadá, Susan ha impartido cursos en la Universidad de Wilfrid Laurier

y en la Universidad de Waterloo, así como ha elaborado publicaciones académicas e informes

técnicos.

EQUIPO DE FACILITADORES: EXPERIENCIA PROFESIONAL

75

Judith Scharager (Psicóloga, Master en Salud Pública con concentración en Salud Mental)

Judith Scharager es catedrática en la Escuela de Psicología en la Pontificia Universidad

Católica de Chile. Ella ha enseñado cursos en las áreas de Metodología de la investigación en

ciencias sociales y Evaluación de Programas; así como en postgrado, en cursos relacionados

con factores sociales en Salud pública.

Ha trabajado como evaluadora externa de diversos programas, principalmente en el ámbito de

las intervenciones de Salud Pública en atención primaria en los proyectos financiados por la

Fundación Kellogg. Su investigación se ha centrado principalmente en la atención primaria de

salud y salud mental, específicamente en la satisfacción de los usuarios, competencias

profesionales y evaluación de programas y, recientemente, en la calidad de los sistemas de

enseñanza superior. Ha elaborado una serie de publicaciones académicas y los informes

técnicos en estos mismos temas. Recientemente, Judith lideró un equipo de evaluación que

estuvo a cargo de la evaluación del Programa de Diplomado en Desarrollo de los

Adolescentes y Salud Integral, ejecutado por las áreas de Salud Pública y Educación Médica

de la Facultad de Medicina de la Pontificia Universidad Católica de Chile y patrocinado por la

División de Promoción de la Salud y Protección de la Organización Panamericana de la Salud.

Actualmente, Judith es la Directora Ejecutiva de QUALITAS, una agencia de acreditación de

carreras de pregrado en Chile, posición que es complementaria a la académica.

76

Jaime C. Sapag (Médico, Master en Salud Pública)

Jaime Sapag es médico, Especialista en Medicina Familiar (Universidad Católica de Chile,

Chile) y Master en Salud Pública (Universidad de Harvard, EE.UU.), con especial interés y

experiencia en la atención primaria, epidemiología social, promoción de la salud, salud

mental/adicciones y evaluación. Tiene una amplia experiencia en sistemas de atención

primaria, salud pública y promoción de la salud, así como en la realización de investigación

interdisciplinaria en el campo de los determinantes sociales de la salud. En particular, ha

estado estudiando la relación entre los factores sociales y la salud en barrios urbanos bajos

ingresos, integrando de métodos cualitativos y cuantitativos. Jaime es uno de los tres

fundadores de la Revista Chilena de Medicina de Familia. También tiene experiencia

internacional trabajando en colaboración con diversas instituciones. En agosto de 2005,

participó en Bangkok, invitado como un "New Generation Reporter", en la 6 ª Conferencia

Internacional para la Promoción de la Salud. En el mismo año, su trabajo como co-autor de

"Capital Social y Salud Mental" ganó un premio como "la mejor investigación" en el

Congreso Chileno de Medicina Familiar. En junio de 2007, fue uno de los oradores invitados

en el Simposio sobre Promoción de la Salud Mental previo a la 19 ª Conferencia Anual de la

UIPES en Vancouver, Canadá. Desde abril de 2008, está trabajando en Toronto, Canadá,

como asesor especial y coordinador de proyectos para la Oficina de Salud Internacional,

Centro para las Adicciones y Salud Mental (CAMH - Ontario, Canadá), centrándose en el

fortalecimiento de las capacidades en salud mental/adicciones en diversos países, con un

especial énfasis en la atención primaria. Antes de su llegada a Canadá, estaba trabajando en

Chile como Profesor Asistente en la Universidad Católica de Chile y como consultor para la

División de Políticas Públicas Saludables y Promoción de la Salud, Subsecretaría de Salud

Pública, Ministerio de Salud.

77

BIBLIOGRAFÍA GENERAL COMPLEMENTARIA.

AusGUIDEline: The Logical Framework Approach http://www.ausaid.gov.au/ausguide/pdf/ausguideline3.3.pdf Butterfoss, F. D. (2006). Process evaluation for community participation. Annual Review of Public Health, 27(1), 323-340. Cooksy, L. J., Gill, P., & Kelly, P. A. (2001). The program logic model as an integrative framework for a multimethod evaluation. Evaluation and Program Planning, 24(2), 119-128. Department for International Development (DFID). Section 3, “Problem and Situational Analysis”, in Tools for Development: A handbook for those engaged in development activity http://www.dfid.gov.uk/pubs/files/toolsfordevelopment.pdf

Goldman, K. D., & Schmalz, K. J. (2006). Logic Models: The Picture Worth Ten Thousand Words. Health Promotion Practice, 7(1), 8-12. Kaplan, S. A., & Garrett, K. E. (2005). The use of logic models by community-based initiatives. Evaluation and Program Planning, 28(2), 167-172. McLaughlin, J. A., & Jordan, G. B. (1999). Logic models: A tool for telling your program's performance story. Evaluation and Program Planning, 22(1), 65-72. Millar, A., Simeone, R. S., & Carnevale, J. T. (2001). Logic models: a systems tool for performance management. Evaluation and Program Planning, 24(1), 73-81.

Lafferty, C. K., & Mahoney, C. A. (2003). A framework for evaluating comprehensive community initiatives. Health Promotion Practice, 4(1), 31-44.

Nutbeam, D. (1998). Evaluating health promotion--progress, problems and solutions. Health Promotion International, 13(1), 27-44. Renger, R., & Hurley, C. (2006). From theory to practice: Lessons learned in the application of the ATM approach to developing logic models. Evaluation and Program Planning, 29(2), 106-119. Simpson, E., & O'House, A. (2002). Involving users in the delivery and evaluation of mental health services: Systematic review, BMJ 325, 1265. Todd, Z., Nerlich, B., McKeown, S., & Clarke, D. (2006). Mixing methods in psychology: Psychology Press. University of Kansas Community Tool Box: Evaluation Model: http://ctb.ku.edu/tools/en/sub_section_main_1007.htm

http://www.ausaid.gov.au/ausguide/pdf/ausguideline3.3.pdf�

http://www.dfid.gov.uk/pubs/files/toolsfordevelopment.pdf�

http://ctb.ku.edu/tools/en/sub_section_main_1007.htm�

78

W.K. Kellogg Foundation Evaluation Toolkit: http://www.wkkf.org/default.aspx?tabid=75&CID=281&NID=61&LanguageID=0 World Health Organization (1978). The Declaration of Alma Ata. http://www.who.int/hpr/NPH/docs/declaration_almaata.pdf WHO Commission on the Social Determinants of Health. (2008). Closing the Gap in a Generation: Health Equity through Action on the Social Determinants of Health. http://www.who.int/social_determinants/final_report/en/index.html


http://www.who.int/hpr/NPH/docs/declaration_almaata.pdf�

http://www.who.int/social_determinants/final_report/en/index.html�

Documents

Guía del Programa de Entrenamiento - OPS · herramientas utilizados en la evaluación de programas de salud mental y adicciones se considera un aspecto altamente importante