EVALUACION DE LA EVALUACION DE LA EFECTIVIDAD EN PROMOCION EFECTIVIDAD EN PROMOCION DE LA SALUD DE LA SALUD
Metodología de Evaluación Metodología de Evaluación RápidaRápida
Víctor C. Salazar C. MPHVíctor C. Salazar C. MPHDiciembre, 2005 Diciembre, 2005
ANTECEDENTESANTECEDENTES
Suzanne F. Jackson, Ph.D. Centre for Health Promotion, University of Toronto, 2005
•Escasas evaluaciones que demuestran la efectividad de Escasas evaluaciones que demuestran la efectividad de
las intervenciones en Promoción. Esto se acentúa en las intervenciones en Promoción. Esto se acentúa en
Latinoamérica.Latinoamérica.•Se toman muchas decisiones políticas, pero existen Se toman muchas decisiones políticas, pero existen
pocas investigaciones que aportan. No hay cultura de la pocas investigaciones que aportan. No hay cultura de la
evaluación y uso de la evidencia en la decisiones.evaluación y uso de la evidencia en la decisiones.•Para los investigadores – se necesitan más Para los investigadores – se necesitan más
investigaciones relacionadas con aspectos políticosinvestigaciones relacionadas con aspectos políticos•Para los tomadores de decisiones – necesitan Para los tomadores de decisiones – necesitan
información resumida, presentada en términos políticosinformación resumida, presentada en términos políticos
Resultados de evaluaciones, aún con excelentes diseños, no se tienen en cuenta
para la toma de decisiones y se convierten solo en interesantes ejercicios académicos
La evaluación en promoción de la salud ha estado distanciada del escenario político y más ligado a lo
académico
Escenario político y de toma de decisiones
Escenario Académico
EL ESCENARIO POLÍTICO DE LA EL ESCENARIO POLÍTICO DE LA EVALUACIÓN EN PSEVALUACIÓN EN PS
Logro y Mantenimiento de la Calidad de Vida de individuos, Grupos y comunidades, para que vivan saludables
Evaluación
Toma de decisiones
Políticas Públicas
Evidencias
LA EVALUACIÓN DEBE SER UN INSTRUMENTO CLAVE PARA LOGRAR ESTA ARTICULACIÓN
•Calidad y relevancia de la información•El contexto político en el cual se realiza la evaluación•Capacidad de los evaluadores para comunicar e influenciar a los tomadores de decisión
NO articuladosen la práctica
CONCEPTOS CLAVE
EFECTIVIDAEFECTIVIDADD
EVALUACION EVALUACION
EVIDENCIEVIDENCIASAS
Recoger y usar información (evidencias) para las decisiones que tomamos
Insumos
Procesos
Productos
Efectos
Impactos
Tiempo
Nivel de desarrollo
Monitoreo
Evaluación
Seguimiento y sistematización
Objetivos
EVALUACIÓN
Las reglas de evidencias están ligadas a disciplinas no a proyectos y estos no están basados en una disciplina sino que representan un campo de acción.
La complejidad de intervenciones multidisciplinarias hacen insostenible reglas universales de evidencias.
Ligia de Salazar CEDETES
EVIDENCIAS E INDICADORES EN PROMOCION DE LA SALUD
Hay diversidad de criterios para definir indicadores de éxito entre usuarios de los resultados
La teoría provee el fundamento y paradigmas de investigación y practica. Entre más substancial y coherente es la base teórica mayor credibilidad, con base en ella se establecen los parámetros que constituyen la evidencia.
Ligia de Salazar, CEDETES
• Morbilidad• Mortalidad• Riesgos• Derecho• Equidad• Condiciones
económicas• Empleo
Cambios en el estado de salud y
determinantes
Cambios en construcción de
capacidad
• Políticas Públicas• Cohesión social• Intersectorialidad• Participación social• Redes de apoyo• Estilo de vida
Gráfico tomado de Ligia de Salazar, CEDETES
La efectividad Constituye la relación entre los resultados y el objetivo
de iniciativas en promoción de la salud se evalúa desde dos ángulos o categorías independientes pero complementarias:
EFECTIVIDAD
Metodología de Evaluación Rápida UNA ALTERNATIVA VIABLE
Es una respuesta a limitaciones de tiempo
y recursos. Útil en la planificación de intervenciones
por orientarse a proveer información
oportuna y relevante a tomadores de
decisión. Constituye un paso en la búsqueda de
"señales" de efectividad de una
intervención, en un proceso de sucesivas
aproximaciones.
• Establecer relaciones causales entre la intervención y los resultados
• Controlar variables que sesgan los resultados
• Equilibrar intereses entre evaluadores y tomadores de decisión, la mayoría de veces, financiadores de la evaluación.
• Generalizar a otras poblaciones
ALCANCESALCANCES
• Se puede establecer asociación entre variables de interés, o sea intervención y resultados
• Entender las razones que hicieron posible esos resultados
• Generar nuevas hipótesis de investigación que serán probadas con otro tipo de estudio
ALCANCES Y LIMITACIONES DE LA EVALUACIÓN RÁPIDA EN PROMOCIÓN DE
LA SALUD
LIMITACIONESLIMITACIONES
PREGUNTAS PARA DEFINIR EL DISEÑO
¿cuál información se espera obtener con la evaluación?
¿para qué se evalúa?
¿qué decisiones se tomarán con esta información?
¿quién requiere la evaluación?
¿qué quieres saber?
ACTIVIDADESMETODOLOGÍA DE EVALUACIÓN RÁPIDA
1. Caracterización del proyecto para
la evaluación.
2. Estudio de viabilidad y factibilidad.
3. Definición del alcance de la evaluación.
4. Definición de fuentes y métodos.
5. Trabajo de campo.
6. Procesamiento y análisis.
7. Comunicación y toma de
decisiones.
1. Caracterización del 1. Caracterización del Proyecto de Proyecto de Promoción de la Promoción de la SaludSalud
Asegurar viabilidad y factibilidad de Asegurar viabilidad y factibilidad de la evaluaciónla evaluación
Definir el alcance de la evaluaciónDefinir el alcance de la evaluación
Conocer muy bien el proyecto o Conocer muy bien el proyecto o intervención de Promoción de la Salud intervención de Promoción de la Salud que pretende evaluar facilita:que pretende evaluar facilita:
PRODUCTOS
Proyecto para evaluación clasificado:Proyecto para evaluación clasificado: Revisar los marcos teóricos y operativos del proyecto a la luz Revisar los marcos teóricos y operativos del proyecto a la luz
de los componentes de promoción de la salud. de los componentes de promoción de la salud. Chequear la presencia de criterios que garantizan que un Chequear la presencia de criterios que garantizan que un
proyecto de promoción de la salud pueda ser evaluado en un proyecto de promoción de la salud pueda ser evaluado en un corto plazo aplicando esta metodologíacorto plazo aplicando esta metodología
Confrontar la teoría de la promoción de la salud y de su Confrontar la teoría de la promoción de la salud y de su evaluación con sus propios conocimientos y con la práctica evaluación con sus propios conocimientos y con la práctica en el contexto de sus lugares de vida y trabajo.en el contexto de sus lugares de vida y trabajo.
Proyecto de evaluación analizado:Proyecto de evaluación analizado: Suficiencia y coherencia entre los componentes Suficiencia y coherencia entre los componentes Identificación de aspectos del contexto que influenciaron sus Identificación de aspectos del contexto que influenciaron sus
resultadosresultados
Formulación de políticas públicas. Fortalecimiento de las acciones comunitarias y de la
participación de la gente en las decisiones y acciones relacionadas con su salud –empoderamiento-.
Creación de ambientes favorables tanto en sus dimensiones físicas como sociales y fortalecimiento del sistema de apoyo social de la comunidad.
Desarrollo de las aptitudes personales para tomar decisiones saludables y soportar presiones negativas para la salud.
Reordenamiento de los servicios de salud para hacer mayor hincapié en la promoción y las posibilidades que ofrecen las instituciones de atención sanitaria como lugares adecuados para la promoción de la salud.
CARTA DE OTTAWA - ÁREAS OPERACIONALES DE LA PROMOCIÓN CARTA DE OTTAWA - ÁREAS OPERACIONALES DE LA PROMOCIÓN DE LA SALUDDE LA SALUD
CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO
CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO
Enfoque Promoción de la SaludEnfoque Promoción de la Salud
Construcción de capacidad, Construcción de capacidad, empoderamiento.empoderamiento.
Creación de oportunidades y habilidades Creación de oportunidades y habilidades en la comunidad educativa para reconocer, en la comunidad educativa para reconocer, analizar e intervenir factores de riesgo. analizar e intervenir factores de riesgo.
Sistema Comunitario de Vigilancia de Factores de Riesgo del Comportamiento para Población Escolar – Adolescente SIVEA
CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO
Enfoque Promoción de la SaludEnfoque Promoción de la Salud
Equidad en el acceso a la información.Equidad en el acceso a la información.
Políticas públicas relacionadas con, estilos Políticas públicas relacionadas con, estilos de vida saludables, construcción de de vida saludables, construcción de ambientes Saludables, participación socialambientes Saludables, participación social
Reorientación de Servicios de salud. Reorientación de Servicios de salud.
CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO
Estado del proyectoEstado del proyecto
Finalizado como proyecto. Finalizado como proyecto. Incorporado a la cotidianidad como Incorporado a la cotidianidad como parte de la estrategia de parte de la estrategia de sostenibilidad. sostenibilidad.
CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO
Disponibilidad de informaciónDisponibilidad de información
Facilidad de acceso a documentos, Facilidad de acceso a documentos, bases de datos y actores claves del bases de datos y actores claves del proceso.proceso.
Las Instituciones y/o grupos Las Instituciones y/o grupos involucrados en el desarrollo del involucrados en el desarrollo del
ProyectoProyecto
Comunidad Educativa Institución Comunidad Educativa Institución Educativa Simón Bolívar. Padres, Educativa Simón Bolívar. Padres, profesores y estudiantes.profesores y estudiantes.
Universidad.Universidad. AlcaldíaAlcaldía EducaciónEducación SaludSalud EESSS.EESSS.
La Población BeneficiariaLa Población Beneficiaria
Niños, niñas y adolescentes Niños, niñas y adolescentes escolarizados.escolarizados.
Maestros.Maestros.
Padres de familia.Padres de familia.
El ProblemaEl Problema
Limitada capacidad de los y las Limitada capacidad de los y las adolescentes, profesores, directivos y adolescentes, profesores, directivos y padres de familia de la Institución padres de familia de la Institución Educativa Simón Bolívar del Municipio Educativa Simón Bolívar del Municipio de La Cumbre para actuar frente a los de La Cumbre para actuar frente a los determinantes de la salud y factores de determinantes de la salud y factores de riesgo asociados con los principales riesgo asociados con los principales problemas de salud de esta población problemas de salud de esta población
La JustificaciónLa Justificación
Percepciones de estudiantes, padres y profesores Percepciones de estudiantes, padres y profesores frente a Factores de Riesgo, de adolescentes frente a Factores de Riesgo, de adolescentes escolarizados no cuantificadas en La Cumbre.escolarizados no cuantificadas en La Cumbre.
Cifras nacionales frente a riesgos en adolescentes Cifras nacionales frente a riesgos en adolescentes como:como:
– Inicio de actividad sexual en promedio de país a los 14.4 Inicio de actividad sexual en promedio de país a los 14.4 años. Encuesta Nacional de Jóvenes. Presidencia República. años. Encuesta Nacional de Jóvenes. Presidencia República. 2000.2000.
– 15% de adolescentes de 15 a 19 años ya han sido madres y 15% de adolescentes de 15 a 19 años ya han sido madres y 4% están embarazadas de su primer hijo. Profamilia 2000.4% están embarazadas de su primer hijo. Profamilia 2000.
El 70% de los menores de 14 años ha consumido algún tipo El 70% de los menores de 14 años ha consumido algún tipo de bebida alcohólica. RUMBOS 2001de bebida alcohólica. RUMBOS 2001
ObjetivoObjetivo
Incrementar la capacidad de análisis y Incrementar la capacidad de análisis y respuesta de la comunidad educativa, padres, respuesta de la comunidad educativa, padres, estudiantes y profesores, frente a los estudiantes y profesores, frente a los determinantes de la salud y a los factores de determinantes de la salud y a los factores de riesgo asociados con problemas de salud de riesgo asociados con problemas de salud de los jóvenes, a través de la implementación de los jóvenes, a través de la implementación de un Sistema de Vigilancia de Factores de un Sistema de Vigilancia de Factores de Riesgo del Comportamiento, SIVEA, en la Riesgo del Comportamiento, SIVEA, en la Institución Educativa Simón Bolívar de La Institución Educativa Simón Bolívar de La Cumbre, Valle.Cumbre, Valle.
Los Resultados/Productos Los Resultados/Productos EsperadosEsperados
Sistema de Vigilancia y monitoreo de los factores de Sistema de Vigilancia y monitoreo de los factores de riesgo del comportamiento y sus determinantes .riesgo del comportamiento y sus determinantes .
Proyectos escolares para intervenir los riesgos, Proyectos escolares para intervenir los riesgos, definidos participativamente y vinculados al PEI.definidos participativamente y vinculados al PEI.
Información del SIVEA insumo del diagnóstico e Información del SIVEA insumo del diagnóstico e incorporada al PEI y aula de clase.incorporada al PEI y aula de clase.
Comunidad Educativa capacitadaComunidad Educativa capacitada
Estrategia intersectorial de intervención de riesgos.Estrategia intersectorial de intervención de riesgos.
Las Principales ActividadesLas Principales Actividades
Talleres de sensibilización y capacitación.Talleres de sensibilización y capacitación. Aplicación anual de la encuesta de Aplicación anual de la encuesta de
Factores de Riesgo y otras técnicas de Factores de Riesgo y otras técnicas de recolección.recolección.
Procesamiento, análisis, interpretación y Procesamiento, análisis, interpretación y uso de información obtenida.uso de información obtenida.
Implementación metodología para difusión Implementación metodología para difusión de información. de información.
Diseño de estrategias de Sostenibilidad.Diseño de estrategias de Sostenibilidad.
Los RecursosLos Recursos Tipo de recursos:Tipo de recursos:
Recurso humano: padres, Recurso humano: padres, profesores y profesores y estudiantes.estudiantes.
Equipo de apoyo profesional: Equipo de apoyo profesional: Salud Pública, Epidemiología.Salud Pública, Epidemiología.
Infraestructura física: Aulas de Infraestructura física: Aulas de clase, sala de clase, sala de reuniones, sala de reuniones, sala de sistemas.sistemas.
Suministros: Módulos SIVEA, Suministros: Módulos SIVEA, fotocopias, fotocopias, papelería.papelería.
El Contexto de desarrollo del El Contexto de desarrollo del ProyectoProyecto
Municipio Agroecoturístico a 27 Municipio Agroecoturístico a 27 kilómetros de Calikilómetros de Cali
Siete corregimientos y 23 veredasSiete corregimientos y 23 veredas Reserva y Riqueza NaturalReserva y Riqueza Natural Gente TrabajadoraGente Trabajadora Talento Humano Comprometido y Talento Humano Comprometido y
ParticipativoParticipativo 50% de población escolarizada pertenece 50% de población escolarizada pertenece
a la Institución Educativa donde se realiza a la Institución Educativa donde se realiza la evaluación.la evaluación.
El Contexto de desarrollo del El Contexto de desarrollo del ProyectoProyecto
Opciones educativas de nivel técnico Opciones educativas de nivel técnico y profesional en Yumbo y Cali.y profesional en Yumbo y Cali.
Pocas alternativas laborales. Pocas alternativas laborales. Falta de recursos para continuidad Falta de recursos para continuidad
de estudios entre los jóvenes.de estudios entre los jóvenes. Poco control frente a los y las Poco control frente a los y las
adolescentes frente a consumo de adolescentes frente a consumo de licor y tabaco.licor y tabaco.
El Contexto de desarrollo del El Contexto de desarrollo del ProyectoProyecto
Población TotalPoblación Total: 10.934 : 10.934 Habitantes. DANE.Habitantes. DANE.
Población NBI:Población NBI: 3.111 3.111
Población Total según Población Total según comunidad:comunidad: 19.722 19.722
2. 2. EstudioEstudio de de viabilidad y viabilidad y factibilidadfactibilidad..
Identificando los Actores InvolucradosIdentificando los Actores Involucrados Recogiendo los Intereses y necesidades Recogiendo los Intereses y necesidades
de los tomadores de decisiónde los tomadores de decisión
Asegurar viabilidad y factibilidad de la Asegurar viabilidad y factibilidad de la evaluaciónevaluación::
Actores InvolucradosActores Involucrados
Institución oInstitución o
grupogrupoCargo o Cargo o funciónfunción
CategoríaCategoría
Directivo docente Directivo docente Institución Institución EducativaEducativa
RectorRector TomadorTomador
DecisiónDecisión
Comunidad Comunidad EducativaEducativa
Padres, profesores, Padres, profesores, estudiantesestudiantes
InvolucradosInvolucrados
EjecutoresEjecutores
Dinamizador Dinamizador Profesora EnlaceProfesora Enlace EjecutoraEjecutora
Actores InvolucradosActores Involucrados
Institución oInstitución o
grupogrupoCargo o funciónCargo o función CategoríaCategoría
Concejo GobiernoConcejo Gobierno municipalmunicipal
Alcaldesa y Alcaldesa y coordinadores de coordinadores de sectoressectores
TomadoresTomadores de de decisióndecisión
ESE HospitalESE Hospital GerenteGerente TomadoraTomadora de de decisióndecisión
ESE HospitalESE Hospital Coord. Promoción Coord. Promoción de la salud y de la salud y Prevención de la Prevención de la enfermedad.enfermedad.
EjecutorEjecutor
Actores InvolucradosActores Involucrados
Institución oInstitución o
grupogrupoCargo o Cargo o funciónfunción
CategoríaCategoría
CEDETES CEDETES UNIVALLEUNIVALLE
Directora Directora InvestigaciónInvestigación
Tomador Tomador DecisiónDecisión
CEDETES CEDETES UNIVALLEUNIVALLE
Coordinación Coordinación OperativaOperativa
Tomador de Tomador de decisión, decisión, ejecutorejecutor
CEDETES CEDETES UNIVALLEUNIVALLE
EstadísticoEstadístico
EconomistaEconomistaInvolucradosInvolucrados
Intereses y necesidades de los Intereses y necesidades de los tomadores de decisióntomadores de decisión
Conocer los resultados obtenidos del proyecto en Conocer los resultados obtenidos del proyecto en
términos de su contribución en la construcción de términos de su contribución en la construcción de capacidad de la Comunidad Educativa para capacidad de la Comunidad Educativa para analizar y decidir en que y como actuar frente a analizar y decidir en que y como actuar frente a los riesgos detectados por el SIVEA.los riesgos detectados por el SIVEA.
Determinar las Estrategias sostenibilidad del Determinar las Estrategias sostenibilidad del SIVEA.SIVEA.
Identificar los costos del SIVEA.Identificar los costos del SIVEA. Conocer los requerimientos para su extensión en Conocer los requerimientos para su extensión en
el 100% de población educativa del municipio.el 100% de población educativa del municipio.
3. 3. Definición del alcance Definición del alcance de la evaluaciónde la evaluación..
Pregunta de la Evaluación Pregunta de la Evaluación Objetivo de la EvaluaciónObjetivo de la Evaluación Variables Variables IndicadoresIndicadores
Pregunta de EvaluaciónPregunta de Evaluación
¿Cuál es la contribución del SIVEA a la ¿Cuál es la contribución del SIVEA a la construcción de capacidad de la construcción de capacidad de la comunidad educativa de la Institución comunidad educativa de la Institución Educativa Simón Bolívar de La Cumbre, Educativa Simón Bolívar de La Cumbre, Valle, frente a los determinantes de la Valle, frente a los determinantes de la salud y factores de riesgo del salud y factores de riesgo del comportamiento de los y las comportamiento de los y las adolescentes?adolescentes?
Objetivo de la EvaluaciónObjetivo de la Evaluación
Identificar la contribución de un Sistema de Vigilancia Identificar la contribución de un Sistema de Vigilancia
en Factores de Riesgo del Comportamiento para en Factores de Riesgo del Comportamiento para
Población Escolar Adolescente en la construcción de Población Escolar Adolescente en la construcción de
capacidad de respuesta de la Comunidad Educativa capacidad de respuesta de la Comunidad Educativa
para recolectar, procesar, analizar, utilizar, intervenir y para recolectar, procesar, analizar, utilizar, intervenir y
divulgar los riesgos detectados en Escolares divulgar los riesgos detectados en Escolares
Adolescentes de la Institución Educativa Simón Bolívar Adolescentes de la Institución Educativa Simón Bolívar
de La Cumbre Valle.de La Cumbre Valle.
VariablesVariables
Construcción de capacidad de respuesta.Construcción de capacidad de respuesta.
Oportunidad y habilidad de padres, Oportunidad y habilidad de padres, profesores y estudiantes para reconocer, profesores y estudiantes para reconocer, analizar e intervenir FRC.analizar e intervenir FRC.
Factores de riesgo del comportamiento Factores de riesgo del comportamiento para población escolar adolescente.para población escolar adolescente. Comportamientos de los y las adolescentes o Comportamientos de los y las adolescentes o prácticas no saludables que ponen en riesgo la prácticas no saludables que ponen en riesgo la salud.salud.
Variables e IndicadoresVariables e Indicadores
VariableVariable Variable Variable EspecíficaEspecífica
IndicadoresIndicadores
Construcción de Construcción de capacidad de capacidad de respuestarespuesta
Acciones Acciones generadas por generadas por padres, padres, profesores y profesores y estudiantes con estudiantes con la información la información del SIVEAdel SIVEA
Número y tipo de Número y tipo de proyectos en proyectos en ejecución para ejecución para intervenir intervenir determinantes en determinantes en salud y FRC salud y FRC producto de producto de SIVEA.SIVEA.
Variables e IndicadoresVariables e Indicadores
VariableVariable Variable Variable EspecíficaEspecífica
IndicadoresIndicadores
Factores de Factores de riesgo del riesgo del comportamiento comportamiento para población para población adolescente.adolescente.
Frecuencia de Frecuencia de factores de factores de riesgo.riesgo.
Frecuencia de Frecuencia de actividad física.actividad física.
Frecuencia de Frecuencia de consumo de consumo de vegetales y vegetales y frutas.frutas.
Diferencia de Diferencia de proporciones en proporciones en los FRC los FRC comparando la comparando la medición del medición del 2003 con la 2003 con la medición del medición del 2004.2004.