PASOS A SEGUIR PARA LA PUESTA EN MARCHA DE UN · PDF fileDefinición del problema y actuaciones que se pueden poner en marcha para solucionar el mismo ... ¿Cuál es el problema? Análisis

PRESIDENCIA. REPÚBLICA ORIENTAL DEL URUGUAYJUNTA NACIONAL DE DROGAS

CUSO TALLER “PREVENCIÓN DEL CONSUMO PROBLEMÁTICO DE DROGAS”

PASOS A SEGUIR PARA LA PUESTA EN MARCHA DE

UN PROGRAMA PREVENTIVO. LA EVALUACIÓN DE LA PREVENCIÓN

Prof. Dr. Elisardo Becoña IglesiasUniversidad de Santiago de Compostela

Facultad de PsicologíaSantiago de Compostela, Galicia, España

2007

PASOS PARA EL DESARROLLO DE UNA INTERVENCIÓN PREVENTIVA

Definición del problema y actuaciones que se pueden poner en marcha para solucionar el mismo

¿Cuál es el problema?¿Qué podemos hacer?

La explicación del fenómeno: ¿Por qué se consumen drogas?

La explicación del consumo de drogasFactores responsables de seguir consumiendo una droga

La necesidad de una intervención preventiva

PASOS PARA EL DESARROLLO DE UNA INTERVENCIÓN PREVENTIVA

La delimitación del grupo o grupos objetivoObjetivos de nuestra intervenciónMétodos y técnicas específicas de intervenciónRecursos disponiblesEvaluaciónDifusión de resultadosAnálisis de todo el proceso, detección de puntos fuertes y débiles del programa y nuevas propuestas de actuación

1. DEFINICIÓN DEL PROBLEMA Y ACTUACIONES QUE SE PUEDEN PONER EN

MARCHA PARA SOLUCIONAR EL MISMO

¿Cuál es el problema?Análisis de la situaciónDatos epidemiológicosQuien hace la demanda

¿Qué podemos hacer?Nivel de intervención (escolar, familiar, comunitario, etc.)Prevención/reducción de riesgosPlanificación (qué, cómo, cuándo y en qué tiempo)

EVOLUCIÓN DEL CONSUMO DE TABACO, ESTUDIANTES DE SECUNDARIA

20222426283032343638

1994 1996 1998 2000 2002 2004

Ultimos 30 diasVaronesMujeres

EVOLUCIÓN DEL CONSUMO DE ALCOHOL, ESTUDIANTES DE SECUNDARIA

40455055606570758085

1994 1996 1998 2000 2002 2004


EVOLUCIÓN DEL CONSUMO DE CANNABIS, POBLACIÓN GENERAL

0

2

4

6

8

10

12

1995 1997 1999 2001 2003


EVOLUCIÓN DEL CONSUMO DE CANNABIS, ESTUDIANTES DE SECUNDARIA, 12 meses

10

15

20

25

30

35

40

1994 1996 1998 2000 2002 2004

Ultimos 12 mesesVaronesMujeres

EVOLUCIÓN DEL CONSUMO DE COCAÍNA, POBLACIÓN GENERAL

00,5

11,5

22,5

33,5

44,5

1995 1997 1999 2001 2003

Ultimo añoVaronesMujeres

EVOLUCIÓN DEL CONSUMO DE COCAÍNA, ESTUDIANTES DE SECUNDARIA

0123456789

1994 1996 1998 2000 2002 2004

Ultimo añoVaronesMujeres

2. LA EXPLICACIÓN DEL FENÓMENO: ¿POR QUÉ SE CONSUMEN DROGAS?

La explicación del consumo de drogasTeoría o modelo explicativoFactores de riesgo y protección

Factores responsables de seguir consumiendo una droga

Teoría o modelo explicativoFactores de riesgo y protección

¿P o r q u é la s p e rso n as co n su m en d ro g as? fv v

F ac to res d e p red isp o sic ió n

A m b ien te so c ia l S o c ia liz ac ió n P erso n a lid ad d e l in d iv id u o

F ac to res d e rie sgo y p ro tecc ió n

D isp o n ib ilid ad , co ste , fac ilid ad d e o b ten c ió n

d e d ro g as

C o m p añ ero s y am igo s d e l b a rrio y d e la e scu e la

(co n su m id o res /n o co n su m id o res

F am ilia : ac titu d es y co n d u c tas so b re e l co n su m o d e d ro gas

E stra teg ias d e a fro n tam ien to ;

A u to co n tro l

V id a rec rea tiv a (sa lid as , o c io , d iv e rs ió n )

P u b lic id ad so b re d ro gas y co n s id e rac io n es d e lo s m ed io s d e co m u n icac ió n

so b re e lla s

E stad o em o c io n a l

In te racc ió n co n o tras su s tan c ias P R U E B A /N O

P R U E B A D E L A S U S T A N C IA

T o le ran c ia so c ia l h ac ia la s d ro gas

C o n secu en c ias : - P e rso n a les - A m igo s - F am ilia - S o c ia les

F ac to res d e rie sgo y p ro tecc ió n

S igu e s in p ro b ar la su s tan c ia

N u ev as p ru eb as d e la su s tan c ia

In te racc ió n co n o tras su s tan c ias

U S O , A B U S O Y D E P E N D E N C IA

E scu e la

N o rm as lega les y co n tro l d e su

cu m p lim ien to

INDIVIDUO

PROCESOS PSICOLÓGICOS

CULTURA

AMBIENTE

BIOLOGÍA

FAMILIAIGUALES, AMIGOS

PERSONALIDAD

FACTORES DE RIESGO Y

PROTECCIÓN

3. LA NECESIDAD DE UNA INTERVENCIÓN PREVENTIVA

Explicación de dicha necesidadOperativizarla y cuantificarlaMedios de que se disponeA quién va dirigidaQuién participaráCoordinación del programaEl proceso de planificación

4. LA DELIMITACIÓN DEL GRUPO O GRUPOS OBJETIVO

A quien o quienes se dirige la intervención preventiva (población diana)Grupo objetivo final (los beneficiarios) y grupo objetivo intermedio (ej., profesores, padres de alumnos, profesionales)A qué número de personas se dirige la intervención (número, contexto y grupos de edad)Grupo objetivo y tipo de intervención (ej., escolar, familiar, comunitaria, etc.)

5. OBJETIVOS DE LA INTERVENCIÓN

Objetivos generales y específicosPara qué personas, grupos y colectivos a los que se dirigeQue sean realizables, adecuados a las necesidades y cuantificablesObjetivos de resultados y objetivos del proceso

PREVENCIÓN POR OBJETIVOS

Una estrategia de prevención por objetivos debe estar orientada a la consecución de unos resultados.Los objetivos consisten en declaraciones específicas y medibles relativas al resultado final que quiere alcanzarse en el programa preventivo. Debe contemplar también el período de tiempo en el que deben alcanzarse esos resultados así como las condiciones que exigen la realización de los objetivos que afectan a los medios utilizados para lograrlos.Los objetivos deben referirse a todas y cada una de las fases, estrategias, medidas y destinatarios del programa por lo que deben presentarse siguiendo un gradación y una secuencia que van desde lo más general a lo más específico.

PREVENCIÓN POR OBJETIVOS

Hay que precisar algunos conceptos para facilitar la siempre compleja labor de definir objetivos.

Meta: Se trata de un enunciado más amplio que el objetivo que otorga la dirección al plan del programa sin especificar aspectos concretos.Objetivo general: Es un enunciado que describe los resultados esperados antes que el procedimiento o los medios para alcanzar estos resultados.Objetivo específico: Son aquellos que matizan y concretan el objetivo general.

Para lograr desarrollar esta tarea eficazmente es importante detenernos en el análisis de ese proceso así como sus características y exigencias:

PREVENCIÓN POR OBJETIVOSProceso: Los objetivos deben presentarse “en forma de árbol”. La descomposición gradual de un objetivo en sub-objetivos deberá ir acompañada de un aumento progresivo de la precisión. Las especificaciones se harán en:

los comportamientos (utilizando verbos de acción cada vez más precisos),los contenidos (una descripción cada vez mayor de los objetos) ylas circunstancias (una mejor descripción de las situaciones)

Características: La primera y fundamental característica de los objetivos es que sean realizables, por lo tanto, alcanzables y realistas. Otras características que deben reunir son: ser medibles, poseer plazos bien delimitados, incluir la movilización de recursos que conllevan y ser acordes con la estrategia general que se persigue.

PREVENCIÓN POR OBJETIVOSExigencias: Para evitar algunos de los errores más frecuentes en la formulación de objetivos, se considera que deben tenerse en cuenta las siguientes exigencias básicas:

No confundir los objetivos generales con las metas.No confundir los objetivos específicos con las actividades. No confundir los objetivos específicos con los recursos.Mantener la máxima coherencia entre los objetivos generales y los específicos que se les derivan.

Finalmente, conviene distinguir claramente también entre:los “objetivos de resultados”, es decir, los objetivos

relacionados con los objetivos esperados, ylos “objetivos de proceso” que tienen que ver con los

medios, procedimientos o métodos utilizados para lograr los resultados.

PREVENCIÓN POR OBJETIVOSEs preciso plantear en primer lugar cuáles son las metas globales del programa:

Rebajar las prevalencias de consumo entre la población objetivo final.Retrasar las edades de inicio al consumo del grupo objetivo final de drogas. Reducir los daños asociados al consumo entre los jóvenes. Dotar a los adolescentes y jóvenes que componen el grupo objetivo de los conocimientos y competencias necesarios para enfrentarse a la presión de la oferta de esa droga.Fomentar un ocio saludable entre los jóvenes incompatible con el consumo de drogas.Limitar la disponibilidad de drogas para esta población adolescente y juvenil.Sensibilizar e implicar al grupo objetivo intermedio y a la población general en la problemática y en las acciones que se lleven a cabo.

PREVENCIÓN POR OBJETIVOSEn cuanto a los objetivos generales que se derivan de estas grandes metas, deben agruparse en función de la población específica a la que vayan dirigidos.

1) Dirigidos al grupo objetivo final:Aumentar la percepción del riesgo, es decir, que el consumo favorece la aparición de consecuencias negativas importantes.Incrementar la percepción de que un estilo de vida y un uso del ocio libre de drogas tiene consecuencias positivas importantes.Adquirir conocimientos y modificar actitudes, creencias y estereotipos sobre drogas.Aumentar las habilidades personales y sociales que fomenten estilos de vida y patrones de diversión saludables.Incidir en el patrón de consumo de fin de semana para modificar hábitos, reducir ingestas y abordar precozmente las dificultades que se planteen.

PREVENCIÓN POR OBJETIVOS2) Dirigidos al grupo objetivo intermedio:

Padres:

Aumentar en los padres la percepción del daño asociado con el consumo de drogas por los adolescentes.Hacerles conscientes de que sus hijos están en riesgo de consumir alcohol y otras drogas y son vulnerables a las consecuencias negativas producidas por estos consumos.Aumentar la percepción de la eficacia personal para prevenir el consumo de drogas por los adolescentes (por ejemplo, permitir a los familiares conocer cómo sus comportamientos pueden marcar la diferencia).Desarrollar estrategias familiares simples y efectivas, incluyendo habilidades de comunicación y autoridad en la familia, que ayudan a prevenir el consumo de drogas entre los adolescentes.


Comunidad:

Sensibilizar y concienciar a los diferentes mediadores acerca del consumo inadecuado de drogas en los jóvenes modificando sus conocimientos y actitudes sobre el tema.Promover la participación de los servicios y organizaciones sociales en las acciones específicas que se desarrollen en la comunidad.Ordenar y coordinar la participación de los distintos frentes de entrada de la comunidad.


Comunidad:

Potenciar alternativas saludables al consumo de drogas para estesector de la población mediante el aprovechamiento de los recursos comunitarios.Adecuar los servicios públicos y los establecimientos de ocio para reducir los daños asociados al consumo de drogas de fin de semana.Fomentar estrategias para limitar la exposición a riesgos e incidiendo en la responsabilidad de los promotores y expendedores.Disminuir la siniestralidad y los problemas de salud asociados en la conducción provocada por el consumo juvenil de alcohol y drogas de síntesis durante el fin de semana.


Población general:

Sensibilizar a la población general sobre la importancia del consumo de alcohol en los jóvenes.Hacer llegar al conjunto de los ciudadanos las medidas que se aplican para la prevención de esta problemática.

Siguiendo esta secuencia que se señaló anteriormente, se procederá a la elaboración de los objetivos específicos.

6. MÉTODOS Y TÉCNICAS ESPECÍFICAS DE INTERVENCIÓN

Para conseguir los objetivos hay que poner en práctica un programa preventivoProgramas escolares, familiares, comunitarios, etc., eficacesTécnicas específicas de prevención eficacesFormación de profesores, escuela de padres, programas psicosociales de entrenamiento en habilidades, de otros colectivos, etc.Cronograma de la intervención (de varios años)

MÉTODOS Y TÉCNICAS ESPECÍFICAS DE INTERVENCIÓN EN NUESTRO EJEMPLO

Contexto escolarProgramas psicosociales de entrenamiento en habilidadesFormación del profesoradoSi es posible, escuela de padres (escuela, barrio, centro cultural, etc.)

Ambito comunitarioMedios de comunicación de masasColectivos específicos (policía local, hosteleros, asociaciones juveniles, etc.)

Métodos y técnicas específicas para cada contexto

Los cuatro elementos centrales del programa son: informativo, educativo, ocio

alternativo y reducción de la oferta

Estrategia informativa

Las actividades a desarrollar en este ámbito responderán a los objetivos anteriores dirigidos a mejorar la información y sensibilización, tanto de la población objetivo final e intermedia como la comunidad en su conjunto. Utilizaremos al respecto los medios de comunicación de masas y se hará, fundamentalmente, mediante la radio y televisión locales. También se recurrirá a soportes exteriores y sistemas de difusión convencionales (vallas, carteles, folletos, etc.).


alternativo y reducción de la ofertaEstrategia educativa

A nivel operativo, los jóvenes escolarizados recibirán un programa preventivo que se aplicará en las horas dedicadas a tutorías. Para alcanzar esta fase de implantación del programa educativo, el equipo impulsor del programa llevará a cabo al menos los siguientes requisitos previos:

Selección del programa a aplicar. Presentación del programa municipal a los responsables educativos y de prevención de drogas (Plan Autonómico sobre Drogas) de la Comunidad Autónoma.Presentación del programa en los centros educativos (Dirección, Consejo Escolar, Asociación de Padres y Madres...).


alternativo y reducción de la ofertaEstrategia educativa:

Planificación de la intervención escolar (formación y seguimiento del profesorado, evaluación previa, período de aplicación, distribución de materiales, evaluación al final del programa, …).Cursos de formación del profesorado.Cursos de formación para padres.Los cursos de formación para padres, de 14 horas de duración, abordarán las siguientes temáticas: información sobre el alcohol, sus patrones de consumo y consecuencias; identificación de factores de riesgo y protección; nociones sobre desarrollo evolutivo y adolescencia; técnicas de comunicación y técnicas para establecer acuerdos familiares.



Estrategia de promoción de ocio alternativo.

Basadas en el aprovechamiento de los recursos comunitarios durante las noches de fin de semana, se ofertarán una serie de actividades atractivas:

Deportivas: piscina, baloncesto, fútbol sala, tenis de mesa, etc.De ocio: cine, bailes, talleres de yoga, etc.Cultura: música, exposiciones, lectura, etc.



Estrategia de reducción de la oferta.

Están encaminadas a limitar la exposición a riesgos y los daños vinculados a ellos. En este sentido, se solicitará la colaboración de la policía municipal en el seguimiento a establecimientos que incumplen la normativa de venta de alcohol a menores y en la realización de controles de alcoholemia tanto en las salidas como en el interior de la población durante las noches de los fines de semana.

ESTRUCTURA DE COORDINACIÓN COMUNITARIA

Se creará un mecanismo de coordinación de la participación comunitaria en el programa. Se trata de una estructura estable de coordinación en la que participarán los recursos públicos y la iniciativa social del municipio que están dispuestos a implicarse en el programa.Puesta en común e intercambio de conocimientos sobre el problema que nos ocupa y experiencias previas en prevención.Organizar la formación teórica y metodológica de los “mediadores sociales” del programa sobre la problemática del alcohol y estrategias de intervención comunitaria.Sensibilización a los “frentes de entrada” comunitarios que representan cada uno de sus miembros.Participación en el proceso de planificación, implementación y evaluación del programa.

¿CÓMO ORGANIZAR TODO LO ANTERIOR A LO LARGO DEL

TIEMPO?

La temporalización

7. RECURSOS DISPONIBLESHumanos

El personal del equipo preventivoOtros (profesores, técnicos de los servicios sanitarios y sociales, asociaciones ciudadanas, voluntarios, jóvenes, etc.)

EconómicosMateriales

Local, teléfono, fotocopiadora, mesas, sillas, armarios, material, libros, etc.

TécnicosA los que podemos acudir sin formar parte del staff, como técnicos de la administración, de gestión, informática, profesionales del Centro de Drogodependencias, evaluadores externos, etc.

PRESUPUESTOPersonal de plantillaPersonal vinculado por contratosFormación de “mediadores sociales”Ayudas directas a organizaciones socialesEdición de material y documentaciónAdaptación de locales y mobiliarioMaterial informáticoConsumiblesViajes y dietas

8. EVALUACIÓN

Evaluación del procesoEvaluación del resultadoInstrumentos a utilizarQuién la hará

9. DIFUSIÓN DE RESULTADOS

Memoria de actividadesAnálisis del proceso y del resultadoA quién se dirige (administración, prensa, reunión de técnicos, etc.)Brevedad y claridad del informeEvaluación del impacto

10. ANÁLISIS DE TODO EL PROCESO, DETECCIÓN DE PUNTOS FUERTES Y DÉBILES DEL PROGRAMA Y NUEVAS

PROPUESTAS DE ACTUACIÓN

Análisis de todo el procesoDetección de los puntos fuertes (lo que funciona)Detección de los puntos débiles (lo que no funciona)Nuevas propuestas de actuación en función de toda la información disponible

LA EVALUACIÓN DE LA PREVENCIÓN

DEFINICIÓN DE EVALUACIÓNLa evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante, en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, se han realizado o realizarán, con el propósito de producir efectos y resultados concretos; comprobando la extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción, o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de los resultados (Aguilar y Enger-Egg, 1993, p. 18)

RAZONES PARA LLEVAR A CABO LA EVALUACIÓN DE LA PREVENCIÓN

Para determinar la efectividad de los programas en los participantesPara comprobar que los objetivos del programa se han cumplidoPara proporcionar información sobre la prestación del servicio que será útil tanto para el staff del programa como para otras personasPara permitir al staff del programa hacer cambios que mejoren la efectividad del mismo

ALGUNOS ASPECTOS BÁSICOS DE LAEVALUACIÓN EN LA PREVENCIÓN DE

LAS DROGODEPENDENCIAS

Evaluación del procesoEvaluación del resultadoInstrumentos a utilizarQuién la hará

Distintas actividades que suelen incluirse en los programas

preventivos y que pueden evaluarseConcretar los servicios que se requierenEstablecer los objetivos del programa y decidir la evidencia particular (tal como el conocimiento, actitudes o conducta específica) que demuestre que se cumplirán esos objetivos. Una evaluación de programas exitosa la constituyen un conjunto de objetivos del programa claros, medibles y realistasDesarrollar o seleccionar de entre los distintos programas alternativos existentes el que se utilizaráPoner en marcha un sistema de seguimiento para comprobar que se cumplen los objetivos del programaPoner a prueba y evaluar nuevos diseños de programas. a gran escala o a una escala importante, por los costes a corto plazo que va a tener y los resultados previsibles a corto, medio y largo plazo.

¿PARA QUÉ O PARA QUIÉN QUEREMOS LA EVALUACIÓN?

El tipo de información que interesa recoger en la evaluación variará según vaya dirigida a, o solicitada por:

AdministradoresEvaluación continua para el staff del proyectoEvaluación de la eficiencia del proyectoEvaluación para los responsables del proyectoEvaluación para el desarrollo y diseminación de nuevos programas

TIPOS DE EVALUACIÓNEvaluación para la Administración

Cuando la evaluación se realiza para la administración, especialmente para el organismo financiador o de quien depende funcionalmente la actividad o el programa preventivo, lo que más le interesa es la cantidad de actividades realizadas y la extensión de las mismas o las personas que han participado en ellas. Le interesa menos, o en muchos casos no le interesa, si con dichas actividades se ha conseguido el objetivo preventivo. Aquí la cantidad prima sobre la calidad.

TIPOS DE EVALUACIÓNEvaluación continua para el equipo del programa

En este caso la evaluación sirve para comprobar si se van cumpliendo los objetivos, así como que haya una conexión entre metas, objetivos y servicios. Esto es, si tal como se ha planificado la actividad preventiva o el programa preventivo a los resultados que se obtienen con el mismo hay una adecuación o concordancia entre lo primero y lo segundo.

TIPOS DE EVALUACIÓNEvaluación de la eficiencia del programa

Este tipo de evaluación se hace con el objetivo de proporcionar un mejor servicio o mejorar la coordinación entre varios componentes del programa, reduciendo el coste del servicio. En los últimos años este tipo de evaluación ha cobrado una gran relevancia en el campo de la salud y más y más va llegando al campo preventivo, tanto en drogodependencias como en otro tipo de actividades preventivas. Es de una gran relevancia cuando queremos generalizar el programa a grupos amplios de personas, ya que en este caso precisamos saber la relación coste-eficiencia para ver si es posible o no implantarlo a gran escala o a una escala importante, por los costes a corto plazo que va a tener y los resultados previsibles a corto, medio y largo plazo.

TIPOS DE EVALUACIÓNEvaluación para los responsables del programa

Este tipo de evaluación es la que se hace desde fuera del programa por parte de grupos de padres, los organismos o asociaciones que lo financian, políticos, expertos, etc.

Evaluación para el desarrollo y diseminación de nuevos programas

En estos casos es imprescindible la evaluación a largo plazo de los nuevos programas antes de pasar a la diseminación del mismo.

DIMENSIONES DE LA EVALUACIÓN DE LOS PROGRAMAS PREVENTIVOS

Evaluación del proceso (materiales y actividades del programa)Evaluación del resultado (logros y efectos del programa)Evaluación del impacto (resultados inmediatos y a largo plazo sobre política, educación o servicios, así como los efectos no deseados del programa)

LA EVALUACIÓN DEL PROCESO Y DEL RESULTADO

La evaluación del proceso describe lo que se ha hecho a lo largo del programa, tanto a nivel cualitativo como cuantitativo, por qué se ha hecho lo que se ha hecho y durante cuánto tiempo se ha hecho eso (horas, días, semanas, meses). Igualmente, la evaluación del proceso nos indicaría los motivos por los que se ha hecho cada cosa, por qué se tomaron decisiones concretas a lo largo del proceso de implantación del programa. Suele incluir esta evaluación las características de los participantes, del personal que ha participado en el programa o quien ha aplicado el mismo, el nivel de asistencia que ha tenido, si se ha implementado el programa del modo en que se diseñó o hubo que hacer algún tipo de cambio sobre la marcha, las tareas realizadas, cómo se implementó el mismo, las dificultades que fueron surgiendo a lo largo del mismo, la satisfacción que se ha logrado con el programa en los participantes, los que lo han aplicado y los que lo han diseñado, qué cambios se han apreciado con la mera aplicación del mismo, etc. (CSAP, 2001).

LA EVALUACIÓN DEL PROCESO Y DEL RESULTADO

La evaluación del proceso debe ir en paralelo a la evaluación del resultado o debe hacerse antes del mismo para conocer más sobre el programa preventivo, cómo se ha implantado, los resultados que hemos obtenido con el mismo, dificultades que un análisis de resultados no van a apreciar y que puede incidir en los resultados, etc. Si la evaluación queda sólo en la evaluación del proceso, pudiendose hacer una evaluación de resultados, la evaluación que hacemos es pobre. De ahí que haya que planificar desde el principio, cuando vamos a llevar a cabo una intervención preventiva, ya el proceso de evaluación (Muraskin, 1993). En las tablas 42 y 43 mostramos las preguntas esenciales que nos tenemos que hacer para la planificación de la evaluación del proceso y del resultado, tal como sugieren Kröger et al., (1998).

Preguntas esenciales que hay que hacerse en la evaluación del proceso

¿Qué variables e indicadores proporcionarán información útil sobre el modo en que se ha llevado a cabo la intervención?, ¿qué tipo de información (cualitativa y cuantitativa) desea valorar al evaluar el proceso?¿Qué métodos e instrumentos se utilizarán (entrevistas, cuestionarios, instrumentos de observación, etc.)?¿Dónde, cuándo y con qué frecuencia se recogerán datos sobre el proceso? (diseño).¿Quién suministrará la información necesaria para la evaluación del proceso?¿Cómo se prevé analizar los datos?

Fuente: Kröger et al. (1998).

EVALUACIÓN DEL PROCESO Y DEL RESULTADO

A diferencia de la evaluación del proceso, en la evaluación de resultados lo que analizamos son los cambios que se han producido habitualmente desde antes y después de aplicar la intervención preventiva, en las actitudes, valores, conductas, características psicológicas o cualquier otro proceso o variable que se ha seleccionado como elemento de cambio que se produce con dicha intervención preventiva y que a su vez podemos evaluar cuantitativamente. Habitualmente esta evaluación continuará a más largo plazo, en los seguimientos, evaluando esos mismos elementos, para comprobar si los resultados positivos, si se han obtenido, con el programa después de aplicar el mismo, se mantienen a lo largo del tiempo. En el resto del capítulo la evaluación se dirige fundamentalmente a la evaluación del resultado, y más específicamente a los estudios experimentales y cuasiexperimentales.

Preguntas esenciales en la planificación de la evaluación del resultado (1)

¿Qué indicadores se han elegido respecto a los resultados y cómo prevé medirlos?¿Se propone adoptar un planteamiento cuantitativo o cualitativo al recabar información sobre los resultados?, ¿qué indicadores e instrumentos pretende utilizar para recoger datos?. La clasificación siguiente puede resultar útil:

a) indicadores e instrumentos que midan la conducta de consumo de sustancias del grupo objetivo final,b) indicadores e instrumentos que midan las variables mediadoras relacionadas con la conducta de consumo de sustancias en el grupo objetivo final,c) indicadores e instrumentos que midan otras variables mediadoras del grupo objetivo final,d) indicadores e instrumentos que midan objetivos respecto al grupo objetivo intermedio.

Preguntas esenciales en la planificación de la evaluación del resultado (2)

¿Qué sabe de la calidad de los instrumentos (objetividad, fiabilidad, validez)?, ¿tiene previsto comprobar la aplicabilidad de los instrumentos?¿De qué fuentes, cuándo y con quéfrecuencia prevé recoger información sobre los resultados? (diseño).¿Cómo prevé analizar la información que ha recogido?, ¿qué métodos estadísticos son adecuados para comprobar la calidad de los datos y el diseño?

Fuente: Kröger et al. (1998).

EVALUACIÓN DEL IMPACTOMientras que la evaluación del proceso y del resultado se refiere a los efectos del programa, la evaluación del impacto se refiere a los efectos acumulados o agregados a nivel comunitario. En este casolo que nos interesa es ver qué cambios se han producido en la prevalencia e incidencia en el consumo de drogas, la morbi-mortalidad relacionadas con las drogas, el cambio en las políticas y programas institucionales, el grado, o incremento del grado, de implicación de la comunidad, los padres y otras instituciones en la prevención de las drogodependencias, el número de accidentes de tráfico, las tasas de alcoholemia, etc. Es el mejor sistema de evaluación de la eficacia de la prevención en su más amplio sentido. Es el tipo de evaluación que hacen los Planes Autonómicos de Drogodependencias o el Plan Nacional sobre Drogas de un país, ya que utiliza datos epidemiológicos, estudios de incidencia y prevalencia, número de delitos relacionados con las drogas, personas encarceladas por tráfico de drogas, número de ingresos en urgencias por consumo de drogas, etc. En las publicaciones del Observatorio Español sobre Drogas pueden verse estos ejemplos (ej., Plan Nacional sobre Drogas, 2002).

FACTORES QUE INFLUYEN EN EL IMPACTO DE UN PROGRAMA PREVENTIVO

Contenido del programaParticipantes (población diana)AplicadoresMedio en que se aplica el programaCalidad de la aplicaciónContexto

EL PROCESO DE DIFUSIÓN DE PROGRAMAS

Diseminación. Proceso mediante el cual se intenta que las escuelas en las que se desea implantar el programa sepan que éste existe y se encuentren inclinadas a integrarlo en la planificación de sus actividades para el cursoAdopción. Actividades dirigidas a que los colegios se comprometan en el desarrollo del programaImplementación. Fase en la que se realizan las intervenciones necesarias para que los profesores apliquen el programa de acuerdo a las indicaciones de ésteMantenimiento. Una vez que el programa ha sido adoptado por los colegios, se inicia esta fase en la que se incluyen las acciones necesarias para promover que los colegios mantengan el programa dentro de su programación de actividades a lo largo del tiempo

Problemas prácticos en la planificación e implementación de la evaluación

Regulaciones para obtener la información (ej. confidencialidad, permiso de los padres).Dificultad en determinar los grupos apropiados para comparar los resultados (grupo de control) en los grupos en los que se aplicó el programa.Las fuentes de datos existentes pueden ser de baja calidad para ser utilizadas en la evaluación (ej. faltas de disciplina, inasistencia escolar, etc.).Las tareas de evaluación suelen invariablemente llevar más tiempo del inicialmente previsto.Los evaluadores deben estar preparados para la contingencia de que el modo de obtención de datos no pueda realizarse tal como se planificó.

Factores que atentan contra la validez interna

1) Historia: Los acontecimientos específicos ocurridos durante la investigación entre la medición pretratamiento y la postratamiento (ej., separación de sus padres).2) Maduración: Procesos internos de los sujetos que se producen como consecuencia del paso del tiempo (ej., entrar en la pubertad).3) Medición: Cualquier cambio que pueda ser atribuido a la administración de las pruebas de evaluación.4) Instrumentación: Los cambios que se producen por los instrumentos de medida o en el procedimiento evaluativo.

Factores que atentan contra la validez interna

5) Regresión estadística: Fenómeno que se produce como consecuencia de eligir sujetos para formar los grupos en base a puntuaciones extremas.6) Sesgos de selección: Cualquier diferencia entre los grupos que sea debido a la selección diferencial en el proceso de asignación a los grupos.7) Atrición: Pérdida de sujetos en el transcurso de la investigación.8) Difusión del tratamiento: Ocurre cuando la intervención aplicada al grupo experimental es inadvertidamente también proporcionada al grupo control.

Adaptado a partir de Cook y Campbell (1979).

Factores que atentan contra la validez externa

1) Generalización a través de los sujetos: El alcance con el que los resultados de nuestra investigación pueden generalizarse a otros sujetos.2) Generalización a través de las situaciones: El alcance con el que los resultados obtenidos se pueden generalizar a otras situaciones.3) Generalización a través de las medidas de respuesta: Hasta qué punto se puede extender nuestros resultados a otras conductas distintas de las que hemos medido.4) Generalización a través del tiempo: El alcance que pueden tener los efectos conseguidos más allá del período que hemos utilizado en una investigación dada.


5) Generalización a través de los agentes de cambio de conducta: Hasta qué punto pueden administrar el mismo programa otras personas diferentes a las que lo hicieron en una investigación particular.6) Reactividad a la situación experimental: La posibilidad de que los sujetos puedan manifestar determinadas reacciones fruto del conocimiento de estar participando en una investigación.7) Evaluación reactiva: Las influencias derivadas del conocimiento de los sujetos de que están siendo evaluados.


8) Sensibilización pretest: La posibilidad de que al evaluar los sujetos antes de la intervención, los sensibilice de cara a la intervención subsiguiente.9) Interferencia de múltiples intervenciones: Cuando los sujetos se exponen a más de una intervención, las inferencias acerca de una intervención particular pueden estar limitadas por el hecho de que no sabemos con precisión si el cambio observado se debe a esa o a otra intervención.10) Novedad de la intervención: Posibilidad de que los efectos de una intervención puedan en parte depender de la novedad de la misma, más que a la eficacia de la intervención en sí.

Adaptado a partir de Cook y Campbell (1979)

Pasos de una investigación en la evaluación de un programa preventivo

1. Planteamiento del problema y evaluación de necesidades2. Revisión de la literatura científica sobre el tema en cuestión3. Modelo teórico del que partimos4. Formulación de las hipótesis5. Definición de las variables

variables dependientes e independientesvariables de evaluaciónvariables del programavariables de los sujetosvariables de los aplicadores del programa

6. Control de las variables extrañasvalidez internavalidez externa

Pasos de una investigación en la evaluación de un programa preventivo

7. Selección del diseño de investigación8. Muestra: selección y asignación de los sujetos a los grupos de intervención y de control9. El procedimiento experimental

Evaluación preintervenciónAplicación de la intervención preventivaEvaluación postintervenciónEvaluación de seguimiento

10. Resultados: tratamiento estadístico de los datos11. Elaboración de inferencias desde las hipótesis en función de los resultados12. La generalización de los resultados13. Elaboración del informe de la investigación

Puntos que debe abarcar el informe de investigación o un artículo con el resumen de la misma

1. Título, nombre del autor o autores, institución donde se ha llevado a cabo el estudio y agradecimientos2. Resumen del estudio3. Introducción

IntroducciónDesarrollo de los antecedentes existentes en la literaturaMarco teórico del que partimosPropósito y racionalidad del estudio que se va a realizarHipótesis

4. MétodoSujetosMateriales e instrumentos de evaluaciónProcedimientoDiseño experimental Programa (s) preventivo (s) utilizadosAnálisis estadístico

Puntos que debe abarcar el informe de investigación o un artículo con el resumen de la misma

5. ResultadosResumen de los datos obtenidos.Tratamiento estadístico de los datosTablas y figuras

6. DiscusiónEvaluar e interpretar los resultados en función de las hipótesis de que se ha partidoPlantear las siguientes cuestiones:

¿En que he contribuido con este estudio?¿Este estudio ayuda a resolver el problema original?¿Qué conclusiones e implicaciones teóricas puedo extraer del estudio?

7. Referencias bibliográficas8. Apéndice

ALGUNAS LAGUNAS EN LA INVESTIGACIÓN SOBRE PROGRAMAS PREVENTIVOS

La evaluación de programas se ha hecho sobre todo en tabaco.Suele evaluarse la eficacia del programa sólo en los que acuden regularmente al colegio. Los que tienen mayor riesgo de consumo son los que más faltal al mismoLos estudios experimentales controlan rigurosamente la aplicación del programa. Cuando se baja el control los profesores lo aplican laxamenteSon escasos los estudios con seguimientos largos, superiores a dos años

LA EVALUACIÓN ES UNA LABOR INTENSIVA, QUE IMPLICA AL MENOS

Planificar la evaluaciónRecoger los datos (cuestionarios, entrevistas, otros)Codificar los datosAnalizar los datosElaborar el informe

PROBLEMAS PRÁCTICOS EN LA PLANIFICACIÓN E IMPLEMENTACIÓN

DE LA EVALUACIÓNRegulaciones para obtener la información (ej., confidencialidad, permiso de los padres)Dificultad en determinar los grupos apropiados para comparar los resultados (grupo de control) con los grupos en los que se aplicó el programaLas fuentes de datos existentes pueden ser de baja calidad para ser utilizadas en la evaluación (ej., falta de disciplina, inasistencia escolar, etc.)Las tareas de evaluación suelen invariablemente llevar más tiempo del inicialmente previstoLos evaluadores deben estar preparados para la contingencia de que el modo de obtención de datos no pueda realizarse tal como se planificó

LA EVALUACIÓN EN MARCHA

Qué evaluarEl diseñoLa muestraEl cuestionarioLos recursos económicos disponibles

LA IMPLEMENTACIÓN DEL PROGRAMA PREVENTIVO. ELEMENTOS BÁSICOS A TENER EN CUENTA

Si el staff del programa recibió entrenamiento sobre el mismoSi los profesores que recibieron entrenamiento están dispuestos a usar el programaSi los profesores que recibieron entrenamiento pusieron en práctica el programa, cómo lo implantaron e incidencias del mismoSi los elementos asociados al programa (materiales, medidas en la escuela, medidas sociales, escuela de padres, etc) han estado disponibles o se han puesto en práctica

EL DISEÑODiseños experimentales

Diseño de grupo control pretest-postestDiseño de grupo control con solo postestDiseño de cuatro grupos de SolomonDiseños factoriales

Diseños cuasiexperimentalesDiseño cuasiexperimental de grupo control pretest-postestDiseño cuasiexperimental de grupo control con solo postest

EL PROBLEMA DEL GRUPO DE CONTROL

Objetivo del grupo control: poder contestar a la pregunta ¿qué alcance tendría la mejora de la persona sin la aplicación del programa preventivo?Las dificultades de utilizar un grupo de control y las limitaciones teóricas, éticas y prácticas para tener grupos de controlGrupos de control utilizados:

Grupo control de no intervenciónGrupo control de lista de esperaGrupo control no asignado aleatoriamente

EL CUESTIONARIOObjetivos de la evaluaciónQué queremos evaluarMejor utilizar un cuestionario ya existenteEjemplos de cuestionarios

ASPECTOS METODOLOGICOS QUE HAY QUE SUBSANAR

La validez de los datos autoinformadosDiseños de investigaciónComparabilidad de los gruposLa mortalidad experimental

CUESTIONES QUE HAY QUE INVESTIGAR

Mejorar la calidad de los diseños experimentalesMejorar el conocimiento de los factores de riesgo y protecciónDiseñar estrategias (modificación del contexto)Discriminar qué intervenciones son más útiles y para qué

Sloboda y David (1997)

RECOMENDACIONES PARA ELABORAR UN BUEN PROGRAMA

PREVENTIVO (1)

Uso de actividades con participación de igualesEstrategias y programas de prevención de carácter globalUn modelo psicosocial o de influencias sociales para la planificación de la prevenciónAlternativas al consumo tales como la planificación educativaActividades preventivas teóricamente fundamentadasEvaluación de la efectividad de las intervenciondesSupervisión de la calidad de la aplicación del programaFacilitación de programas de prevención en la comunidad, que se extiendan más allá de las aulas

RECOMENDACIONES PARA ELABORAR UN BUEN PROGRAMA

PREVENTIVO (2)

Adaptación de los materiales y los mensajes a las necesidades de los estudiantesEmpleo de grupos de discusión o de actividades de aprendizaje cooperativoUtilización de personal de salud mental o escolar para la aplicación de las estrategias preventivasUso de la política pública y escolar para controlar el consumo de alcohol, tabaco y otras drogasImplicación de los padres y de las familias en los esfuerzos preventivosConsideración de los múltiples determinantes del consumo y el establecimiento de múltiples objetivos en el programa

Werch (1995)

LOS PROFESIONALES, ¿QUIEREN EVALUAR LOS PROGRAMAS

PREVENTIVOS?No siempreNo suele ser un elemento prioritario en la implantación de programasLa evaluación suele posponerse y en muchos casos no hacerseSuelen estar frecuentemente presentes dificultades reales para realizarla, por falta de preparación, carencia de medios técnicos o recursos económicos para ella

LOS PROFESIONALES, ¿QUIEREN EVALUAR LOS PROGRAMAS

PREVENTIVOS?Los profesionales que aplican el programa deben participar en el diseño de la evaluación y en la interpretación de los resultados del mismoLa evaluación puede interferir con las actividades del programa (por ej., la aplicación de cuestionarios)Los resultados de la evaluación pueden ser utilizados inadecuadamente, especialmente en aspectos como la efectividad del mismo, presentaciones ambiguas, etc., incidiendo sobre la credibilidad del mismo

PROBLEMAS CON LOS QUE SE ENCUENTRA LA EVALUACIÓN DE LOS

PROGRAMAS PREVENTIVOS

No siempre hay un interés profesional en evaluar. Se parte de que el programa como tal programa tiene que funcionar y ser efectivoCostes de la evaluaciónCarencia de presuesto para la evaluaciónLa evaluación es una labor intensiva y especializadaHay distintos problemas prácticos para realizarla con criterios de calidad (ej., asignación del programa al azar a un grupo teniendo otro de control)Problemas de tiempoNecesidad de evaluaciones a largo plazo (3-5 años)

DIFUSIÓN DE RESULTADOS

Memoria de actividadesAnálisis del proceso y del resultadoA quién se dirige (administración, prensa, reunión de técnicos, etc.)Brevedad y claridad del informeEvaluación del impacto

ANÁLISIS DE TODO EL PROCESO, DETECCIÓN DE PUNTOS FUERTES Y DÉBILES DEL PROGRAMA Y NUEVAS

PROPUESTAS DE ACTUACIÓN

Análisis de todo el procesoDetección de los puntos fuertes (lo que funciona)Detección de los puntos débiles (lo que no funciona)Nuevas propuestas de actuación en función de toda la información disponible

Documents

PASOS A SEGUIR PARA LA PUESTA EN MARCHA DE UN · PDF fileDefinición del problema y actuaciones que se pueden poner en marcha para solucionar el mismo ... ¿Cuál es el problema? Análisis