(Consulte nuestra p á g i n a w e b : w w w . s i n t e s i s . c o m

1.11 ella e n c o n t r a r á el c a t á l o g o c o m p l e t o y comentado

© Enrique Rebolloso Baltasar Fernández-Ramírez

Pilar Cantón

© EDITORIAL SÍNTESIS, S. A. Vallehermoso, 34. 28)15 Madrid

Telífono: 91 593 20 98 httpj/www.slntcsis.com

ISBN: 978-84-975656-9-1 Depósito legal: M-16.981-2008

Impreso en España Prinled in Spain

Reservados todos tes derechos. Está prohibido, bajo las sanciones penales y el resarcimiento civil previstos en bu leyes, reproducir,

registrar o transmitir esta publicación. Integra o parcialmente, por cualquier sistema de recuperación y por cualquier medio, sea mecánico,

electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin la autorización previa por escrito

de los editores y de Editorial Síntesis, S. A.

II I

Indice

In t roducción '3

P A R T E I

D I S E Ñ O D E P O L Í T I C A S Y P R O G R A M A S D E i N T E R V E N a ó N S O C I A L

Capí tu lo I . Políticas, programas y evaluaciones .... 15

Conceptos clave - -I . I . Q u é es la investigación de evaluación 17 1.2. Evaluación e investigación social 18 1.3. Desarrollo histórico de la investigación de evaluación 21 1.4. Situación actual de la investigación de evaluación 24 1.5. Características del proceso de evaluación _ ~ 25 1.6. Delimitación final del concepto de evaluación- 29

Capí tu lo 2. P ropós i t o s y actividades principales del proceso evaluativo 35

Conceptos clave.- - 35 2.1. Razones o motivos principales de las evaluaciones - - 37 2.2. Propósi tos de la evaluación - - 41

2.2.1. Evaluación para la responsabi l idad— - - 41 2.2.2. Evaluación para el desarrollo— — 42 2.2.3. Evaluación para el conocimiento 42

2.3. Actividades generales de evaluación - 43 2.3.1. Conceptualización y d i s e ñ o — - • 43 13.2. Dirección y responsabilidad en la implementación 44 2.3.3. Valoración de la utilidad del p r o g r a m a — 45

I I I« | . » . | I » LLLL«IV»II.K«L »'K/LW

; 4 I iunnn 69 I * • v t l u w i ó n ~ - 46 H I l l w n t n t o i d « dect i ión 46

• 1 • 1 i i M ' i n 1 •.cj;un el lipo ile intervención social . 47 2.5. El proceso de intervención social - 49

Capitulo 3. Procedimientos d iagnóst icos - 53

Conceptos clave — 54 3.1. La evaluación de contexto dentro del proceso de intervención social 55 3.2. Problemas sociales . — 59 3.3. Métodos diagnósticos - 62

3.3.1. Evaluaciones proactivas - — 62 3.3.2. Análisis de problemas „.. _ _ 63 3.3.3. Evaluación de necesidades 64 3.3.4. Revisión de investigaciones _ 65 3.3.5. Revisión de las mejores prácticas (benchmarking) 65

3.4. Selección de la población objetivo. ..... 66 3.4.1. Definición - — 66 3.4.2. Conceptos 67

3.5. Métodos para identificar la población objetivo del programa 69 3.5.1. Entrevistas con informantes clave 69 3.5.2. Foro comunitario _ 69 3.5.3. índices bajo tratamiento - 70 3.5.4. Indicadores sociales - — - 70 3.5.5. Entrevistas _ 70 3.5.6. Técnicas de encuesta 71 3.5.7. Registro de documentos o datos de archivo — 71 3.5.8. Censos comunitarios — 72

Capítulo 4. Evaluación de entrarla y planificación del programa - 73

Conceptos clave - 74 4.1. Programas de intervención social 75 4.2. El marco turbulento de las instituciones de servicios 78

4.1.1. Contexto social de los programas ; 78 4.1.2. Dificultades para la evaluación 79

4.3. Objetivos de los programas 81 4.3.1. Misión y objetivos de los programas ._ 81 4.3.2. Definición de los objetivos del programa 83 4.3.3. Elementos del programa 84

4.4. Planificación y ajuste de las evaluaciones 85 4.5. La evaluación de entrada dentro del proceso de intervención social 87 4.6. Evaluación de la evaluabilidad 90

4.7. Evaluación*-» orientad»* por la teor ía 4.7.1. B m t t n t M < ' r I» , l r l programa 4.7.2. I I ' .r . lrm.i .Ir- ini | i lrii i i ' i i l . i i ion

PAO i i II L V A H W K'LN M ' . I I M A I K A I >! I ( I\ I 1 K X . I I A M A 5

D E I N T E R V E N C I O N S O C I A L

Capí tulo 5. Evaluación de proceso y seguimiento del programa I 0 I

Conceptos clave - '02 5.1. Seguimiento del programa... 103 5.2. Implementación del programa - • I07

5.2.1. Macroimplementación y microimplementación 107 5.2.2. Seguimiento, composic ión y factores de la implementación I08 5.2.3. La evaluación formativa de McCIintock — - I09

5.3. Seguimiento de la participación — - I I 0 5.4. La evaluación de la implementación dentro del proceso

de intervención social - 112 5.5. Evaluación para el desarrollo organizacional _ I 16

Capí tu lo 6. Estrategias para la evaluación de resultados e impactos I 19

Conceptos clave - — 120 6.1. La evaluación de resultados e impactos dentro del proceso

de intervención social— 120 6.2. La exper imentac ión social.— - - - — - 124 6.3. La emisión de juicios de valor _ 126 6.4. Criterios de valor y variables de resultado 128

Capí tu lo 7. D i seños aleatorizados y no aleatorizados para las evaluaciones de resultados e impactos - 131

Conceptos clave — 132 7.1. Diseños aleatorizados. I33

7.1.1. Elección del d iseño - — 134 7.1.2. Ideas fundamentales- _ — 136

7.2. Diseños no aleatorizados 139 7.3. Diseños cuasiexperimentales 140 7.4. D i s e ñ o de grupos unitarios para la evaluación de resultados

e impactos - - I46

R A R T E III

E V A L U A C I O N E S E C O N Ó M I C A S

Capitulo 8. Evaluación de la eficiencia - - ISI

Conceptos clave... 152 8.1. Evaluación de la eficiencia 153 8.2. Aspectos esenciales en el ciclo de los programas o proyectos sociales 156

8.2.1. Estado de pre-inversión._..„ 156 8.2.2. Estado de inversión 158 8.Z3. Estado de operac ión _. _ 159

8.3. Puntos de vista analíticos - - 160 8.4. Consideraciones diferenciales según los grupos de personas afectadas..... 162

8.4.1. La perspectiva del participante objetivo..... 163 8.4.1 La perspectiva del patrocinador del programa 163 8.4.3. La perspectiva de la sociedad en su conjunto 164

8 5 . Identificación y estimación del valor de los componentes 164 8.6. Categorización de costes _ - 165

8.6.1. Monetarios y no monetarios 166 8.6.1 De capital y de operación. . . 166 8.6.3. Recurrentes y no recurrentes _ - — 167 8.6.4. Manifiestos y escondidos — 167 8.6.5. Fijos y variables _ - — 167 8.6.6. Añadidos y consumidos 167 8.6.7. Directos e indirectos — - - 168 8.6.8. Medios y marginales — - - 168

8.7. Algunas cuestiones de interés analítico - 169 8.7.1. Escala del proyecto- - — - — 169 8.7.2. Unidades del análisis 171 8.7.3. Estimación ajustada de cos t e s— — - 172 8.7.4. Estimación de beneficios y costes futuros.. _ _ _. 173 8.7.5. Destinatarios de costes y beneficios 173

8.8. Críticas a los análisis de la e f i c i e n c i a — — 175 8.8.1. Beneficios psicológicos _. — 175 8.8.1 Valor de la vida humana 176 8.8.3. Degradac ión de la vida humana ..- _ _. 176 8.8.4. Requerimiento de asunciones y estimaciones- 177 8.8.5. Falta de completitud . 177

8.9. Presentación e interpretación de resultados.- 179 8.9.1. La demanda de información '. 179 8.9.1 El informe de evaluación 180

8.10. Papel del evaluador en los análisis de la eficiencia.... _ 182

Capí tu lo 9. Análisis coste-beneficio - - 1 ! '

Conceptos clave — ' 8 8

9.1. Antecedentes del análisis coste-beneficio..... - ' 89 9 .1 Marco analítico de referencia - — - — - '91

9.2.1. Definición del programa. _ - '92 9.2.1 Formulación de objetivos y su t raducc ión a declaraciones

de evaluación — — - - ' 93 9.2.3. Descripción de la población objetivo '93 9.2.4. Identificación de ahemativas 1 94 9.2.5. Diferenciación del modelo de anál is is— 195

9.3. Áreas sustantivas del ACB — 1 9 7

9.3.1. Estimación de la magnitud de los impactos 197 9.3.1 Valoración económica de los impactos 198

9.3.3. Agregación de costes y beneficios valorados 206 9.3.4. Estimación de costes totales y promedio 209

9.4. Puntos de vista analíticos en el ACB - ~> 1 2 9.4.1. Un ejemplo de cálculo de coste-beneficio 215 9.4.1 Sensibilidad de los resultados del ACB 217

9.5. Consideraciones de interés en la estimación.. . . 2 19 9.5.1. Duración del programa. 2 1 9 9 5 . 1 Compras de capi ta l . - - 219 9.5.3. Funcionamiento en efectivo y funcionamiento de base acumulativa.... 220 95.4. Cambios incurridos en los costes.— - 221 9.55. Práctica e s t ándar de presupuesto.- 221

9.6. Comparac ión de costes y beneficios — 222 9.6.1. Valor neto actual —- - 22 -9.6.1 Tasa interna de re tomo 223 9.6.3. Relación coste-beneficio. - 224

9.7. El tiempo en los análisis de la eficiencia 225 9.8. Aspectos distributrvos y é t icos . . . ._ - 227 9.9. Ventajas e inconvenientes del ACB 229

Capitulo 10. Análisis coste-efectividad 235

Conceptos clave -— 236 10.1. Antecedentes del análisis coste-efectividad. 237

10.2. Aplicación del ACE „ — - - 240 10.3. La cuantificación de beneficios en los programas sociales ~ 243 10.4. Metodología del ACE exante - 246

10.4.1. Primera fase. Definición del problema 247 10.4.2. Segunda fase. Diagnóstico de la situación . - - 248 10.4.3. Tercera fase. Planteamiento de alternativas de solución 250 10.4.4. Cuarta fase. Selección de la mejor alternativa - 252

/

10.5.

10.6.

Evaluación de programas de intervención soda/

10.4.5. Quinta fase. Elaboración del proyecto definitivo. _ 10.4.6. Sexta fase. Incertidumbre y tests de sensibilidad ._ 10.4.7. Séptima fase. Enmarque de los provectos y programas

en las prioridades sectoriales _ -Metodología del ACE expost _ 10.5 I . Primera fase. Identificación precisa de los objetivos del programa

Segunda fase. Traducción de objetivos a indicadores y dimensiones cuantificables -Tercera fase. Descripción de sujetos posiblemente afectados por el programa _ Cuarta fase. Establecimiento de las alternativas a evaluar Quinta fase. Medición de los recursos afectados en valores monetarios Sexta fase. Valoración comparativa de las alternativas...

La matriz de costes 10.6.1. Costes totales _

10.5.2.

10.5.3.

10.5.4. 10.5.5.

10.5.6.

10.6.2. Servicios anuales prestados (SAP) y oferta total anual ( O T A ) . 10.6.3. Coste por unidad de servicio (CUS) y coste por unidad

de producto (CUP)... 10.6.4. Expresión final de la matriz „

10.7. Análisis integrado coste-efectividad 10.7.1. Efectividad en el logro de los objetivos ( E L O ) . 10.7.2. Peso relativo asignado a cada objetivo ( W ) 10.7.3. Relaciones coste-efectividad o coste-impacto (CUE) 10.7.4. Diferencias en valores absolutos y en valores relativos 10.7.5. Relaciones coste-efectividad de los sistemas.

10.8. Ventajas e inconvenientes del ACE _ _ 10.9. El análisis coste-utilidad '.

252 253

254 255 256

257

258 259

260 260 261 262 265

266 267 269 269 271 271 272 274 275 278

P A R T E I V

P R O B L E M A S P R Á C T I C O S Y C A U O A D D E L A S E V A L U A C I O N E S

Capí tu lo 11. El movimiento cualitativo en evaluación 281

Conceptos clave „ _. 282 11.1. El debate cuarrtitativo-cualrtativo 283 11.2. Situación actual del debate ._ 285 11.3. M é t o d o s combinados en evaluación 287 11.4. Evaluaciones cualitativas 290

11.4.1. Evaluación respondente ._ 291 11.4.2. Evaluación centrada en el uso 293 11.4.3. Evaluación de caso único _ _ _. 295

11 4 4. Evaluación de cuarta generación 11.4.5. Evaluación democrá t ica deliberativa.

I 1.5. Crrtenos de calidad de las evaluaciones cualitativas 299

Capí tu lo 12. El uso de los resultados evaluativos.- _ - 303

Conceptos clave -*04 12.1. Elconcepto de uso ~ - 305 12.2. Tipología de los usos. - 307 12.3. La utilidad como cnterio de calidad de las evaluaciones 309 12.4. El problema del uso . - 31 I

12.4.1. Problemas del uso en la fase diagnóstica - 312 I 2 4.2. Problemas del uso en la fase de planificación — 31 3 12.4.3. Problemas del uso en la fase de intervención _ 313 17 4 4. Problemas del uso en la fase de evaluación de resultados 314 1145, Problemas del uso en la fase de utilización de los resultados 314

12 4 6. Problemas del ambiente po l í t i co— — - 316 12.5. Teoria de la influencia de las evaluaciones... - - - 317 12.6. Estrategias para aumentar el uso - • 321

12.6.1. El factor personal- - - - 321 12.6.2. C ó m o potenciar el uso político de las evaluaciones - 322 12.6.3. L a difusión de resultados. —•- - — 322 12.6.4. Los informes de evaluación.. 324 12.6.5. El problema de las recomendaciones - 324 12 6.6. Evaluaciones internas de alto impacto - 325

Capí tu lo 13. Factores clave para aumentar el uso 327

Conceptos clave — — -13.1. Factores humanos.. - - 328

13.1.1. Características del evaluador - 329 13.1.2. Características del usuario — 334

13.2. Factores contextúa les ~ 340 13.2.1. Compromisos de evaluación preexistentes - - - 340

13.2.1 Hechos organizacionales ~ - - • 342 13.2.3. Características del programa 345

13.3. Factores de evaluación.. . - 346 13.3.1. Procedimientos de evaluación — - - — 346 13.3.2. Diálogo informativo 349 13.3.3. Naturaleza de la información evaluativa - 350 13.3.4. Informe de evaluación „ 352

13.4. Conclusión -— — - - - J J

1 ¿ j Lvohoción de programas de intervención social

Capí tu lo 14. Concepto, procedimiento y criterios de metaeva luac ión

Conceptos clave.. - — 14.1. Concepto de metaevaluación 357 14.2. Funciones de la metaevaluación 35B 14.3. Tipos de metaevaluación. . . . __ - - - 359 14.4. El proceso de metaevaluación 360 14.5. Criterios de metaevaluación _ 363

14.5.1. Criterios de calidad científica - 363 14.5.2. Normas profesionales 365 14.5.3. Principios éticos de los evaluadores 366 14.5.4. La lista de control de Scriven _ 369 14.5.5. Criterios para evaluaciones sistemáticas — 370 14.5.6. Criterios para evaluaciones democrát icas y emancipadoras 371

Capí tu lo 15. El contexto social de las evaluaciones .„ — _ 375

Conceptos clave ~ - - - 376 15.1. El ambiente político de las evaluaciones — 377 15.2. Relaciones del evaluador con los d e m á s grupos.. - 380

15.11. Relaciones del evaluador con los equipos gestores „ — 381 15.12. El miedo a ser evaluado - - 382

15.3. La posición ética de los evaluadores.... - - .- 383 15.4. Roles del evaluador. _. 388 155. Evaluaciones de p e q u e ñ a escala - 391 15.6. La profesión de evaluador 393

Bibliografía 399

Introducción

E l campo de la eva luac ión tiene una pos ic ión especial dentro de las ciencias sociales. E n él han confluido profesionales y a c a d é m i c o s de muchas disciplinas, algunas tan alejadas que parece imposible que hayan encontrado intereses comunes. Es un cam­po aplicado, en el sentido absolutamente real del t é r m i n o . La demanda profesional es enorme, y los a c a d é m i c o s casi tenemos que pedir disculpas cuando debatimos con los colegas que viven de la p rác t i ca , pues somos "los de los l ibros" , tal es la impre s ión de que la disciplina se ha construido en la prác t ica y no en la academia. Sin desmere­cer su enorme valía, debemos contradecirles. E n el campo de la eva luac ión e s t án re­presentadas todas las grandes t eo r í a s y p o l é m i c a s de las ciencias sociales de las últi­mas d é c a d a s , incluyendo las grandes disputas e p i s t e m o l ó g i c a s y las promesas de futuro . E l trabajo que hay por delante de nosotros es inmenso, y sólo en campos co­m o el nuestro es posible que todo t ipo de profesionales tenga cabida y llegue a la c o n f r o n t a c i ó n y a la cons t rucc ión compart ida del conocimiento.

En t r e las opciones disponibles, hemos decidido estructurar el l ib ro siguiendo el esquema raciona] marcado por los modelos de e v a l u a c i ó n s i s t e m á t i c a , especial­mente el de Rossi y Freeman (1989), cuyo manual ha conocido siete ediciones y es el modelo de e v a l u a c i ó n por antonomasia. Con H o w a r d E . Freeman tenemos i n ­cluso una deuda especial, pues fue el mentor del p r imero de los autores de este l i ­b r o en su inic iación a la materia de la e v a l u a c i ó n de programas. Los modelos siste­m á t i c o s , desde que K u r t L e w i n marcara la senda en los remotos a ñ o s cuarenta, son aquellos que div iden el proceso de i n t e r v e n c i ó n y e v a l u a c i ó n en tres grandes fases: el d i s e ñ o del programa, la i m p l e m e n t a c i ó n y la v a l o r a c i ó n de sus resultados. Noso­t ros proponemos una va r i ac ión propia , ta l como se muestra en varios de los cap í tu ­los iniciales del l ibro , sobre todo en el segundo. T a m b i é n debemos reconocer una deuda con los trabajos y manuales de Michae l Scriven, D a n i e l L . Stufflebeam y Ca-r o l H . Weiss, así como con m ú l t i p l e s autores cuya lectura ha ocupado un elevado n ú m e r o de horas de nuestro t i empo, y a quienes debemos una gran cantidad de ideas que han inspirado las que a q u í exponemos al lector en lengua e s p a ñ o l a .

L a primera parte del manual es tá compuesta por cuatro cap í tu los . D e s p u é s de in ­t roducir los conceptos bás icos de la materia, sobre todo en lo relativo a la definición y

i 14 Evaluación de programas de intervención social

las funciones de la eva luac ión , trazamos una p a n o r á m i c a general sobre las distintas actividades de eva luac ión , y presentamos el modelo que sirve para estructurar nuestra propuesta s i s temát ica . A c o n t i n u a c i ó n , exponemos los procedimientos para realizar el d iagnós t ico de los problemas y las necesidades sociales, así como distintas cuestiones clave para la definición de programas y proyectos de in te rvenc ión social.

L a segunda parte es central para el d i s e ñ o de las evaluaciones de corte siste­m á t i c o . A u n q u e es una c o n t i n u a c i ó n directa del c a p í t u l o anterior, entendemos que las evaluaciones que analizan el proceso y los resultados de la i n t e r v e n c i ó n fo rman el n ú c l e o de las actividades que usualmente se demandan en la func ión de evalua­c i ó n . L a c u e s t i ó n de la v a l o r a c i ó n de resultados e impactos se trata en dos de los c a p í t u l o s , con el á n i m o de cubr i r suficientemente la diversidad de planteamientos encontrados en esta act iv idad e spec í f i ca , concediendo al d i s e ñ o de estudios expe­rimentales y cuasiexperimentales el papel que ocupa por su uso extendido t o d a v í a entre muchos evaluadores de corte convencional .

L a tercera parte e s t á dedicada a las evaluaciones e c o n ó m i c a s . Sin ser nuestro campo de e s p e c i a l i z a c i ó n , hemos considerado necesario no dejar sin cubri r tan i m ­por tan te á r e a de trabajo. Tras un p r i m e r o de p r e s e n t a c i ó n genera], otros dos ex­tensos c a p í t u l o s se dedican a los aná l i s i s de coste-beneficio y de coste-efectividad. Q u i z á para muchos lectores sea una p r imera o c a s i ó n para familiarizarse con el lenguaje y algunas cuestiones relevantes-en este t i po de actividades evaluativas.

A l igual que en otros reconocidos manuales, hay una serie de temas colatera­les que despiertan gran i n t e r é s a c a d é m i c o y profesional entre los evaluadores, y que hemos reun ido dent ro de la cuar ta y ú l t i m a par te del l i b ro bajo la et iqueta de "Problemas p r á c t i c o s y cal idad de las evaluaciones". A l l í e n c o n t r a r á el lector una i n t r o d u c c i ó n a las propuestas del m o v i m i e n t o cua l i ta t ivo en nuestro campo, en au­ge en estas ú l t i m a s d é c a d a s , u n c a p í t u l o sobre los procedimientos de metaevalua­c i ó n , dos m á s sobre el denominado p rob lema de l uso, donde incluimos diversas estrategias para mejorar el impac to de los estudios de e v a l u a c i ó n , y el c a p í t u l o fi­nal , donde t ra tamos sobre el contexto social y profes ional de la e v a l u a c i ó n .

Para concluir , todos aquellos que de a l g ú n m o d o ayudaron a dar fo rma al l i b r o o con t r ibuye ron , directa o ind i rec tamente a las reflexiones que incluye, dense por agradecidos con la mayor cord ia l idad y c a r i ñ o p o r nuestra parte. Duran te a ñ o s he­mos t ra tado de a c o m p a ñ a r n o s de l o m i s n u t r i d o de nuestro campo de trabajo e i n ­v e s t i g a c i ó n . M u c h o s colegas de b r i l l an t e y reconocida trayectoria han pasado por nuestras aulas c o m o visitantes e invi tados , y de todos ellos hemos ido t o m a n d o ideas, inquietudes intelectuales, preocupaciones humanas y buenos momentos de c o n v e r s a c i ó n . Gracias a todos, y u n recuerdo especial para aquellos que muchas veces son citados en este manua l y ya no se encuentran entre nosotros.

Quede para e l lector la tarea de estudiar, re f lex ionar y poner en p r á c t i c a lo que de a q u í aprovechare.

Parte I Diseño de políticas

y programas de intervención social

Políticas, programas y evaluaciones

D e unos a ñ o s a esta parte ta demanda de profesionales y actividades de evalua­c i ó n no ha dejado de crecer a nuestro alrededor, y la e v a l u a c i ó n se ha conver t ido en uno de los campos de i n v e s t i g a c i ó n con mayor p r o y e c c i ó n a c a d é m i c a y profe­sional . C o m o saber eminentemente p r á c t i c o , la e v a l u a c i ó n comparte ios proble­mas de la ciencia social aplicada, con la necesidad de ut i l izar d i s e ñ o s flexibles, m é ­todos ec l éc t i cos y un r o l m á s cercano a la consultorfa. Los clientes de la e v a l u a c i ó n y las personas que t ienen intereses en los programas (los stakeholders) se han con­ve r t i do en el c r i t e r io fundamental para de te rminar el é x i t o de la e v a l u a c i ó n , toda vez que la mejora social, ob je t ivo ú l t i m o de la empresa evaluativa, pasa por lograr que los participantes en el proceso de i n t e r v e n c i ó n y e v a l u a c i ó n hagan uso de sus resultados y recomendaciones.

L a e v a l u a c i ó n es una act ividad fuertemente relacionada con el campo de las p o l í t i c a s sociales y combina los p r o p ó s i t o s de ayudar a la mejora de las in te rven­ciones y aportar i n f o r m a c i ó n para el debate p ú b l i c o sobre el buen uso de los fon­dos destinados a los programas. Eva luar impl ica la e m i s i ó n de juicios de va lor so­b re e l co r r ec to func ionamien to de las ac t iv idades , la ca l idad de los planes de t rabajo o las consecuencias positivas del p rograma en la mejora de las condiciones sociales.

L a e v a l u a c i ó n no es una empresa sencilla, n i una act ividad que se ejecuta de manera pun tua l por u n conjunto reducido de investigadores. L a e v a l u a c i ó n es una empresa compleja que requiere un esfuerzo s i s t e m á t i c o , e impl ica la p a r t i c i p a c i ó n de u n ampl io n ú m e r o de personas y la i n v e r s i ó n de una considerable cantidad de recursos que deben ser d e t r a í d o s de los presupuestos de la i n t e r v e n c i ó n . E l anill sis de los programas s e ñ a l a las dificultades que e n t r a ñ a trabajar con grupos dlvci sos de personas que t ienen intereses diferentes y a veces a n t a g ó n i c o s , v q u i 1 , 1

m a n d a n act ividades evaluat ivas que cobran signif icados diversos en un mi dio

Porte /. D i seño de políticas y programos de intervención social

fundamentalmente p o l í t i c o . Esta comple j idad , a s í como la var iedad de opciones conceptuales, t e ó r i c a s y m e t o d o l ó g i c a s , y la creciente demanda convie r ten a la e v a l u a c i ó n en un re to de gran atract ivo para los investigadores interesados en una ciencia social d i rectamente compromet ida con la mejora y la s o l u c i ó n de los p ro ­blemas sociales.

C o n c e p t o s c l a v e

Ciencia social aplicada. Parte de las ciencias sociales que t i ene c o m o o b j e t i v o p r i o r i t a r i o la a p l i c a c i ó n del conocimiento y los m é t o d o s de la ciencia social para resolver p ro­blemas sociales. T rad ic iona lmen te se contrapone con la idea de cien­cia bás ica , aunque la d i s t i n c i ó n es confusa y muchos la rechazan.

Intervención social. Esfuerzo s i s t e m á t i ­co y r a c i o n a l pa ra m o d i f i c a r las condiciones sociales o el comporta­miento de las personas con el obje­t ivo p r io r i t a r io de la mejora social.

Política social. C o n j u n t o de prescr ip­ciones y l í n e a s de i n t e r v e n c i ó n que reflejan los esfuerzos del gobierno para resolver los problemas socia­les o gestionar los asuntos de inte­r é s de la c o m u n i d a d en r e l a c i ó n con temas c o m o sa lud , v i v i e n d a , igualdad, i n t e g r a c i ó n , etc.

Programas. E n muchos casos es s i n ó ­n i m o de i n t e r v e n c i ó n social, aun­que comprende t o d o c o n j u n t ó de act ividades p lan i f i cadas e i m p l e -mentadas de f o r m a rac iona l para lograr a l g ú n p r o p ó s i t o e s p e c í f i c o ( i n t e r v e n c i ó n s o c i a l , p r o g r a m a e d u c a t i v o , p r o c e s o de t r a b a j o , etc.).

Implementación. Puesta en p r á c t i c a de las a c t i v i d a d e s de u n p r o g r a m a . Ex ige una p l a n i f i c a c i ó n espec í f i ca p rev ia en r e l a c i ó n con la p r e v i s i ó n y d i s t r i b u c i ó n de los recursos nece­sarios para el desarrollo de las acti­vidades.

Función de evaluación. Es u n o de los elementos centrales del proceso de i n t e r v e n c i ó n soc ia l , j u n t o c o n la p l a n i f i c a c i ó n y la i m p l e m e n t a c i ó n de las actividades. La i n f o r m a c i ó n evaluat iva es v i ta l para mejorar la t o m a de decis iones sobre el p r o ­grama de manera inmediata , a me­d io o a largo plazo.

Valoración y juicios de valor. Eva luar consiste en e m i t i r ju ic ios de va lor sob re l a c a l i d a d de a l g ú n o b j e t o (p rograma , proceso, e lemento , or­g a n i z a c i ó n , persona, etc.). E l j u i c io de va lo r requie re de la existencia de c r i t e r i o s de v a l o r que p u e d a n ser contrastados con los datos em­p í r i c o s sobre e l f unc ionamien to y los resultados del programa.

Efectividad, eficacia y eficiencia. Son tres conceptos estrechamente rela­c ionados que p u e d e n ser u t i l i z a ­dos c o m o cr i ter ios de va lor para la e m i s i ó n de j u i c i o s . U n p r o g r a m a

Capítulo l: fotiucas, progromuj y c r w u u u v M

es efectivo cuando consigue resul­tados, eficaz cuando consigue los r esu l t ados esperados y e f i c i e n t e cuando lo logra a un coste razona­ble.

Usos de la evaluación. L a u t i l i d a d de los resultados evaluat ivos e s t á de­te rminada por la capacidad de las personas o grupos impl icados en el p rograma para extraer consecuen­cias, planif icar mejoras y, en gene­ra l , hacer uso de las conclusiones de la e v a l u a c i ó n . H a y dis t intos t i ­pos posibles de uso y es impor t an ­te ser consciente de que debe ha­ber un esfuerzo in tenc ionado para lograr la u t i l i z a c i ó n .

Evaluación sistemática. Es un t i po de e v a l u a c i ó n que intenta analizar de

mane ra i n t e g r a l el proceso de \ i n t e r v e n c i ó n social , i nc luyendo e c o n t e x t o p rev io de la e v a l u a c i ó n , la p l a n i f i c a c i ó n de l p r o g r a m a , la i m p l e m e n t a c i ó n de las actividades y la p r o d u c c i ó n de resul tados d i ­versos.

Stakeholders. L i t e r a l m e n t e s ign i f i ca "aquel los que t iene u n i n t e r é s de­posi tado" , es decir, aquellas perso­nas o grupos que t ienen algo que ganar o que perder con el é x i t o del p rograma.

Audiencias. Es un concepto p r ó x i m o al an te r io r , que in ten ta iden t i f i ca r a todos los grupos de personas que se cons t i tuyen en usuarios po ten­ciales de la e v a l u a c i ó n y destinata­rios de la i n f o r m a c i ó n evaluativa.

I . I . Q u é es la i n v e s t i g a c i ó n de e v a l u a c i ó n

Las definiciones son variadas dependiendo de la o r i e n t a c i ó n del autor que las for­mule , del én fas i s en uno u o t ro de los objet ivos de la e v a l u a c i ó n , o de la descrip­c i ó n en la p r á c t i c a del proceso o de alguno de sus elementos componentes. Glass y EHet (1980) d i s t ingu ie ron ocho conceptos, y posiblemente la lista no es en modo alguno exhaustiva ( v é a s e cuadro 1.1).

L a i n v e s t i g a c i ó n de e v a l u a c i ó n es la a p l i c a c i ó n s i s t e m á t i c a de los m é t o d o s de la ciencia social para investigar la efect ividad de los programas de i n t e r v e n c i ó n so­cial (Rossi y Freeman, 1989; Rossi, Lipsey y Freeman, 2004), una a d a p t a c i ó n de los m é t o d o s de i n v e s t i g a c i ó n social a la tarea de estudiar la i n t e r v e n c i ó n social en sus circunstancias p o l í t i c a s y organizacionales de m o d o que puedan obtenerse j u i ­cios fundamentados sobre la necesidad de realizar una i n t e r v e n c i ó n , así como so­bre el d i s e ñ o , i m p l e m e n t a c i ó n , impac to y eficiencia de los programas que se cen­t r an en esa necesidad. Se defiende una p o s i c i ó n que se ident i f ica plenamente con la ap l i c ac ión de las ciencias sociales a la r e s o l u c i ó n de los problemas. E n esta lí­nea, Rebol loso y Rebo l loso (1998a: 223) escriben: "nuestro i n t e r é s se centra no en cualquier t ipo de e v a l u a c i ó n , sino só lo en aqué l l a que garantice c i en t í f i c amen te la

validez de las conclusiones que por tal p r á c t i c a hayan sido obtenidas". Da tod dos, no es necesario restringir el campo de la e v a l u a c i ó n a la ap l icac ión exclus iv i i las t écn icas y m é t o d o s de inves t igac ión social, y es fácil s e ñ a l a r ejemplos d e n dones desarrolladas en otros á m b i t o s de i n t e r é s ( i n v e s t i g a c i ó n de mercado, u4||| del consumidor, ges t i ón organizarional) . U n a def in ic ión cientifista de este t ipo M IV obstante suficientemente amplia como para dar cabida a m ú l t i p l e s intereses, pan pectivas y m e t o d o l o g í a s de trabajo, si b ien la mayor parte de los especialistas r n e v a l u a c i ó n han recibido f o r m a c i ó n y provienen del campo general de las ciencias so c ía les .

L a e v a l u a c i ó n y la i n v e s t i g a c i ó n social convencional coinciden en su i n t e n c i ó n de alcanzar conoc imien tos v á l i d o s median te la a p l i c a c i ó n de m é t o d o s similares. Sin embargo, la e v a l u a c i ó n suele encuadrarse dent ro de la c a t e g o r í a de investiga c i ó n aplicada, po r c o n t r a p o s i c i ó n con u n t i po de i n v e s t i g a c i ó n básica desarrollada en contextos controlados y fuertemente or ientada al desarro l lo t e ó r i c o . L a dist in­c i ó n entre ciencia b á s i c a y aplicada es ú t i l para aproximarse a dos t ipos de investi­g a c i ó n diferenciados p o r sus intenciones y los condicionantes de l contexto de estu­d io . N o obstante, su va lor conceptual es m u y l i m i t a d o po rque la lóg ica que sigue la i n v e s t i g a c i ó n es m u y s imi la r en ambos casos. Queda c laro que la d i s t i n c i ó n en­t re ambas e s t á superada desde hace a ñ o s , y resulta confusa para analizar el p ro­b lema de c ó m o desarrollar u n conocimiento v á l i d o y socialmente relevante (B lan ­co , F e r n á n d e z - D o l s , H u i c i y M o r a l e s , 1985; R e b o l l o s o , F e r n á n d e z - R a m í r e z y C a n t ó n , 2003).

1.2. E v a l u a c i ó n e i n v e s t i g a c i ó n soc ia l

L a e v a l u a c i ó n debe dist inguirse de la i n v e s t i g a c i ó n social t r ad ic iona l (Rebol loso y Mora les , 1996). A m b a s actividades se g u í a n por los c á n o n e s c i en t í f i cos , pe ro la e v a l u a c i ó n debe a d e m á s ob l iga tor iamente resultar út i l en la s o l u c i ó n de los p ro ­blemas (Cronbach y asoc., 1980; Chel imsky, 1983). E n concre to , la ac t iv idad eva­luat iva es diferente porque (Weiss, 1990): e s t á destinada al uso; der iva sus pregun­tas de los problemas que interesan a los responsables y los usuarios del programa; persigue realizar u n j u i c i o compara t ivo entre al ternat ivas de a c c i ó n ; se desarrolla den t ro de l programa, po r l o que debe atender especialmente á las dimensiones po­l í t icas y estructurales de la o r g a n i z a c i ó n de servicios; debe resolver los conflictos de r o l que surgen con los evaluados; aunque la d i fus ión de la i n v e s t i g a c i ó n es ne­cesaria para con t r ibu i r al avance de la discipl ina, es m á s difíci l po r los problemas de reserva y conf idencia l idad de los datos, las dif icultades temporales del estudio y los problemas de general izabi l idad; po r ú l t i m o , el evaluador e s t á c o m p r o m e t i d o con el conoc imien to social, pero t a m b i é n con la a p l i c a c i ó n de l conoc imien to para la mejora y en su caso con la o r g a n i z a c i ó n que paga y necesita el estudio.

E l invest igador convencional defiende la ob je t iv idad c o m o u n va lor imprescin­d ib le , evi tando asumir una func ión va lora t iva temeroso de que sus valores e ideo-

Coprtü/o /: Políticas, programas y evoíuociones I 21

logias sesguen los resultados del estudio. Su obje t ivo es describir y explicar cómo son las cosas, no cómo deberían ser. Por su parte, el evaluador rechaza la idea de ciencia l ibre de valores, asumiendo que e l p r inc ipa l ob je t ivo de su trabajo es la e m i s i ó n de juicios, para lo cual tiene que tratar con los valores de múl t ip l e s grupos implicados, sin que se vea mermada la cal idad c ient í f ica de sus resultados. E l con­tacto con la real idad es mayor en el evaluador, el cual reconoce el c a r á c t e r aplica­d o de su trabajo y es consciente de que debe compaginar los factores po l í t i cos e i d e o l ó g i c o s con la cal idad c i en t í f i ca . C o m o inves t igador apl icado, el evaluador muestra una mayor p r o x i m i d a d a contextos profesionales en donde debe dar res­puesta a demandas y problemas espec í f i cos , u t i l i zando los recursos m e t o d o l ó g i c o s y conceptuales de que dispone, s e g ú n sea su u t i l i d a d para el caso, y presionado por la urgencia de los costes, el t i empo o e l prest igio profesional . E l ro l profesio­nal ha p r o m o v i d o la a m p l i a c i ó n de los cri terios de validez de la i nves t i gac ión , re­cuperando el valor de la u t i l i dad aplicada de la i n v e s t i g a c i ó n (Cronbach y asoc, 1980; Guba y L i n c o l n , 1989). N o obstante, muchos evaluadores t ratan de compagi­nar y aprovecharse de todas las posibi l idades d e - a c t u a c i ó n , si el lo es út i l para afrontar cada problema de i n v e s t i g a c i ó n part icular .

Una s íntes is de las diferencias entre i n v e s t i g a c i ó n social bás ica y aplicada debe­r ía incluir el problema de la audiencia a qu ien se di r ige los resultados del informe, el enfrentamiento entre " m é t o d o s suficientemente buenos" frente a " m é t o d o s me­jores", la interdiscipl inariedad e i nves t i gac ión m u l t i m é t o d o frente a la especializa-c ión , y los asuntos p r á c t i c o s frente a los t e ó r i c o s ( v é a s e t a m b i é n el cuadro 1.1). A u n q u e todas las actividades de e v a l u a c i ó n t ienen l ó g i c a m e n t e un ca rác t e r aplica­do, no siempre su r e l a c i ó n con l o t e ó r i c o e s t á b ien del imitada. S e g ú n Rossi y Free­man (1989), existen diferencias cualitativas entre ellas. L a inves t igac ión bás ica sue­le iniciarse con el p r o p ó s i t o de satisfacer la curiosidad intelectual del investigador, qu ien aspira a cont r ibu i r con su trabajo al conocimiento de base del á rea sustantiva de la ciencia objeto de su i n t e r é s . E n c o n t r a p o s i c i ó n , la inves t igac ión aplicada tiene su or igen en la necesidad de resolver un problema p r á c t i c o y responder a la deman­da de distintos grupos de personas y grupos afectados por un determinado proble­ma social. A s í , pues, queda claro que el p r imer impera t ivo para el evaluador es comprender la " e c o l o g í a social" del campo en que va a desarrollar su trabajo.

L a segunda diferencia tiene que ver con la regla de o r o que rige el m o d o prag­m á t i c o de ejecutar la e v a l u a c i ó n , de manera que sea lo "suficientemente buena" para responder adecuadamente a las cuestiones bajo es tudio . Esto conl leva la a s u n c i ó n de que existen grados de justeza y a d e c u a c i ó n de la e v a l u a c i ó n a los ob­je t ivos que persiguen los c á n o n e s de la i n v e s t i g a c i ó n c ien t í f ica . Generalmente los investigadores bás i cos poseen una f o r m a c i ó n de acuerdo con una singular or ienta­c i ó n discipl inaria a la que permanecen fieles durante el desarrol lo de toda su ca­r rera profesional , y una firme a d h e s i ó n a un marco concreto de procedimientos m e t o d o l ó g i c o s . Su campo de conocimiento y de estudio e s t á l imi t ado a un deter­minado d o m i n i o de la ciencia. Por e jemplo , el economista que hace de los costes del cuidado sanitario su campo de i n v e s t i g a c i ó n y aplica consistentemente mode-

22 j Porte I: D i seño de poliúcas y programas de intervención social

los e c o n o m é t r i c o s . D e forma semejante, e l p s i c ó l o g o social o el s o c i ó l o g o que ha­cen de la o b s e r v a c i ó n par t ic ipante el p r inc ipa l m é t o d o de estudio en los procesos de e n s e ñ a n z a y aprendizaje. Por el con t ra r io , los evaluadores generalmente se d i ­versifican en su trabajo in ten tando dar respuestas a cuestiones que exigen fami l ia ­ridad con un ampl io abanico de t e o r í a s y m é t o d o s de i n v e s t i g a c i ó n . Esta d i feren­cia c o n e l i n v e s t i g a d o r b á s i c o ocas iona p r o b l e m a s a la h o r a de d e c i d i r q u é perspectivas t e ó r i c a s y m e t o d o l ó g i c a s d e b e r í a n ser la base de la f o r m a c i ó n y del ejercicio profesional de los evaluadores (Shadish y Reichardt , 1987).

Cuadro I . I . Consideraciones de tipo pragmático y de tipo científico

Uno de los artículos mis influyentes en evaluación ha sido, sin duda, el que escribiera Donald Camp­bell en 1969. Aquí subraya su posición ideológica de que la política y las decisiones sobre los programas deben emerger de la comprobación continua de las formas de mejorar las condiciones sociales, y que los esfuerzos de cambio social que realiza la sociedad deben estar enraizados en la eioperimentaáón social. La comunidad y la nación, si no el mundo entero, deberían ser considerados como un laboratorio de experi­mentación social Tanto él como sus coUbciradores promovieron esta posición y se dedicaron a perfeccio­nar la metodología de la investigación social, a fin de convertir la sociedad en una sociedad que experimen­ta (por ejemplo. Cook y Campbell. 1979).

En consecuencia, Campbell persigue imponer d modelo experimental en la investigación de evalua­ción, tal y como se practica en la psicología social Aunque atemperada en escritos posteriores (Campbell, 196-4). su posición se caracteriza por ajustar la investigación de evaluación al paradgma de investigación so­cial científica.

En contraste con esta visión, otro gigante de la evaluación. I ee J Cronbach (1982). estadístico e inves­tigador, aún reconociendo que tanto la nvestigaaón científica como la evaluación pueden usar la misma ló­gica de indagación y los mismos procedimientos de investigación, considera que los propósitos e rrtentos son diferentes (Cronbach, 1982). La evaluación es un arte, y cada evaluación representa un esfuerzo idio­sincrásico por satisfacer las necesidades de los patroanadores y stokehotóers de los programas. La investiga­ción científica persgue ajustarse y satisfacer un conjunto de estándares de la investigación formulados pea-Ios pares-, mientras que las evaluaciones necesitan diseñarse e implenieritarse de forma que reconozcan los intereses de los políticos y patrocinadores y que proporcionen una información útil para bs que toman de­cisiones, dadas las usuales restricciones y condicionamientos de tos recursos disponibles y las circunstancias políticas del programa En palabras del mismo Cronbach (1982.1 -2):

El propósito central de la evaluación difiere del de la investigación social básica en que las evaluaciones se ajustan a diferentes contextos reúLióonales y políticos. La estrategia de la investigación evaluativa por Unto re­quiere especial consideración La lógica es necesariamente la misma que la de la rvdagadón científica, pero la traducción de la lógica a un procedimiento debería depender del contexto, propósito y resurtido esperado. Muchas recomendaoonel apropiadas para los programas a largo plazo de la investigación científica se ajustan bastante mal a la evaluación. Por tanto, los tratados generales sobre el rise/to y el método dentüco no resurtan pertinentes para guiar al evaluador las recomendaciones generales para la evaluación también pueden levar a confusión: las evaluaciones no deberían fraguarse en un soto molde. Para cualquier evaluación se pueden pro­poner dseftos muy buenos, peno no perfectos

Algunas veces, pueden emprenderse evaluaciones y se puede entender que son lo "suficientemente buenas' para responder a cuestiones relevantes políticas o de programas, aunque desde el punto de vista científico no sean representativas de los mejores diseño; las evaluaciones pueden alejarse de los diseños ideales científicos. No obstante, una visión pragmática debe entender también que la evaluación está enrai­zada en la metodología científica, a pesar de ser sensible a los corKkkjramientos de los recursos, necesida­des y propósitos de las personas que apoyan los programas, y a ta naturaleza del contexto de la evaluación.

Capitulo I: Políticas, programas y evaluaciones

Otra gran diferencia descansa en el t i p o de audiencia y en el cr i ter io para valo­rar la u t i l i zac ión del t rabajo aplicado. L a audiencia de l investigador b á s i c o es la fa­mil ia '!<" colegas o pares que pertenecen a su mi smo campo de e spec i a l i zac ión , y la u t i l izac ión se juzga por el uso de sus descubrimientos en la l i teratura cient í f ica y el grado r n ipi< B l l imu lan el t rabajo de otros. Por su parte, los investigadores aplica­dos se juzgan a :\ mismos o son juzgados p o r los patrocinadores y destinatarios de sus trabajos, y la u t i l i zac ión se valora po r el grado de c o n t r i b u c i ó n a la implemen­tac ión y dcsano l lo ile po l í t i c a s y programas y, en def in i t iva , a la s o l u c i ó n de los problemas sociales

Resumiendo, In e v a l u a c i ó n es p repos i t iva , i n v e s t i g a c i ó n social apl icada. E n contraste con la i nves t i gac ión bás ica , la e v a l u a c i ó n t iene como objet ivo resolver problemas p r á c t i c o s Su-, pi ai In antes deben estar famil iar izados y tratar con di fe­rentes m é t o d o s de varias disciplinas sociales y ser capaces de aplicarlas a d i feren­tes tipos de problemas. A d e m á s , los cr i ter ios para juzgar el trabajo inc luyen su u t i ­l i zac ión y por tanto su impacto en los programas y en la c o n d i c i ó n humana. Las diferencias entre e v a l u a c i ó n e i n v e s t i g a c i ó n no llegan a disociar ambas act ivida­des. A u n q u e a veces se considere la e v a l u a c i ó n c o m o un m o d o " in f e r i o r " en com­p a r a c i ó n con la i n v e s t i g a c i ó n bá s i ca , requiere conocimientos y destrezas m á s am­plias y una f o r m a c i ó n conceptual y m e t o d o l ó g i c a variada, para superar la menor capacidad de con t ro l sobre el estudio (Weiss, 1990).

Respecto a la s i t u a c i ó n discipl inar de la e v a l u a c i ó n , las interpretaciones de su estatus son variadas:

• Es una m á s de las derivaciones de las Ciencias sociales aplicadas (Rebo l lo -so, 1987,1994a; R i ecken y B o r u c h , 1974; Rossi y Freeman, 1989).

• Es una mul t id isc ip l ina que proviene de muchos campos y disciplinas (Per-loff, Per lof f y Sussna, 1976).

• N o es realmente un campo de i n v e s t i g a c i ó n , po rque no existe un cuerpo acumulado de conocimiento y la i n v e s t i g a c i ó n e s t á dispersa (Sechrest y F i -gueredo, 1993).

• A l v i r a (1998) le a t r ibuye u n c a r á c t e r in terdiscipl inar , porque efectivamente ha emergido de campos distintos, pero n i los modelos t e ó r i c o s n i las meto­d o l o g í a s que se emplean llegan a ser estr ictamente distintas o alternativas.

• Para Scriven (1994) adquiere u n c a r á c t e r transdisciplinar, presente en m ú l ­tiples disciplinas como una act ividad c o m ú n .

1.3. D e s a r r o l l o h i s t ó r i c o d e la i n v e s t i g a c i ó n d e e v a l u a c i ó n

E l uso s i s t e m á t i c o de la e v a l u a c i ó n para la mejora social es un f e n ó m e n o relat iva­mente mode rno , en el que d e s e m p e ñ a u n i m p o r t a n t e papel la e x t e n s i ó n de las ciencias sociales en las universidades y el apoyo p o l í t i c o a la i n v e s t i g a c i ó n social (Rebol loso y Rebol loso , 1998b). D u r a n t e d é c a d a s se enmarca en el contexto p o l i -

¿ t | Porte ': Diseño de políticas y programas de intervención social

t ico de los Estados Un idos . Só lo muy recientemente cobra impor tancia y te ex­t iende por Europa y algunos otros pa í s e s a s i á t i cos , africanos o suramericanos. n i donde, no obstante, las actividades de e v a l u a c i ó n responden a la i m p l e m e n t a c i ó n di programas promovidos por instituciones estadounidenses (W.K. K e l l o g Fol lada t i 011, Rockefeller Foundat ion, Fao, Unicef, etc.).

L a historia de la e v a l u a c i ó n corre paralela a la de los esfuerzos po r ere ai OTO gramas bajo el amparo estatal d i r ig idos a cubr i r las necesidades sociales. Los anos t re in ta marcan el in ic io de este t i po de programas en distintos á m b i t o s de aplica c ión (Rossi y Freeman, 1989), c o m o por e jemplo en los campos de la e d u c a c i ó n (Tyler, D e w e y ) , la salud p ú b l i c a y la a c c i ó n comuni ta r ia . E n ps i co log í a , el desarro­l l o m e t o d o l ó g i c o en la m e d i c i ó n de las actitudes (Bogardus , 1925; K a t z y Braly, 1933; L i k e r t , 1932; Thurs tone , 1928) y en la e x p e r i m e n t a c i ó n social ( A l l p o r t , 1924; L e w i n , 1946; M a y o , 1933) suponen un avance considerable. D u r a n t e la Segunda Guer ra M u n d i a l son destacables los trabajos sobre propaganda, m o r a l y liderazgo en el e j é r c i t o nor teamericano ( D o o b , 1935; Stouffer, Suchman, D e V i n n e y et al., 1949; H o v l a n d et al, 1949, 1953). Los c i en t í f i cos sociales tuv ie ron opor tun idad de apl icar y poner a prueba su conoc imien to para analizar y me jo ra r el funciona­mien to de la a d m i n i s t r a c i ó n p ú b l i c a nor teamericana. In ic ia lmente , su i n t e r é s fue meramente a c a d é m i c o , pero una vez que los programas sociales se fueron hacien­d o m á s complejos, se necesitaron profesionales especializados en distintas ciencias sociales para cubr i r los puestos med ios y t é c n i c o s de g e s t i ó n de los programas ( t e e n ó c r a t a s , especialistas en a d m i n i s t r a c i ó n p ú b l i c a ) .

K u r t L e w i n es e l c reador de la i n v e s t i g a c i ó n - a c c i ó n ( L e w i n , 1946), p o r la cua l muchos le cons ideran f u n d a d o r de la i n t e r v e n c i ó n social e i nc luso de la e v a l u a c i ó n ta l c o m o h o y la conocemos ( M o r a l e s , 1998; M o r a l e s y R e b o l l o s o , 1996; Rossi y F reeman , 1989). L e w i n era un a r d u o defensor de la exper imen ta ­c i ó n d e n t r o de los sistemas sociales naturales en que se p re tende el c a m b i o y, de hecho , la m e t o d o l o g í a de i n v e s t i g a c i ó n - a c c i ó n se es t ruc tura de f o r m a s imi l a r a u n e x p e r i m e n t o t r a d i c i o n a l ( m a r c o t e ó r i c o , h i p ó t e s i s de t r aba jo , i n t e r v e n c i ó n c o n t r o l a d a , recogida de datos, v a l o r a c i ó n de los cambios p r o d u c i d o s ) . L e w i n an t i c ipa en su a r t í c u l o de 1946 la conven ienc ia de rea l izar las ac t iv idades de e v a l u a c i ó n de necesidades, e v a l u a c i ó n de l desa r ro l lo de l p r o g r a m a , e v a l u a c i ó n de la eficacia o de resultados y e v a l u a c i ó n i n t e r n a o seguimien to desde den t ro . T a m b i é n en su obra sobre la t e o r í a de campo , L e w i n (1952) describe, m á s o me­nos e x p l í c i t a m e n t e , act ividades impresc ind ib les para la i n t e r v e n c i ó n socia l , co­m o l a e v a l u a c i ó n de con t ex to y de ent rada , con e l o b j e t i v o de descr ibi r e l con­t e x t o n o p s i c o l ó g i c o que enmarca la r ea l i dad p s i c o l ó g i c a de personas y grupos. I g u a l m e n t e , p lantea la necesidad de convencer a los responsables p o l í t i c o s y ob­tener la c o o p e r a c i ó n act iva de los par t ic ipantes en la i n t e r v e n c i ó n median te un proceso de f o r m a c i ó n y e d u c a c i ó n , en e l que el inves t igador asume el papel de asistente.

Para finales de los a ñ o s c incuenta , los c i e n t í f i c o s sociales e s t á n ya inmersos en m u l t i t u d de programas de i n t e r v e n c i ó n y en una ampl i a va r iedad de campos

Capítulo í: Políticas, programas y evaluaciones 2 5 '

de a p l i c a c i ó n . E l desarro l lo m á s a m p l i o de la e v a l u a c i ó n de programas se p ro ­duce du ran t e las adminis t rac iones de los pres identes K e n n e d y y Johnson (War on Poverty, The Great Society), v incu lados con la r e a l i z a c i ó n de "demost rac io­nes" y de "programas innovadores" . Es i m p o r t a n t e el papel de l Congreso nor ­t eamer icano en el c o n t r o l de las in te rvenc iones sociales, en respuesta a las no­ticias sobre fraudes y derroches , y a la sens ib i l idad social cont ra la l e g i t i m i d a d de las inversiones p ú b l i c a s (Shadish , C o o k y L e v i t ó n , i 9 9 1 ) . L a e v a l u a c i ó n era r equer ida para demos t ra r que se log raban ganancias en las condic iones socia­les de vida gracias a los programas y que se ev i t aban as í efectos no deseados. Igua lmen te , era requer ida para apoyar la i m p l e m e n t a c i ó n correcta de los p ro ­gramas a n ive l loca l .

D u r a n t e los a ñ o s sesenta y setenta aparecen m u l t i t u d de publ icac iones pe­r i ó d i c a s y manuales de e v a l u a c i ó n (Suchman , C a m p b e l l , Weiss, Rossi y Free­man , G u t t e n t a g y S t ruen ing , etc.) . Rossi y F reeman (1989) op inan que la expan­s i ó n se d e b i ó f u n d a m e n t a l m e n t e a la d e m a n d a de m é t o d o s sof is t icados y al avance en el desar ro l lo de m é t o d o s de i n v e s t i g a c i ó n y c á l c u l o e s t a d í s t i c o . A f i ­nales de este p e r í o d o ya se constata u n c a m b i o cua l i t a t i vo re lac ionado con la cada vez mayor i m p l i c a c i ó n de los interesados d e n t r o de l proceso de e v a l u a c i ó n (usuar ios , gestores, p o l í t i c o s ) . M á s a l l á de una m e r a a p l i c a c i ó n de m é t o d o s , la e v a l u a c i ó n se considera p lenamente c o m o una ac t iv idad p o l í t i c a y de g e s t i ó n , pa r te in t eg ra l de la p o l í t i c a social. L o s gestores necesi taban datos evaluat ivos para admin i s t ra r me jo r y responder a las pe t ic iones de i n f o r m a c i ó n de l Congre ­so y de o t ros interesados ( W h o l e y , 1983). Pocos profesionales estaban capacita­dos para responder a las necesidades de e v a l u a c i ó n , y los funcionar ios p ú b l i c o s c a r e c í a n de habi l idades p r á c t i c a s para e l a n á l i s i s de los programas sociales. A p a r t i r de los a ñ o s sesenta aparecen c u r r í c u l o s a c a d é m i c o s re lacionados con es­tas necesidades y se inc rementa la p r o d u c c i ó n c i e n t í f i c a . La p r o f e s i o n a l i z a c i ó n de la d i sc ip l ina fuera de l m u n d o a c a d é m i c o se hace casi inev i tab le , toda vez que los fondos d isponib les para i n v e s t i g a c i ó n de e v a l u a c i ó n son lo suf ic ientemente grandes para dar t raba jo a toda una t r opa de profesionales (Shadish, C o o k y L e v i t ó n , 1991).

L a fal ta de resultados que demostrasen la u t i l i d a d de los estudios eva lua t i ­vos y la l legada al poder de los p o l í t i c o s conservadores d e r i v a r o n a finales de la d é c a d a de los setenta en una d r á s t i c a r e d u c c i ó n de las inversiones n o r t e a m e r i ­canas en programas sociales. E l foco de a t e n c i ó n de los evaluadores c a m b i ó p a ­ra ocuparse de las relaciones entre costes y benef ic ios , la responsabi l idad fiscal y la eficacia de la g e s t i ó n . Es e jemplar el caso de la era Reagan, en la que se ap rovecha ron los recortes de la i n v e r s i ó n p ú b l i c a para reduc i r la i n f l ac ión y el d é f i c i t de l gasto p ú b l i c o . P a r a d ó j i c a m e n t e , la m e n o r i n v e r s i ó n en acciones so­ciales no supuso un retroceso de la e v a l u a c i ó n , si b i e n su c rec imien to no fue tan espectacular como en el pe r i odo anter ior , y se p r o d u j o un p e r í o d o de estabiliza c i ó n y a f ianzamien to de la e v a l u a c i ó n como ac t iv idad a c a d é m i c a y p t o f c s i o n . i l

26 Pone I: Diseño de políticos y propomas de intervención social

1.4. S i t u a c i ó n a c t u a l de la i n v e s t i g a c i ó n d e e v a l u a c i ó n

Desde los a ñ o s ochenta y noventa , los gobiernos republicanos norteamericanos han defendido el recorte de los presupuestos dedicados a la ap l i c ac ión masiva de grandes programas sociales. Sin embargo, con la a p a r i c i ó n de nuevos problemas sociales (homeless, Sida), se asiste a un inc remen to en el n ú m e r o de estudios real i ­zados, a pesar de la abundancia de c r í t i cas muchas veces establecidas en un terre­no i d e o l ó g i c o . Igualmente , la i n c o r p o r a c i ó n de nuevos contextos g e o g r á f i c o s den­t r o del f e n ó m e n o de g l o b a l i z a c i ó n y l i b e r a l i z a c i ó n de los mercados mundiales ha propic iado la e x p o r t a c i ó n de la e v a l u a c i ó n fuera de las fronteras norteamericanas, y su p r á c t i c a ha alcanzado a casi todos los gobiernos occidentales y a los progra­mas de c o o p e r a c i ó n in ternacional (Che l imsky y Shadish, 1997). E n muchos luga­res, las tareas evaluativas se han extendido y asumen las actividades de a u d i t o r í a , medida de la e j e c u c i ó n o g e s t i ó n de la cal idad, hasta t a l p u n t o que en muchos p a í ­ses los centros de e v a l u a c i ó n ofrecen un servicio m i x t o que no dist ingue claramen­te entre estas actividades (Brooks , 1997; W h o l e y , 1997).

-> Se asiste a d e m á s al desarro l lo de una t e o r í a de la e v a l u a c i ó n que in tenta su­perar la f r a g m e n t a c i ó n der ivada de las m ú l t i p l e s procedencias de los invest iga­dores y de l c a r á c t e r reac t ivo de l desar ro l lo conceptua l y m e t o d o l ó g i c o en res­pues t a a p r o b l e m a s e s p e c í f i c o s de la p r á c t i c a e v a l u a t i v a ( S h a d i s h , C o o k y L e v i t ó n , 1991). L a t e o r í a p rov iene de la i n t e r a c c i ó n entre los problemas que se encuentran en la p r á c t i c a , las t radic iones a c a d é m i c a s de cada invest igador y las soluciones que in t en tan ( C o o k y Shadish, 1986; Shadish y Re ichard t , 1987). L a t r ad ic iona l i n s a t i s f a c c i ó n con el impac to de las evaluaciones a gran escala en las decisiones p o l í t i c a s ha favorecido t a m b i é n la a p a r i c i ó n de nuevas or ientaciones m á s p r ó x i m a s a los p rob lemas de g e s t i ó n i n t e rna de los programas y a la o rgan i ­z a c i ó n de servicios. Sin duda, las actividades de e v a l u a c i ó n i n t e rna son las que h a n expe r imen tado u n m a y o r c r e c i m i e n t o en e l c ampo de la e v a l u a c i ó n , y es previs ib le que c o n t i n ú e as í en los p r ó x i m o s a ñ o s ( L o v e , 1991; Sonnichsen, 2000). A d e m á s de é s t a s , la v i t a l i d a d de nues t ro campo de i n v e s t i g a c i ó n se aprecia en la a p a r i c i ó n reciente de nuevos m é t o d o s y perspectivas, tales c o m o la e v a l u a c i ó n m u l t i m é t o d o (Ca race l l i y R i g g i n , 1994; D a t t a , 1997), es tudios de caso (Stake , 1995; T i n , 1994), e v a l u a c i ó n cluster ( W . K . K e l l o g Founda t ion , ' 1995), e v a l u a c i ó n independ ien te ( N o r t h , 1997) o e v a l u a c i ó n para el f o r t a l ec imien to (Fe t t e rman , 1997). L a c u e s t i ó n no es meramente el i nc r emen to o r e d u c c i ó n de los fondos p ú ­bl icos , sino que el cambio de perspectivas requ ie re u n con jun to de p lan teamien­tos y preguntas evaluativas diferentes (F reeman , 1983). E n gran medida la fun ­c i ó n de e v a l u a c i ó n ha pasado a ser, en las agencias de servicios y organizaciones que dispensan y gest ionan los programas, una ac t iv idad asumida po r la p r o p i a p l an t i l l a profes ional d e n t r o de las ru t inas y procesos d iar ios de t rabajo . L a eva­l u a c i ó n in te rna persigue obtener i n f o r m a c i ó n para me jo ra r el d e s e m p e ñ o orga-nizacional , pe ro t a m b i é n el fo r t a l ec imien to (empowerment) de las personas que pa r t i c ipan en las actividades evaluativas, las cuales resul tan enriquecidas duran-

Copitulo I: Políticas, programos y evaluaciones i

te el proceso desde diferentes puntos de vista ( m a y o r so f i s t i cac ión conceptu mejores relaciones sociales, i den t idad social for ta lecida, mejores perspectivas de ! „ , , „ „ „ | ó n ) ( H u e b n e r y Bet t s , 1999; F e t t e r m a n , 1997). Estas evaluaciones in ter -„; i s . i uando e s t á n or ientadas hacia la i n v e s t i g a c i ó n cual i ta t iva , se desarrol lan si-guleodo modelos par t ic ipa t ivos , en los que los valores de n e g o c i a c i ó n y responsi-v i , l . o l s o n f u n d a m e n t a l e s ( R e b o l l o s o , F e r n á n d e z - R a m í r e z , C a n t ó n y Pozo , 2000)

I J I e v a l u a c i ó n en Europa se ha incorporado a la disciplina con un fuerte em-pujc d « t d c los a ñ o s noventa . Las reuniones de la European Evaluation Society, la c r e a c i ó n de sociedades nacionales de e v a l u a c i ó n en casi todos los p a í s e s de la U n i ó n I UTOpea y la a p a r i c i ó n de la revista Evaluation (editada conjuntamente por las prestigiosas Sage y Tavis tock) son los hitos q u i z á fundamentales. E n E s p a ñ a , la rea l idad de la e v a l u a c i ó n en nuestro p a í s era casi a n e c d ó t i c a hasta hace apenas una d é c a d a . M u y pocos invest igadores y apenas a l g ú n p rograma de f o r m a c i ó n eran el reflejo de la escasa demanda de actividades evaluativas. Sin embargo, la si­t u a c i ó n actual ha cambiado de manera p rometedora ( F e r n á n d e z - R a m í r e z y Rebo­l loso , 2006). Las presiones para la i n t e g r a c i ó n en las estructuras administrat ivas y e c o n ó m i c a s de la U n i ó n Europea ha generalizado la demanda en contextos muy diversos (sanidad, e d u c a c i ó n , just icia . . . ) . L a e v a l u a c i ó n forma parte de los m ú l t i ­ples procesos de a c r e d i t a c i ó n en que par t ic ipan las instituciones p ú b l i c a s y organi­zaciones privadas e s p a ñ o l a s , cumpl i endo un doble p r o p ó s i t o . P r imero , una fun­c i ó n de perfeccionamiento , centrada en la i m p l a n t a c i ó n de sistemas de recogida de i n f o r m a c i ó n que pe rmi t an decisiones po l í t i c a s mejor fundamentadas y la crea­c i ó n de planes e s t r a t é g i c o s de mejora . Segundo, una func ión de responsabil idad, centrada en la a c r e d i t a c i ó n a t r a v é s de la e v a l u a c i ó n de los sistemas de g e s t i ó n y los resultados organizacionales en c o m p a r a c i ó n con los e s t á n d a r e s y normas def i ­nidos por a l g ú n organismo externo, p ú b l i c o o p r ivado .

L a escasez de programas de f o r m a c i ó n y de publicaciones especializadas, j u n t o a la gran demanda de actividades de e v a l u a c i ó n , ha propic iado la a p a r i c i ó n de un amp l io conjunto de profesionales de muy diversos campos, que asumen la realiza­c i ó n de las actividades careciendo en muchos casos de una f o r m a c i ó n adecuada. L a r e a l i z a c i ó n de congresos y conferencias nacionales, o la c r e a c i ó n de la Sociedad E s p a ñ o l a de E v a l u a c i ó n , vinculada a la European Evaluation Society, representan esfuerzos notables po r parte de la comun idad de evaluadores por def in i r su per f i l profes ional y re iv ind icar un campo de t rabajo que demasiadas veces se confunde con la p r á c t i c a b u r o c r á t i c a y adminis t ra t iva , o lv idando el c a r á c t e r c ien t í f i co y es­pecializado de la e v a l u a c i ó n que se realiza en otros pa í s e s ( V é l e z , 2003).

1.5. C a r a c t e r í s t i c a s de l p r o c e s o d e e v a l u a c i ó n

L a e v a l u a c i ó n es una ac t iv idad social comple ja que exige la p a r t i c i p a c i ó n de un b u e n n ú m e r o de personas y la m o v i l i z a c i ó n de m ú l t i p l e s recursos. D a d o e l ca-

«-w | reine i: uiseno ae politKm y programas de intervención socio/

r á c t e r p o l í t i c o de las organizaciones responsables de los programas i i •> i . i i . signiGcado de la e v a l u a c i ó n cobra i m p o r t a n c i a para l og ra r que las e x p e c t a t i v a de los impl icados sean realistas y que las relaciones entre grupos c o n t r i b u y a n ni é x i t o de las actividades. Para Rossi y F r e e m a n (1989), la e v a l u a c i ó n se c a í | i i r iza po r ser esencialmente un proceso s i s t e m á t i c o , s ign i f ica t ivo y organizado I n e v a l u a c i ó n es en muchas ocasiones l l evada a cabo bajo la f o r m a de u n provee i . o p r o g r a m a . A u n q u e la e v a l u a c i ó n puede apl icarse a m ú l t i p l e s ob je tos ( p ó l e j emplo , la e v a l u a c i ó n de personas, estudiantes, etc .) , a q u í nos cen t ramos p r i n c ipa lmente en la e v a l u a c i ó n de p rogramas o proyectos cuyo desa r ro l lo t iene lu gar en entidades u organizaciones c o m o escuelas, hospitales, ent idades banca r ias o agencias de serv ic ios sociales. Se e n t i e n d e p o r proyecto u n a empresa organizada que genera lmente r equ ie re una p l a n t i l l a cuyos m i e m b r o s desempe ñ a n tareas y responsabil idades dis t intas re lacionadas con la c o n s e c u c i ó n de me tas, ob je t ivos y act ividades de los p rog ramas que i m p l e m e n t a n . C o m o hemos v i s to an t e r io rmen te , se en t iende p o r p r o g r a m a un con jun to de act ividades p la­nificadas e implementadas de f o r m a r ac iona l para lograr a l g ú n p r o p ó s i t o espe­c í f i co , genera lmente r e l ac ionado con la me jo ra de las condic iones sociales de las personas.

U n proyec to puede estar representado po r u n d i s t r i t o escolar que in t roduce un p r o g r a m a de i n s t r u c c i ó n b i l i n g ü e pa ra estudiantes extranjeros; o u n cen t ro m é d i c o que l leva a cabo un p rog rama para me jo ra r las habi l idades de los profe­sores de e n f e r m e r í a en el desa r ro l lo de tests de competencia . Estos proyectos pueden tener un alcance re l a t ivamente p e q u e ñ o (empresa o i n s t i t u c i ó n loca l ) o a m p l i o ( r ed de centros que i m p l a n t a n un p r o g r a m a estatal de ayuda a famil ias c o n hijos dependientes) . E n cua lquier caso, los datos se recogen de i nd iv iduos que pa r t i c ipan en el p royec to , p e r o la e v a l u a c i ó n no se centra en e l los , s ino en el p r o y e c t o m i s m o ( e v a l u a c i ó n i n s t i t u c i o n a l ) o en los p rog ramas que desa r ro l l a ( e v a l u a c i ó n de programas) . Es decir , e l p r o y e c t o o el p rograma son el ob j e to de la e v a l u a c i ó n , la en t idad que se juzga , n o los ind iv iduos que pa r t i c ipan en él y que p r o p o r c i o n a n los datos que m á s tarde s e r á n analizados.

E n l í n e a s generales, con e l t é r m i n o e v a l u a c i ó n se qu ie re a lud i r a u n proceso s i s t e m á t i c o de recoger, analizar, va lo ra r y dar a conocer i n f o r m a c i ó n que puede ser u t i l i zada para c u m p l i r con e l r e q u i s i t o de la r esponsab i l idad , aumen ta r el c o n o c i m i e n t o d i sponib le sobre e l o b j e t o que va a ser eva luado, o m e j o r a r las ac t iv idades u operaciones de las in t e rvenc iones o programas . C o n e l l o desea­mos ind ica r que la e v a l u a c i ó n i m p l i c a p l a n i f i c a c i ó n , y no i m p r o v i s a c i ó n o que se hace ad hoc o, de a l g ú n m o d o , forzada p o r las circunstancias. E l o b j e t i v o de la p l a n i f i c a c i ó n es ob tener aquel la clase de i n f o r m a c i ó n capaz de dar respuesta a las cuestiones e s p e c í f i c a s que p r e v i a m e n t e se hayan f o r m u l a d o . D e s p u é s de la r e c o g i d a y a n á l i s i s de los datos , las conclus iones pueden u t i l i za r se p r i n c i p a l ­m e n t e de dos modos . U n o de lo usos i m p l i c a tomar decisiones respecto a las operaciones de l p rog rama o inc luso a su c o n t i n u a c i ó n en el t i e m p o (uso ins t ru ­m e n t a l ) . Es decir, b a s á n d o n o s en los datos se puede dec id i r l levar a cabo ciertas

Capitulo I: Políticas, programas y evaluaciones | 29

modif icaciones respecto a la fo rma en que e! p rog rama opera, o se puede reco­mendar que se c o n t i n ú e con él o que se suspenda su r e a l i z a c i ó n . E l segundo de los usos inc luye el cambio de creencias o act i tudes respecto al programa o su e j e c u c i ó n (uso concep tua l ) . Es decir, los resul tados de una e v a l u a c i ó n pueden i n f l u i r en las op in iones sobre el p royec to y la f o r m a en que opera. Tales cam­bios no t i enen un efecto i nmed ia to vis ib le , pe ro pueden cambiar o in f lu i r en las acciones a l a rgo plazo.

L a e v a l u a c i ó n es una actividad significativa, en el sentido de que debe tener un significado claro, sobre todo y muy especialmente para aquellos que e s t á n invo lu ­crados en el proceso y t ienen que tomar decisiones sobre ella. A l mismo t iempo, t a m b i é n ha de ser relevante y proposi t iva: la relevancia impl ica que las evaluacio­nes son m á s que meros escaparates de d i s e ñ o y que cumplen una func ión impor­tante, necesaria, evi tando produc i r aburridos informes que a nadie impor tan . L a relevancia es u n aspecto de la e v a l u a c i ó n que se refleja en la exacti tud con que en­frenta problemas t ó p i c o s y c r í t i cos que afectan a muchas personas, e n f o c á n d o l o s y t r a t á n d o l o s de manera adecuada; la propositividad se traduce en intencional idad, finalidad. Si la e v a l u a c i ó n recoge, analiza y difunde la i n f o r m a c i ó n producida es con el p r o p ó s i t o pr inc ipa l de que sea ut i l izada en la toma de decisiones respecto al proyecto evaluado.

E n los e jemplos mencionados m á s a r r iba , la e v a l u a c i ó n p o d r í a ser pe r t inen­te en las decisiones concernientes a la mejora de la eficiencia de las operaciones del p royec to . A s í , el p rofesorado de l p rog rama escolar b i l i n g ü e n e c e s i t a r á i n ­f o r m a c i ó n para asegurarse que el p rograma l lega a las personas apropiadas en la fo rma adecuada. Y a la un idad de f o r m a c i ó n de los centros m é d i c o s le s e r á de u t i l i d a d conocer la a c t i t u d de los profesores de e n f e r m e r í a hacia los test de competencia o el é x i t o que t iene e l p rog rama de f o r m a c i ó n entre los mismos educadores. Estos e jemplos muest ran c ó m o la e v a l u a c i ó n puede recoger d i s t in ­tas clases de i n f o r m a c i ó n en diferentes momen tos (antes de que un p royec to se ponga en marcha , durante su r e a l i z a c i ó n , o al final de l m i s m o ) y t a m b i é n c ó m o diversas personas pueden estar involucradas t an to en el p royec to c o m o en su e v a l u a c i ó n . E l d i rec tor del p royec to o p rograma ha de i n c l u i r en sus p roced i ­mien to s ope ra t ivos el t r a t o con cada g r u p o de pa r t i c ipan tes (stakeholders) o agencias que tengan i n t e r é s o e s t é n impl icadas en el mi smo . U n a f u n c i ó n i m ­po r t an t e de esta persona es t rabajar en estrecha c o l a b o r a c i ó n con los evaluado­res a l o la rgo de l proceso en te ro de e j e c u c i ó n , responsabi l idad a la que se une la de p r o m o c i o n a r ac t ivamente el uso de los resul tados e informes de la evalua­c i ó n . S iguiendo con los e jemplos , en el d i s t r i t o escolar, el d i rec tor de e n s e ñ a n z a de id iomas es p robab le que sea t a m b i é n e l admin i s t r ado r de l p rograma de edu­c a c i ó n b i l i n g ü e . A u n q u e este admin i s t rador tenga que i n fo rmar a otros de m á s r ango , por e j emplo al responsable de e d u c a c i ó n compensa tor ia o al d i r ec to r del d i s t r i t o escolar, él es qu ien asume la responsabi l idad sobre e l func ionamien to y la e v a l u a c i ó n de l p rograma. E n el cen t ro m é d i c o , e l d i r ec to r de f o r m a c i ó n de auxi l iares de e n f e r m e r í a es p robab le que sea t a m b i é n admin i s t r ador de l progra-

30 Porte I: Diseño de políticas y programas de intervención social

ma de mejora de habi l idades . A u n q u e deba i n f o r m a r a o t ros cargos admin is t ra ­t ivos, en v i r t u d de su p o s i c i ó n y f o r m a c i ó n es el que e s t á mejor equ ipado para d e s e m p e ñ a r e f ic ien temente la f u n c i ó n de iden t i f i ca r á r e a s que necesitan eva­l u a c i ó n .

Para comprender en todo su alcance la d i m e n s i ó n significativa de la evalua­c ión , hay que incluir , a d e m á s de la p ropos i t iv idad y la relevancia, la c red ib i l idad y la i m p l i c a c i ó n activa en el proceso. E n lo concerniente a la credibilidad, hay dos aspectos que deben ser considerados. Pr imero , suficiente c red ib i l idad t é c n i c a (por ejemplo, un d i s e ñ o v á l i d o , instrumentos bien construidos, aná l i s i s e s t a d í s t i c o s ade­cuados, etc.) para hacer pensar que la i n f o r m a c i ó n ha sido obtenida objet ivamente y que, al margen de las p o l é m i c a s m e t o d o l ó g i c a s , las conclusiones alcanzadas son razonables y f á c i l m e n t e generalizables. Debe recordarse que en e v a l u a c i ó n es difí­ci l aplicar un buen d i s e ñ o de inves t igac ión y que con frecuencia hay que recur r i r al "mejor pos ib le" (Rebol loso , 1990a), lo que i m p o r t a es que se vea Ubre de insufi­ciencias o de violaciones t écn i ca s . E n segundo lugar, la e v a l u a c i ó n debe tener la credibi l idad profesional asegurada, de manera que los distintos grupos implicados tengan, a pesar de sus posibles diferentes intereses, confianza en el evaluador y en dicha e v a l u a c i ó n . La confianza debe llegar al p u n t o de estar dispuestos a seguir sus recomendaciones y efectuar los cambios en la d i r e c c i ó n apuntada.

E n cuanto a la implicación activa, si la e v a l u a c i ó n representa solamente una c o n s i d e r a c i ó n m á s entre otras pr ior idades m á s acuciantes, entonces no ex i s t i r á el compromiso b á s i c o que exige la imp l i cac ión ni el i n t e r é s por todo l o que e s t á suce­diendo en el proceso. E n resumen, como act ividad significativa, la e v a l u a c i ó n con­lleva creer en su p r o p ó s i t o , confiar en sus procesos y resultados, y par t ic ipar acti­vamente en su desarrol lo. Obviamente , ta l i m p l i c a c i ó n activa t e n d r á el efecto no s ó l o de hacer la e v a l u a c i ó n m á s comprensiva al evaluador sino t a m b i é n a las per­sonas que colaboran en e l proyecto y e s t á n asociadas a é l .

E l concepto de e v a l u a c i ó n como actividad significativa se complementa con la n o c i ó n de actividad organizada. E n otras palabras, las evaluaciones deben planif i ­carse cuidadosamente, ejecutarse adecuadamente y difundirse de m o d o efectivo en­tre las personas que potencia lmente pueden ut i l izar la i n f o r m a c i ó n evaluativa. E n este p u n t o es donde el evaluador o e l adminis t rador del programa pueden desem­p e ñ a r un papel crucial , con t r ibuyendo a organizar y dar fo rma a la e v a l u a c i ó n , lo cual les convier te en responsables ú l t i m o s de una e v a l u a c i ó n significativa. Duran te mucho t i empo la i n v e s t i g a c i ó n ha mostrado que la presencia de una persona con autor idad que tiene u n i n t e r é s personal en la e v a l u a c i ó n es def in i t ivo para e l uso que m á s tarde se h a r á de los resultados y cier tamente el uso es el p r imer indicador de que la e v a l u a c i ó n es significativa (Cronbach y asoc., 1980; Pat ton , 1997). Por ot ra parte, par t imos de la base de que las personas que t ienen entre sus cometidos actividades de e v a l u a c i ó n desean que funcionen lo mejor y m á s eficientemente po­sible, lo cual se consigue si la e v a l u a c i ó n es ut i l izada como herramienta adminis­trat iva y como soporte de la t oma de decisiones. L a e v a l u a c i ó n puede ayudarles

Copitulo I: Políticos, programas y evaluaciones | i ,

r I ) i . , „ . i - | M i . á m e n t e si la i n f o r m a c i ó n que p r o d u c e a y u d a a sat i s face!

| a s d e m a n d a s . I r las | i r i s o m i s .p ie m á s la n e c e s i t a n .

1.6. D r l i .o i o n fm.il de l c o n c e p t o de e v a l u a c i ó n

R e b o l l o s o \ R| bollOM (1998a) p roponen un conjunto de ca rac t e r í s t i c a s o e lemen­

tos c lave i | i i r < o i i l o n i ' I c oncepto de e v a l u a c i ó n :

. ()ur un l o y .i l.i v.ili .i ni i o n , es decir, la e m i s i ó n de ju ic ios de valor sobre un objeto, i " in m í m e n l e l o b f l I t eficacia de los programas de acc ión social.

. i in , i i i S | M . i . i l a t r m i o n a l a n á l i s i s c i en t í f i co de los p rob lemas so-

c i a l e i . • Que en l i i l i i r los |no< esos ile n e g o c i a c i ó n para def in i r perspectivas compar­

tidas d r l | ti < if.i .una v sus objetivos. • Que sea útil r n la l o m a de decisiones y en aspectos instrumentales para

conseguii u n a i in iyoi elicai ia en el logro de los fines. • Que e s t é orientada a la excelencia o perfeccionamiento, a d a p t á n d o s e a las

necesidades informativas de las audiencias. • Q u e e s t é interesada en y promueva el cambio social.

Por su parte , Rossi y W r i g b t (1984) s e ñ a l a n tres conceptos fundamentales para la r e a l i z a c i ó n de evaluaciones de corte s i s t e m á t i c o : evaluación de máximo alcance (comprensiva), entendida c o m o una act iv idad ho l í s t i ca d i r ig ida a analizar de for­ma global la c o n c e p t u a l i z a c i ó n , la i m p l e m e n t a c i ó n y la u t i l i dad de una in te rven­c i ó n social; evaluación "ajustada" (tailored evaluation), cuando las act ividades evaluativas se ajustan al t i po de p rograma de i n t e r v e n c i ó n del que se t ra te , en f u n c i ó n de si es u n programa innovador , una m o d i f i c a c i ó n de un p rograma exis­t en t e o una a c t i v i d a d p l e n a m e n t e es tab lec ida ; y evaluación orientada por la teoría, cuando e s t á construida por modelos t e ó r i c o s sobre el func ionamiento del p rograma, ú t i l e s para o r ien ta r la f o r m u l a c i ó n de cuestiones de i n v e s t i g a c i ó n , re­cogida y aná l i s i s de datos.

L a m a y o r í a de autores e s t á n de acuerdo en que la act ividad clave de la evalua­c i ó n es la e m i s i ó n de ju ic ios de va lor (Scr iven, 1991a; Stufflebeam y Shinkf ie ld , 1987; Weiss, 1990); se trata de juzgar si u n ob je to es suficientemente bueno (ú t i l , eficaz, adecuado, eficiente, etc.) . E l p roced imien to m á s extendido se identif ica co­m o la lógica de Scriven (Weiss, 1990), s e g ú n la cual se compara e l objeto de eva­l u a c i ó n , en t é r m i n o s de a l g ú n indicador o escala de medida, con un conjunto de cr i ter ios de valor previamente identif icados. Sin embargo, la f ó r m u l a no debe en­g a ñ a r n o s con su aparente sencillez, dada la var iedad de contextos y á m b i t o s de a p l i c a c i ó n y las diversas c a r a c t e r í s t i c a s , m é t o d o s y orientaciones que definen el campo de la e v a l u a c i ó n y que o torgan en cada caso un significado diferente a la escala de valor. Con frecuencia, el va lor de un programa se estima mediante el cal-

32 forte /: Diseño de poffocas y programas de intervención socio/

cu lo de la efect ividad y eficacia de las operaciones, entendidas como el p u n í

que se logran los objetivos perseguidos, que generalmente son espccifn :<• l< .• r n l .

p l an i f i cac ión in ic ia l (Provus, 1971; Smi th y Tyler, 1942; Tyler, 1950). L a c v u l n i |i

se inserta y describe en este contexto como parte del proceso de la pol í t ica •

Cuadro 1.2. La volatilidad de los programas sociales

Una de las características principales del traba|0 evaluativo es la falta de estabilidad del medio en que se desarrolla y de las actividades concretas que se le demandan Quizás el hecho más distintivo de la mvrv tigación de evaluación es que el evaluador tiene que realizar su trabajo en un ambiente de toma de ¡in i siones continuamente cambiante Rossi y Freeman (1989) señalan seis aspectos de la intervención social que producen este medio cambante. No todas las evaluaciones se ven afectadas de la misma manera por cada uno de estos factores de cambio, aunque tos evaluadores debe estar preparados para reducir los re­quisitos cientfficos ideales del plan de evaluación previsto y acogerse a decisiones pragmáticas

• Primero, los cambios políticos, pues distintas ideologías o programas políticos determinan vanaciones en la filosofía y objetivos de tos programas. Algunos de tos cambios están asociados a los sesgos, orientaciones, modas, oportunidad política (por ejemplo, en programas de planificación familiar me­diante el uso de anticonceptivos).

• Segundo, el cambio de intereses de los distintos stofceho/dea de manera que la necesaria coopera­ción con tos mismos puede verse afectada y afectar a la realización de la evaluación. Por ejemplo, un jefe de policía que acuerda proporcionar información a un programa y a sus evaluadores puede cam­biar de opinión si la invasión de la privacidad por parte de la policía se vuelve un problema en los medios de comunicación

• Tercero, los cambios de prioridades e rrteceses de tos responsables polfticos y de gestión del propio programa (por ejemplo, perder interés en la iniciatrva ciudadana para aumentar la profesionalidad de un servicio de mantenimiento y limpieza urbana).

• Cuarto, los problemas inesperados que pueden aparecer en la inrplemerrtaaón del programa, con la consiguiente necesidad de modificar las actividades del programa y el plan de evaluación (por ejem­plo, un programa para reducir las ausencias de los estudiantes de bajo nivel económico en la provi­sión de cuidado médico, se modificó cuando tos dos tercios de estudiantes con alto índice de ausen­cia rehusaron d cuidado médico ofrecido).

• Quinto, tos resultados parciales de un programa pueden indicar que el mismo debe ser modificado antes de completar d proceso evaluativo en todas sus fases (por ejemplo, en un programa de reduc­ción del alcoholismo la plantilla puede modificar la intervención porque los participantes no están re­alizando correctamente las actividades programadas).

• Sexto, la existencia de problemas no esperados en el propio desarrollo del plan de evaluación, con la consiguiente necesidad de mcxlrfkación (por ejemplo, una compañía que patrocina un programa de cuidado médico a tos ancianos decide ampliarlo e implementarto en nuevas localidades que no hayan sido patrocinadas, con lo que hay que revisar la estrategia de evaluación dado que las com­paraciones planificadas entre grupos subvencionados y no subvencionados no son posibles).

De manera resumida, dos son los elementos centrales de la ecología social de las evaluaciones: la exis­tencia de múltiples stokehoWers y el hecho de que la evaluación forma parte de un proceso político (Rosa, üpsey y Freeman. 2004). Existirán tensiones derivadas de la presión de distintos grupos de interesados, que demandarán preguntas diferentes al evaluador y se verán afectados de distinta forma por tos resultados, generando dudas acerca de cómo proceder con d trabajo evaluativo y cómo comunicarse con grupos tan diferentes. La dimensión política implica, entre otras cosas, un problema de ajuste entre los ritmos de las dinámicas políticas y dd desarrollo de la evaluación El evaluador no es un investigador académico conven-cionaL sino que debe orientar su trabajo para que tenga una significación dentro de los medios polfticos en que se mueve.

Copitulo I: Políticas, programas y evoluociones

Algunos programas sociales y sus evaluaciones sufren estos y otros problemas relacionados (planes de intervención, cooperación de proveedores de servicios, adhesión al diseño de evaluación onginal. ale­larse del diseño ideal, procedimientos de recogida de datos, grado de control del investigador). Una consecuencia de estos compromisos con el ideal de la investigación es la posible diferencia cualitativa existente entre la investigación de evaluación y la investigación científica convencional que hemos trata­do a lo largo del capítulo.

aportando i n f o r m a c i ó n para la toma de decisiones sobre la conveniencia de cont i­

nuar, modif icar o i n t e r rump i r def in i t ivamente un programa en func ión del éx i to

alcanzado.

Entendida como apoyo a la e j e c u c i ó n , el c a r á c t e r ut i l i tar is ta de la e v a l u a c i ó n

ha sido cuestionado al reducirla a un proceso de mera c o n s t a t a c i ó n de resultados,

que asume sin cuest ionamiento que las operaciones de l programa e s t án bien defi­

nidas, son las m á s adecuadas y se ponen en p r á c t i c a de manera h o m o g é n e a en to­

dos los centros locales donde se implementa . A pesar de las cr í t icas , el concepto

de e v a l u a c i ó n se ha extendido de este m o d o para inc lu i r el seguimiento de la i m ­

p l e m e n t a c i ó n , buscar la i n f o r m a c i ó n necesaria para resolver incert idumbres y ayu­

dar en la toma de decisiones a los responsables de la e j e c u c i ó n (Cronbach y asoc,

1980; Wholey, 1981).

A lgunos , po r ú l t i m o , pref ieren def in i r modelos s i s t e m á t i c o s y comprensivos

que puedan reuni r distintos objetivos y actividades den t ro de un proceso general

de e v a l u a c i ó n (Chen, 1990; Rebol loso y cois., 2003; Rossi y Freeman, 1989; Stuf-

flebeam y Shinkif ie ld , 1987), asumiendo que tan to la e m i s i ó n de juicios sobre los

resultados como el apoyo a la e j e c u c i ó n de los programas son p r o p ó s i t o s v á l i d o s

para la e v a l u a c i ó n . E n la p rác t i ca , se trata de responder una serie de preguntas de

i n v e s t i g a c i ó n sobre las distintas fases de e l a b o r a c i ó n e i m p l a n t a c i ó n de u n progra­

ma de i n t e r v e n c i ó n social d i r i g ido a resolver alguna s i t u a c i ó n en la que e s t é en

juego la calidad de v ida de las personas; po r e jemplo , ¿ c u á l es la naturaleza de los

problemas a resolver?, ¿ q u é t ipo de intervenciones se pueden realizar?, ¿a q u i é n e s

i r á n dirigidas?, ¿ q u é problemas p r á c t i c o s deben resolverse en la i m p l e m e n t a c i ó n ? ,

-j.se e s t á n alcanzando determinados objet ivos de manera eficiente?, etc.

L a diversidad conceptual resulta enriquecedora y favorece una perspectiva prag­

má t i ca y ecléct ica , m á s útil en el complejo campo de las organizaciones y los progra­

mas sociales (véase cuadro 1.2) porque es difícil encontrar situaciones donde pueda

aplicarse una determinada o r i e n t a c i ó n de forma h o m o g é n e a ( A l v i r a , 1991; Patton,

1978). E n palabras de Rebolloso y Rebolloso (1998a: 225): "Las mejores evaluacio­

nes se logran cuando se reconoce la variedad y la complej idad del campo y se tiene la

suficiente f lexibil idad para comprender q u é t ipo de def in ic ión es apropiada y signifi­

cativa en un contexto particular y para una determinada clase de personas".

Propósitos y actividades principales del proceso evaluativo

Las evaluaciones |>crsigiien p r o p ó s i t o s muy diferentes y uti l izan estrategias y m é t o ­dos adaptados a la etapa en la historia del programa siguiendo criterios contingentes. La eva luac ión puede ayudar a la mejora continua del programa, aumentar el conoci­miento social o demostrar que los directores y operarios del programa han cumplido su responsabilidad ante la sociedad, los patrocinadores y los usuarios del mismo.

E n los programas innovadores se requiere especialmente analizar su efect ivi­dad, si alcanzan a la p o b l a c i ó n destinataria y si logran los resultados deseados. E n ocasiones posteriores, es necesario analizar y valorar los cambios y modificaciones puntuales que se in t roducen para re t inar el p rograma. F ina lmente , los programas que se realizan durante un t i e m p o requ ie ren i n f o r m a c i ó n para de te rmina r que c o n t i n ú a n siendo eficientes y que merecen seguir siendo financiados y puestos en p r á c t i c a .

L a e v a l u a c i ó n es un conjunto comple jo de actividades variadas que se desarro­l lan en paralelo con las distintas fases del p rograma. L a c o n c e p t u a l i z a c i ó n y d i s e ñ o de l p rograma , la i m p l e m e n t a c i ó n y la p r o d u c c i ó n de resultados son m o m e n t o s b i e n diferenciados que necesitan actividades evaluativas espec í f icas dentro de un proceso en el que la e v a l u a c i ó n no es tá restr ingida al cá l cu lo de la eficacia y la ef i ­ciencia, sino que presta un apoyo permanente incluso en las etapas previas a la p ro­pia i n t e r v e n c i ó n .

C o n c e p t o s c lave

Propósito de la evaluación. Toda eva­l u a c i ó n se real iza con e l o b j e t i v o de que sus resu l tados t engan u n

i m p a c t o o sean u t i l i zados p o r a l ­guien dent ro de u n proceso de to ­ma de decisiones. L o s p r o p ó s i t o s

i M T S ue poi/ucos y programas de intervención social

son variados, aunque siempre per­manece un c ier to idea l de mejora de las condiciones sociales.

se a c c e d e r á a los m i s m o s r e a l i z a r á n las actividades y i ó i n . • . d i s t r i bu i r án los recursos.

Objeto de evaluación. La e v a l u a c i ó n es una actividad que se puede aplicar a la va lo rac ión de objetos muy diferen­tes sin que var íe el modo general de proceder. D e manera general se pue­den evaluar programas, polí t icas, or­ganizaciones, productos y personas.

Responsabilidad. Las personas que d i ­r i gen y ponen en p r á c t i c a u n p r o ­g rama asumen un compromiso so­b re e l buen uso de los recursos y el esfuerzo p o r l o g r a r los o b j e t i v o s previs tos . L o s resultados evaluat i -vos ayudan a demostrar que estas personas han c u m p l i d o con su res­ponsab i l idad ante los pat rocinado­res y dest inatarios de l programa o la sociedad en general .

Desarrollo. Los directores y responsa­bles de programas necesitan in for ­m a c i ó n que les permita resolver me­j o r l o s p r o b l e m a s y dudas q u e surgen en la p rác t i ca diaria del pro­grama. L a i n f o r m a c i ó n evaluat iva ayuda a la mejora y el desa r ro l lo cont inuo de las actividades, de la or­g a n i z a c i ó n de servicios y de las per­sonas que trabajan en el programa.

Diseño del programa. L a p l a n i f i c a c i ó n d e l p r o g r a m a e x i g e d i s e ñ a r las actividades que s e r á n realizadas (el serv ic io) y e l sistema de dispensa, para l o cual se necesita, entre otras cuest iones , d e c i d i r c u á l e s son los objet ivos operativos del programa, q u i é n e s son los destinatarios, c ó m o

Diseño de la evaluación. L a planifn .1 c i ó n de la e v a l u a c i ó n exige, l a t T otras cuestiones, comprendci i|m< nes son las personas interesadas r n la misma, c u á l e s son las p regUBUl de i n v e s t i g a c i ó n , q u é m é t o d o s se e m p l e a r á n , q u i é n e s u t i l i z a r á n los resultados y de q u é manera.

Innovaciones. Los programas innova­dores son aque l los que nunca se h a n i n t en t ado antes, b i e n porque re sponden a un d i s e ñ o o r i g i n a l o po rque nunca se h a b í a n implemen-tado en una localidad o con un gru­p o de usuarios concre to . T a m b i é n se les denomina demostraciones.

Programas establecidos. Son aquel los que han sido ensayados, corregidos e i m p l e m e n t a d o s en u n buen n ú ­m e r o de ocasiones, po r l o que se dispone de mucha i n f o r m a c i ó n so­b r e c ó m o deben ser d i s e ñ a d o s e implementados para tener é x i t o en sus objet ivos.

Proceso de intervención-evaluación. L a i n t e r v e n c i ó n y l a e v a l u a c i ó n son dos actividades inseparables que se complementan den t ro de l proceso genera l de la i n t e r v e n c i ó n social . L a e v a l u a c i ó n no es algo que se re­alice ú n i c a m e n t e al f ina l de la i n ­t e r v e n c i ó n , sino un con jun to de ac­t iv idades planificadas que prestan apoyo in fo rma t ivo a la t oma de de­cisiones en m ú l t i p l e s momentos de la i n t e r v e n c i ó n .

Capitulo 2: Propósitos y actividades principales del proceso evoluavvo 37'

2.1. R a z o n e s o m o t i v o s pr inc ipa l e s d e las e v a l u a c i o n e s

Hay muchos mot ivos o p r o p ó s i t o s que pueden just if icar la rea l i zac ión de evalua­ciones. Chel imsky (1978) d i s t ingu ía hace a ñ o s entre las evaluaciones que tienen un p r o p ó s i t o de g e s t i ó n y a d m i n i s t r a c i ó n , las que sirven para valorar la a d e c u a c i ó n de los cambios del programa, para buscar formas de mejorar la dispensa de los servicios, y las que persiguen satisfacer los requis i tos de responsabilidad de los grupos que las subvencionan. En t r e otras razones, evaluamos con p r o p ó s i t o s de p lani f icac ión y p r o p ó s i t o s po l í t i cos , para ident i f icar formas innovadoras de c ó m o tratar los problemas humanos y comuni tar ios , para decidir sobre el fu turo de un programa (cont inuar o abandonar lo) y para apoyar su defensa frente a otras alter­nativas. Para todos los p r o p ó s i t o s el ob je t ivo clave es d i s e ñ a r e implementar una e v a l u a c i ó n tan objet iva como sea posible; es decir, que proporc ione una valora­c ión f i rme, que no cambie si la e v a l u a c i ó n fuese repetida en las mismas condicio­nes por los mismos o por diferentes evaluadores.

Los p r o p ó s i t o s de la e v a l u a c i ó n pueden describirse de un modo j e r á r q u i c o si­guiendo distintos niveles de conc rec ión . E n el nivel m á s general, toda eva luac ión per­sigue el aprendizaje a part ir de la experiencia con el objetivo de mejorar en futuras ocasiones (Eggers y Chelimsky, 1999). Todos los d e m á s p r o p ó s i t o s específ icos son compatibles con el ideal de evaluar para aprender y aprender para mejorar. Dent ro de nuestro á m b i t o de trabajo, el p r o p ó s i t o fundamental es ayudar a d i señar y mejorar los programas dirigidos a solucionar los problemas y necesidades sociales (Rossi y Freeman, 1989), enriqueciendo las intervenciones, reduciendo el gasto púb l ico y defi­niendo objetivos m á s realistas para la i n t e r v e n c i ó n . E n definitiva, se trata de lograr que la in t e rvenc ión tenga efectos beneficiosos para a lgún sector o grupo social mino­ritario o en desventaja. C o m o veremos en un apartado posterior, el siguiente nivel se concreta en tres tipos de p r o p ó s i t o s : responsabilidad, desarrollo y conocimiento. Es! a dis t inción es fundamental, pues de ella dependen aspectos cruciales de la eva luac ión , tales como la perspectiva evaluativa y los m é t o d o s de inves t igac ión que se u t i l izarán , el r o l que a s u m i r á n los evaluadores y las distintas personas relacionadas con la eva­luación, as í como las expectativas de ut i l izac ión de los resultados. ' L a p r i m e r a func ión que c u b r i ó la e v a l u a c i ó n t iene que ver con la demanda masiva de evaluadores en E E U U durante los a ñ o s sesenta: obtener i n f o r m a c i ó n para demostrar los resultados de los programas, ut i l izable instrumentalmente para decidir sobre la con t inu idad , e x p a n s i ó n o finalización de las acciones emprend i ­das. Sin embargo, dada la escasa influencia po l í t i ca lograda en esta é p o c a (House, 1972; L i n d b l o m y C o h é n , 1979; Weiss, 1977), muchos evaluadores defendieron un modo de influencia difuso centrado en e l a lumbramien to , es decir, que el p r o p ó s i ­to de la e v a l u a c i ó n se r í a crear nuevos conceptos y formas de pensar en to rno a los problemas sociales (Janowitz , 1970). Cronbach y asoc. (1980), por ejemplo, s e ñ a ­lan que el ob je t ivo es i n f lu i r en el pensamiento y la a c c i ó n social en r e l a c i ó n con los programas de i n t e r v e n c i ó n . Par t iendo de la c o n s t a t a c i ó n de los hechos ocur r i ­dos en la ap l i cac ión del programa, y ofreciendo una vis ión integral y disciplinada,

38 í arte I: Diseño de poírticoj y programas de intervención social

la eva luac ión e s t a r í a destinada a aquellas personas que t ienen i n i c í e s e ' , y i r s i x j n -sabilidades y que son competentes para entender y u t i l izar los resultados evaluati-vos. Ent re la influencia ins t rumenta l y la influencia difer ida del a lumbi a m i e n t o , se e s t ab l ec ió una tercera perspectiva de apoyo directo a las decisiones diarias de los gestores de programas (Wholey , 1979, 1986). E n este caso, la m i s i ó n de la evalua­ción ser ía ayudar a establecer objetivos e indicadores, valorar la e j e c u c i ó n , comu­nicar los valores de las agencias de i m p l e m e n t a c i ó n a los responsables de las inver­siones, y fundamentalmente, est imular la mejora de la e j e c u c i ó n de las agencias y programas sociales, en estrecha c o l a b o r a c i ó n con los responsables de la imple -m e n t a c i ó n y p r e s t a c i ó n de servicios (Wholey , 1986,1997).

A d e m á s de estas t ies funciones ttadicionalmente mencionadas, s e ñ a l a r e m o s a c o n t i n u a c i ó n algunas posibil idades que han sido apuntadas por distintos autores. E n pr imer lugar, la e v a l u a c i ó n se aplica en el d i a g n ó s t i c o y e l aná l i s i s de los p ro ­blemas sociales, en la r e v i s i ó n de los planes de i n t e r v e n c i ó n , en el con t ro l de la i m ­p l e m e n t a c i ó n de los programas y en la v a l o r a c i ó n de su impac to . Se consti tuye así en un elemento in fo rmat ivo central para el proceso d e p l an i f i cac ión de las po l í t i ­cas y programas sociales (función planificadora; R o g , 1995). D e este m o d o , ayu­dando a la f u n d a m e n t a c i ó n t e ó r i c a y p r á c t i c a , ha pasado de ser un m é t o d o de c o n s t a t a c i ó n de resultados para estimar el m é r i t o de los programas, a ser una acti­vidad imprescindible para la de f in i c ión de la p r o g r a m a c i ó n social.

La experiencia ha mostrado la dif icul tad para lograr estos p r o p ó s i t o s , sobre todo cuando se plantean en t é r m i n o s de mejora de las condiciones de vida de la sociedad (Patton, 1986; Rossi y Freeman, 1989). Los resultados evaluativos só lo son un ele­mento m á s de in fo rmac ión en los procesos de la pol í t ica social, j u n t o a otras razones de índo le e c o n ó m i c a , ideológica , po l í t i ca o de costumbre (función informativa). Co­mo afirman Be rk y Rossi (1976), la e v a l u a c i ó n es una actividad pol í t ica , pero no sus­tituye a la pol í t ica , de tal m o d o que las decisiones siguen en manos de profesionales de la polít ica social, que emiten juicios uti l izando múl t ip l e s fuentes de in fo rmac ión competitivas, entre las que los resultados evaluativos rara vez son la m á s importante.

Patton (1990) sugiere la ut i l idad de un t ipo específ ico de evaluaciones orientadas a proporcionar i n fo rmac ión sobre el futuro, para que la o r g a n i z a c i ó n pueda antici­parse a los cambios o las nuevas situaciones en que t e n d r á que desenvolverse, con el p ropós i to ú l t imo de afectar los comportamientos actuales y reorientarlos hacia la si­tuac ión futura deseada (Junción anticipatoria o prospectiva). L a construcción de esce­narios es la t é cn i ca m á s c o m ú n en este t ipo de i n v e s t i g a c i ó n prospectiva (Pat ton, 1990; N u ñ e z y Loscertales, 1996). Se trata de crear una imagen descriptiva del futuro o de los futuros posibles de un grupo o u n sistema social, por ejemplo entrevistando a personas relevantes para conocer sus expectativas, deseos o temores sobre el porve­nir, y resumiendo los resultados en un conjunto reducido de escenarios futuros alter­nativos. Los participantes en el estudio pueden entonces discutir sobre el resultado y elegir el escenario hacia el que quieren orientar sus esfuerzos. L a síntesis de evalua­ciones o del conocimiento actual sobre u n problema disperso en distintos estudios puede ser t a m b i é n úti l para tomar decisiones m á s ajustadas a la evo luc ión prevista de

Capitulo 2: Propósitos y actividades principales del proceso evolutivo 39

Cuadro 2.1. Qué objetos evaluamos

Antes de los años v \ r i 1I.1 ..•.<-, mli/aba en múltiples contextos, aunque no se dispusiera de un concepto ni unos inri, K 1.... n la evaluación en la educación es una actividad tradicional centrada en la valoración de alunnoi. profesores y centros, fundamentalmente con el objetrvo de la acre­ditación En la mdustna. la evaluación se utriimtia como una función de apoyo en acciones variadas, tales como la planificación, la gestmii d r procesos y la gestión de recursos humanos, aunque no fuera realmen­te considerada una actividad autráiom* l a-, pandes evaluaciones de los años sesenta se centraron en los programas de intervendrá! wnial y n , U: |>. 4ii» ,r. |«iHKas. generando por primera vez una comunidad de evaluadores interesados en temático y |»i l in i „ i . . 1 i « o-, comunes (Rebolloso y Rebolloso, 1998b).

I loy en día disponerme i Ir ni i n .Ir 11 n i< x imientos y métodos generales que permiten oriental Id evaluación r n (u«lf|iiin !4m¡>< . i r a d n a n ó n Incluso la mayoría estaría fácilmente de acuerdo con el concepto general de evaluar ion asociado a la idea de enjuiciamiento y al proceso conocido 1 (uno la hy» ,1 <u- '..M.ÍM '.III r n it 1.11 j»o, t At\é objeto de evaluación tiene sus peculiarida­des diferenciales, de tal modo que la evaluación debe adaptarse en sus procedimientos y objetivos para resultar útil en cada caso. Un producto de consumo, por ejemplo, puede ser valorado me-diantr un conjunto ¡ r . i u . ido . i r , menos sobre el que fácilmente alcancen acuerdos las partes in­teresadas. Un programa es. un embargo, un objeto mucho más complejo, implica una organiza­ción de personas, el menoi h o m o g é n e o en su implantación y es más difícil que los grupos interesados se pongan de «ruerdo sobre los errtenos por los que debe ser juzgado (Cook. Levitón y Shadish. I98S) De manera general. Owens y Rogers (1999) proponen distinguir cinco posibles objetos de evaluación:

• Prugnxnm Annxie esián tradioonalmente vinculados a as políticas y servicios sociales, el concepto de programa es más amplio y puede abarcar todo tipo de intervenciones estructuradas en muy dis­tintos ámbitos (educativo, legal, mdustna!. onjanizacionaí). El plan de trabajo y las actividades de im­plantación del plan son sus dos elementos esenciales. A grandes rasgos pueden establecerse tres r¿. veles de responsabilidad. El nivel corporatrvo (mega) se identifica con los equipos de gobierno de una institución o los directivos de una organización, responsables de la pianriieación general del pro­grama El segundo rovd (marro) se sitúa en las secciones o departamentos responsables de a plani­ficación especifica El nivel micro corresponde a las unidades de trabajo o las personas encargadas de poner en práctica las actividades dd programa o prestar un servicio. Las necesidades de informa­ción y las cuestiones de mterés son diferentes en estos niveles, por lo que la evaluación debe adap­tarse y escoger el modelo y los métodos que sean más útiles en cada caso. En general, a evaluación tratará de analizar el grado de ajuste entre lo planificado y b irnplementado. los factores relevantes en el éxito dd programa y tos resultados obtenidos.

• Potocas. La política social es un concepto poksémico difiol de concretar. En ocasiones se identifica con la defunoón de objetivos o irrtericiones. con la creación de guías de actuación, estrategias para resolver un problema o normas de cornportamiento producidas por las cúpulas dd gobierno: en otras ocasiones se entiende como d resultado dd trabajo de un conjunto amplio de nstancas bu­rocráticas relacionadas con la agenda de algún sector dd gobierno (Guba. 1984). En óerto modo, la política resume todos estos elementos, teniendo como base mínima un conjunto de enunciados (guías) que intentan definir o enmarcar as futuras decisiones dd sistema. Es decr. propone una di­rección general para la a c o ó a aunque en sí misma no prescribe ningún curso de acción concreto, que será objeto de planificación en d nivd de los programas de actuación.

• Orgonizociones. También este es un concepto amplio con el que se quieren expresar distintos conceptos (desde un sistema social extenso a un grupo reducido de personas en una unidad de trabajo). Se identifica con la evaluación de instituciones, empresas, departamentos o cualquier sub-grupo dentro de ellas. La evaluaoón se centra en la mejora de los procesos y servicios, o en el análisis del impacto que estos tienen.

• Productos. Los productos son cualquier objeto material que puede ser adquirido. La evalua­ción de productos se utiliza para recoger datos comparativos en un conjunto reducido de cri-tenos, con objeto de recomendar la mejor compra. Es el tipo de evaluación que encontra-

"ru | forte I: Diseño de políticas y programas de intervención socio!

mos en las revistas del consumidor (por ejemplo, equipos informáticos, alimmt.i. móvil) (Scnven. 1 9 9 4 ) .

• Personos. La eva'uadón de personas se ha evitado tradioonalmente. centrándose el inteiév i»e ferente en bs programas o procesos de trabajo, de tal modo que las personas no se llntlai •>• observadas y no ocultaran información de interés por el miedo a las consecuencias negativas tic ser evaluado. Sin embargo, la evaluación del desempeño y de la ejecuoón individual tiene pin»» sentido dentro de procesos de acreditación o selección, e incluso orientada a la mejora IIHIIVI dual (De Quijano, 1 9 9 2 ) . Se considera adecuada para la evaluación de programas cuando la In formación así obtenida se utiliza para tomar decisiones sobre el programa y no sobre las priv • ñas, en cuyo caso estamos hablando de los procesos de valoración orientados a la promocior 11. selección de personal propios de la gestión de recursos humanos.

los acontecimientos (Patton, 1990). O t r o m o d o de c o n s t r u c c i ó n de escenarios es dad d i r c u á l e s son los factores o variables clave que a f e c t a r á n a la evo luc ión , y d e s p u é s cruzarlas para definir los futuros posibles. Por ejemplo, en el caso de introducir un nuevo programa de a t e n c i ó n al cliente, las variables clave p o d r í a n ser la disponibil i dad de recursos y la permanencia de la clientela clave.

Habrá recursos Los recursos se agotarán

Los clientes permanecen 1. El programa funcionará tal 2. Los recursos existentes serán como está previsto y se lograrán insuficientes 0 inadecuados clientes satisfechos para mantener el programa

Cambian ka dientes cave 3. U apanción de nuevos grupos 4. El programa no podrá de clientes hará que el programa desarrollarse resurte desajustado.

E n e l p r imer caso el p rograma debe mantenerse para lograr e l ob je t ivo de sa­tisfacer a la c l ientela clave. E n el segundo caso s e r í a necesario tener previstas ac­ciones alternativas mejor ajustadas a los recursos previstos o anticiparse mediante actuaciones di r igidas a fidelizar a los clientes antes de que abandonen el servicio po rque se resienta su cal idad. E n e l tercer escenario las acciones planificadas ya no son adecuadas y h a b r í a que disponer de al ternativas que tengan en cuenta los posibles nuevos clientes. Finalmente , en e l ú l t i m o escenario el p rograma t e n d e r á a desaparecer y h a b r í a que tener p rev i s to p rogramas a l te rnat ivos d i r i g idos a los nuevos d ientes potenciales.

Las evaluaciones se real izan en contextos que t ienen una i m p o r t a n t e d i m e n ­s ión po l í t i c a , p o r l o que no pueden separarse de luchas y estrategias de grupos que in t en tan alcanzar o mantener cuotas de poder. A u n q u e el pe l ig ro de sesgos es evidente , la e v a l u a c i ó n n o debe ignorar esta rea l idad o p e r d e r í a su o p o r t u n i -

Capitulo 2: Pmpósitos y actividades principales del proceso evolutivo

dad de in f lu i r en los medios p o l í t i c o s y adminis t ra t ivos {función estrategia; Ve-dung, 1997). S tuf f lebcam (2000) t iene una v a l o r a c i ó n en parte negativa de las evaluaciones orientadas por fines e s t r a t é g i c o s , a las cuales denomina pseudo-eva-luaciones. Suchman (1967) d i s t i n g u í a tres t ipos: cuando la e v a l u a c i ó n se ut i l iza para a ñ a d i r un t in te c ien t í f i co y ob je t ivo a decisiones del programa que ya han si­do tomadas; cuando se p ropone la r e a l i z a c i ó n de una e v a l u a c i ó n para retrasar una d e c i s i ó n y esperar a que las c r í t i cas se suavicen con el t iempo; o cuando se in­tenta mejorar la imagen p ú b l i c a del programa escogiendo só lo aquellos resulta­dos que sirven para jus t i f icar lo . Se puede a ñ a d i r el caso de que un grupo p o l í t i c o proponga una e v a l u a c i ó n en la que incluya a representantes de la o p o s i c i ó n , de ta l m o d o que se compar ta ante la o p i n i ó n p ú b l i c a la responsabilidad por los re­sultados negativos del programa. E n cualquier caso, es poco realista considerar que podemos realizar evaluaciones é t i c a m e n t e puras en el complejo campo de los juegos de intereses. L o m á x i m o que puede hacerse es ser conscientes de que la e v a l u a c i ó n s e r á u t i l izada con fines e s t r a t é g i c o s , analizando q u i é n e s e s t á n in tere­sados en la e v a l u a c i ó n y po r q u é , y t omando las medidas oportunas para no ser p a r t í c i p e s de n i n g ú n e n g a ñ o .

N o obstante, disponemos de un mode lo di ferente de pensamiento e s t r a t é g i c o , muy v incu lado a enfoques cuali tat ivos y construccionistas, el cual carece de esta v a l o r a c i ó n negativa (Rebol loso , F e r n á n d e z - R a m í r e z y C a n t ó n , 2006). Acep tando que la rea l idad organizacional es rea l idad social construida y que gran parte del peso de la e v a l u a c i ó n recae en la p a r t i c i p a c i ó n de las personas y grupos organiza-cionales, el ob je t ivo de la e v a l u a c i ó n no se r í a descubrir ninguna supuesta real idad organizacional , sino redefmirla y trazarse u n fu tu ro hacia el que la o r g a n i z a c i ó n desee di r ig i rse . A t r a v é s de su func ión e s t r a t é g i c a , la e v a l u a c i ó n se convierte en una her ramienta impor t an te para el cambio organizacional vo lun ta r io , o r i en tado en una d i r e c c i ó n que maximice las opor tunidades de adqui r i r ventaja respecto de las d e m á s organizaciones de l sector (Rebo l lo so , F e r n á n d e z - R a m í r e z y C a n t ó n , 2007).

í . l . P r o p ó s i t o s d e la e v a l u a c i ó n

E n t é r m i n o s ampl ios , los m ú l t i p l e s p r o p ó s i t o s de la e v a l u a c i ó n se concretan en tres principales ( C o o k , L e v i t ó n y Shadish, 1985; Chel imsky, 1997a; Stufflebeam y-Shinkf ie ld , 1987; Vedung, 1997):

2.2.1. Evaluación para la responsabilidad

Su finalidad es emi t i r un j u i c i o sobre el va lor re la t ivo del programa o de sus com­ponentes, enfatizando la m e d i c i ó n de resultados, el logro de objetivos y el c á l c u l o de la efectividad y eficacia de las actividades, en c o m p a r a c i ó n con otras al ternan

42 Porte /. Diseño de políticas y programas de intervención social

vas. Para el aná l i s i s de las relaciones causales, e l m é t o d o prefer ido po r muchos se­r í a el estudio experimental cont ro lado y aleatorizado. L a idea de responsabil idad aparece cuando el agente de una a c c i ó n necesita demostrar ante sus superiores que ha cumpl ido con las directivas recibidas, entendiendo los roles de agente y su­per ior de una manera amplia para dar cabida a cualquier persona o puesto den t ro de la cadena de toma de decisiones y a c t u a c i ó n del programa. Por e jemplo, el p o l í ­t ico debe responder ante la o p i n i ó n p ú b l i c a , los administradores del programa an­te la clase po l í t i ca , los agentes de l programa ante los cargos direct ivos, etc., tenien­do en cuenta que en todos estos casos cada persona o grupo de trabajo ocupa u n r o l doble, siendo al mismo t i empo subordinado y superior de alguien. U n caso es­pecial lo consti tuyen los clientes o usuarios del sistema, que necesitan ser in fo rma­dos sobe los resultados de l p rograma, el n ive l de sa t i s facc ión de los servicios y la igualdad en e l t ra to a l cl iente.

La e v a l u a c i ó n de la responsabil idad es t rad ic ionalmente difícil de implan ta r en el á m b i t o de las administraciones p ú b l i c a s , deb ido al extendido f e n ó m e n o del mie­do a ser evaluado. Cada uno t e n d e r á a aportar i n f o r m a c i ó n que no ponga en cues t i ón su puesto dentro del programa. M á s a ú n , toda i n f o r m a c i ó n disponible sobre la actua­c ión de un subordinado puede ser inesperadamente utilizada para criticar la labor de un superior. E n consecuencia, la eva luac ión tiene un efecto indeseado en la medida en que cada cual a s u m i r á una act i tud cautelosa antes de tomar decisiones cruciales que puedan resultar comprometedoras .

2.2.2. Evaluación para el desarrollo

Persigue la mejora de las actividades, el f o r t a l ec imien to de la o r g a n i z a c i ó n y el desarro l lo de las capacidades de las personas que par t i c ipan de d i s t i n to m o d o en los programas sociales y en las organizaciones de servicios. L a e v a l u a c i ó n es una par te m á s de las tareas diarias de g e s t i ó n , c o m o un proceso para le lo de segui­m i e n t o o r e v i s i ó n o r ien tado al aprendizaje y la c o r r e c c i ó n de errores. L a evalua­c i ó n se parece m á s a un estudio de caso, subrayando la recogida de i n f o r m a c i ó n cua l i ta t iva que pueda ser ob ten ida y u t i l izada con rapidez para mejora r el d i s e ñ o de los programas, d i r i g i r los proyectos en curso o descubri r c ó m o se s ienten los beneficiar ios del p rograma. Las m ú l t i p l e s presiones y la urgencia de resultados pueden l levar a real izar estudios que se m u e v e n en el l ím i t e de lo c i e n t í f i c a m e n ­te v á l i d o .

2.2.3. Evaluación para el conoc imien to

L a e v a l u a c i ó n persigue c o m p r e n d e r ampl i amen te los f e n ó m e n o s bajo es tudio , analizando las causas de los problemas y los p o r o u é s de l funcionamiento de las operaciones con el obje t ivo de aumentar o r e ñ n a r el conocimiento disponible so-

Copitulo 2: Propósitos y actividades principales del proceso evolutivo I *\

l „ r i , , ' | i i o l . l e m a s y las posibil idades de i n t e r v e n c i ó n . Los problemas se investigan m i l i / . i n ' l " ideas t e ó r i c a s que p u e d e n der ivarse de las ciencias sociales o de los pUOtM v l 1 , 1 , 1 , a , e s de 'as audiencias interesadas. Las ideas sobre el funciona-miento d r l | i i o ( ' i a m a tienen que ver con las ciencias aplicadas a las organizacio­nes Ñ u M t i evaluador quien i m p o n e el p l a n de i n v e s t i g a c i ó n , en func ión de sus , , i t r n < ' " i ' m n o s o corporat ivos; m á s b i en pone al servicio del programa sus C O I H M imi i -111(1 ' . v m é t o d o s c ien t í f i cos para comprender la real idad de los p rob le -n i . i . y ii( •.. n i . n i | « l a b i l i d a d e s de mejora , i n t roduc iendo un elemento de r e f l ex ión s is tcmáii i a v * m u .i <n el discurso social. L a s ín tes i s de investigaciones es una es-t ra teg i» u i i l p i n a i r - s u m u la i n f o r m a c i ó n sobre m ú l t i p l e s estudios y concretar l o que se s a l i r ' . . ' l ' i r mi tipo de te rminado de programas.

A u n q u e < « i s l a u n a c i e r t a b o r r o s i d a d y c o m p l e m e n t a r i e d a d ( C h e l i m s k y , 1997a), y sea [Misililr s in gran esfuerzo idear u n p lanteamiento global cont ingente (Chen, Vrnt. K r U . l i o s o , 1994a; Stuff lebeam ef al., 1971), no parece recomendable desarroll.u m o d e l o s i |ne |K - i s igan alcanzar con un mismo d i s e ñ o todo t i po de p r o ­pós i tos u objetivos I s m á s út i l apreciar los matices que se derivan de cada p r o p ó ­sito, p a r a en i iquccer el cam|K> de la discipl ina y para estar mejor preparados ante cualquier s i t uac ión que se presente ( A l v i r a , 1998; Rebol loso y Rebol loso, 1998a). E l evaluador de i u l n a p into a sus clientes c u á l e s s e r á n los objetivos pr ior i ta r ios de la e v a l u a c i ó n , t ra tando de q u e se l o g i e un n ive l de responsividad y u t i l idad eleva­do sin que se reduzcan las posibil idades de l levar el estudio a la p r ác t i c a .

2.3. A c t i v i d a d e s g e n e r a l e s d e e v a l u a c i ó n

E l d i s e ñ o y la i m p l e m e n t a c i ó n de las evaluaciones dependen de los p r o p ó s i t o s e spec í ­ficos a los cuales sirven. Las evaluaciones dif ieren de acuerdo con el t ipo de cues t i ón que estudian, el estadio en que se encuentre el programa, si el programa es nuevo o establecido, y el t ipo de dec is ión que el evaluador intenta informar. Siguiendo el es­quema bien conocido de Rossi y Freeman (1989), la e v a l u a c i ó n s i s temát ica compren­de una serie de actividades específ icas , siendo úti l distinguir tres clases diferentes de e v a l u a c i ó n relacionadas con el anál is is de: la c o n c e p t u a l i z a r i ó n y el d i s eño de las i n ­tervenciones, la d i recc ión y responsabilidad en la i m p l e m e n t a c i ó n del programa, y la va lo rac ión de la ut i l idad (efectividad y eficiencia del programa).

2.3.1. C o n c e p t u a l i z a c i ó n y d i s e ñ o

Durante el p e r í o d o de su conceptua l izac ión y d i seño , las intervenciones sociales pueden ser consideradas como respuestas o intentos de solución a problemas comunes. E l o r i ­gen de un programa es siempre el reconocimiento de un problema social, entendido co­mo conjunto diverso de defectos socialmente reconocidos en las condiciones sociales y humanas. La planificación del programa implica un conjunto de ideas sobre q u é activi­dades p o d r í a n resolver el problema, y c ó m o llevarlas a la práct ica por una organizac ión

| Porte Diseño de políticas y programas de inte/vención social

de servicios sociales o similar. Las principales cuestiones planteadas en la evaluai ion i . la conceptual ización y el d i seño de un programa son (Rossi y Freeman, 1989):

¿ E s t á adecuadamente conceptualizado? ¿ C u á l es la loca l izac ión y el alcance del problema a resolver en la pob lac ión 11| referencia?

¿ E s t á d i s e ñ a d o para alcanzar los objet ivos perseguidos? ¿ H a y un racional que l o apoye? ¿ H a n sido raaximizadas las oportunidades de c o n c e s i ó n del servicio o activi­dades de l programa? (es decir, ¿ e x i s t e n posibil idades de que su ap l i cac ión sea ó p t i m a ? ) .

¿ C u á l e s son los costes proyectados o existentes?" ( ¿ C u á l es el presupuesto?) ¿ C u á l es la r e l a c i ó n entre costes o presupuesto asignado y beneficios?

2.3.2. D i r e c c i ó n y responsabilidad en la i m p l e m e n t a c i ó n

H a y sobradas razones para que los responsables de la d i r e c c i ó n de u n programa requieran supervisar su i m p l e m e n t a c i ó n y e j e c u c i ó n . Por e jemplo, la g e s t i ó n y ad­m i n i s t r a c i ó n de recursos humanos, la d i r e c c i ó n de actividades tan eficientemente como sea posible o evi tar el uso inaprop iado de los recursos y otras formas de ac­t u a c i ó n poco eficaces. Los patrocinadores y grupos interesados exigen evidencia palpable de que lo que se e s t á i n v i r t i e n d o en los programas e s t é jus t i f icado desde diversos puntos de vista. E n muchos programas, par t icularmente los que respon­den a inversiones p ú b l i c a s , el feedback de i n f o r m a c i ó n evaluativa es una herra­mien ta poderosa para documentar la efect ividad operacional de la o r g a n i z a c i ó n que ofrece e l servicio, just if icar e l trabajo de los profesionales, solicitar apoyos o nuevos recursos y defender su va lor f rente a las actuaciones que l levan a cabo otras organizaciones en el mismo sector social de l programa.

N o hay fo rma de comprobar l a eficacia de u n programa a menos que se haya l levado a efecto en la forma adecuada proyectada en el d i s e ñ o y p l an i f i cac ión o r i ­g ina l . E n algunas ocasiones no e s t á d isponible el personal , otras veces las p lan t i ­llas profesionales e s t á n presionadas p o r grupos p o l í t i c o s o t ienen objet ivos p ro ­p ios d i f í c i l m e n t e c o m p a t i b l e s c o n e l p r o g r a m a ; en a lgunos casos n o t i e n e n m o t i v a c i ó n o s implemente no saben c ó m o realizar sus tareas; en otros, la inf lac ión o la e s t i m a c i ó n e r r ó n e a del presupuesto l levan a que la p lan t i l l a modi f ique sus es­fuerzos. T a m b i é n hay ejemplos en los que n o existe un n ú m e r o adecuado de p a r t i ­cipantes, no e s t á n b ien identif icados o s implemente no cooperan con el programa. E l seguimiento de los programas puede aler tar de estos y otros problemas p ropor ­c ionado una v a l o r a c i ó n s i s t e m á t i c a de las siguientes cuestiones:

¿ A l c a n z a el programa a la p o b l a c i ó n ob je t ivo de referencia? ¿ S e l levan a cabo los esfuerzos de la i n t e r v e n c i ó n tal y como fueron especi­

ficados en el d i s e ñ o de l programa?

Capitulo 2: Propósitos y octividodes principales dd proceso evolutivo 45 •

^2.3 3- Valoración de la utilidad del programa

Es cr í t ico conocer el grado en que un programa produce resultados deseados y c u á l e s han sido los beneficios en r e l a c i ó n a sus costes. E l p r imer punto se refiere a la eficacia del programa y el segundo a su eficiencia. L a eficiencia se valora res­pectivamente a t r a v é s de los aná l i s i s coste-beneficio y coste-efectividad, los cuales constituyen conjuntamente la u t i l idad de l programa. A menos que los resultados o la r e p e r c u s i ó n de un programa sea demostrable, es difícil defender su implementa­ción y c o n t i n u a c i ó n . A d e m á s , hay que contrastar la eficacia con los costes, es de­cir, hay que ver si existe un equ i l i b r i o entre el nivel de beneficio alcanzado y el coste pagado por e l lo L a e s t i m a c i ó n de los resultados en r e l a c i ó n a los costes pue­de ser e n g a ñ o s a y con t rove r t i da deb ido a que requ ie re con frecuencia realizar asunciones sobre el valor mone ta r io de las actividades relacionadas con el progra­ma y el valor mone ta r io de los beneficios, m u y p r o b l e m á t i c a s cuando se quiere traducir en dinero el va lor de la salud ps i co lóg ica o de la vida humana.

L a e v a l u a c i ó n de la eficacia mide el grado en que u n programa causa un cam­bio en la d i r e c c i ó n deseada. E l concepto impl ica la d e f i n i c i ó n de un conjunto de objetivos (físicos, conductuales, comunitar ios , etc.), especificados y definidos ope-racionalmente, y la de f in i c ión de un conjunto de cr i ter ios de éx i t o . Para realizarla el evaluador necesita un p lan de recogida de datos que permi ta demostrar que los cambios observados son f u n c i ó n de las actividades realizadas en el programa, y que estos cambios no pueden explicarse de o t r o m o d o . Las estrategias bás icas de anál is is se d i s c u t i r á n en c a p í t u l o s posteriores (experimentos aleatorizados, experi­mentos no aleatorizados, estudios cuasi-experimcntales). Las evaluaciones de la efi­cacia son esenciales si se desea comparar diferentes programas o comprobar la u t i l i ­dad de nuevos esfuerzos para mejorar un problema c o m u n i t a r i o particular. Por el contrar io , la e v a l u a c i ó n de la eficiencia es demandada a consecuencia de la esca­sez creciente de recursos para los programas. Las intervenciones compi ten en de­terminados foros (asociaciones, fundaciones internacionales, y a varios niveles en las agencias gubernamentales). E n ocasiones, la e l e c c i ó n entre dos alternativas de a c t u a c i ó n tiene que ver con la c u e s t i ó n e c o n ó m i c a , en func ión de que produzcan los, suficientes beneficios con un coste razonable como para otorgarles una deter­minada ayuda e c o n ó m i c a . Las principales cuestiones sobre la v a l o r a c i ó n de la u t i ­l idad del programa son:

¿Se muestra el programa efectivo en lograr sus metas u objetivos pretendidos? ¿ P u e d e n explicarse los resultados del programa p o r a l g ú n proceso al ternat i­

vo no inc lu ido o previs to en dicho programa? ¿ T i e n e el programa efectos que no se planif icaron? ¿ C u á l e s son los costes de entrega de los servicios y beneficios de los progra­

mas que se otorgan a los participantes? ¿ H a c e el programa un uso eficiente de los recursos, en c o m p a r a c i ó n con los usos alternativos de los mismos?

46 f inir I [)nr/io de ¡tolitkos y programas de intervención social

1.4. D i s e ñ o d e la e v a l u a c i ó n

De un modo simplificado, se p o d r í a equiparar la e v a l u a c i ó n con un proced imien to de investigación convencional en e l que t ienen importancia las cuestiones de objet i ­vos, d i seño , recogida y anál is is de i n fo rmac ión . U n a diferencia relevante es que las preguntas de trabajo no se originan en el investigador, sino en las audiencias a las que sirve. Toda la eva luac ión se organiza en f u n c i ó n de las necesidades de i n f o r m a c i ó n de los grupos interesados, hasta el p u n t o de que el m o d o en que los resultados se presentan es una p r e o c u p a c i ó n cont inua de l evaluador, el cual persigue el ob je t ivo operativo de encontrar y presentar la i n f o r m a c i ó n de manera que logre un mayor impacto e influencia en las personas relacionadas.

2.4.1. Elementos de dec i s ión

E n s ín tes i s , el d i s e ñ o de una e v a l u a c i ó n imp l i ca t omar decisiones respecto de los siguientes temas (Newcomer, H a t r y y Wholey , 1994):

a) E l diseño, en el cual se deben de terminar c u á l e s son las preguntas de eva­l u a c i ó n , q u é t ipo de comparaciones se necesitan y c ó m o s e r á ut i l izada la i n ­f o r m a c i ó n . Las m ú l t i p l e s preguntas posibles deben ser priorizadas, f o r m u ­larse de manera clara y ú t i l , y deben ser preguntas que puedan ob tener respuesta (por e jemplo, no son adecuadas aquellas que imp l iquen construc-tos de imposible o p e r a t i v i z a c i ó n o demasiado abstractas). Por ú l t i m o , hay que atender a los costes de la e v a l u a c i ó n y es conveniente realizar estudios p i l o to para poner a prueba e l estudio a p e q u e ñ a escala.

b) L a recogida de datos, concretando las fuentes principales de i n f o r m a c i ó n , los procedimientos para la recogida y los problemas de l muestreo y de la calidad de los datos. H a y que tener en cuenta las posibles dificultades y ba­rreras po l í t i c a s , b u r o c r á t i c a s y t é c n i c a s con e l ob je t ivo de conseguir los da­tos m á s relevantes con el menor coste.

c) E l análisis de datos, debiendo anticiparse los anál is is que p o d r á n realizarse y la t r a n s f o r m a c i ó n de los datos para que resulten m á s út i les . Los anál is is condi­cionan el formato de los datos que se espera recoger, y pueden ayudar a es­tructurar la i n fo rmac ión de resultado de forma apropiada en r e l ac ión con las preguntas de eva luac ión y las audiencias a las que se dirigen los informes.

d) E l uso de la información, lo cual supone def in i r q u é datos se r e u n i r á n para cada audiencia espec í f i ca , si se e l a b o r a r á n recomendaciones y c ó m o se ana­l i za rá el i m p a r t o de estas. E l impac to de los resultados no se reduce a un p rob l ema de jugar con el a tract ivo de los informes. Para ganar inf luencia , el evaluador ut i l iza los resultados de manera e s t r a t é g i c a , presentando eviden­cias que avalen sus recomendaciones para el cambio del programa. A pesar de lo cual , Newcomer , H a t r y y W h o l e y (1994) sugieren que la eficacia de-

Capitulo 2: Propósitos y actividades principales del proceso evolutivo 47

pende de que las evaluaciones se p lan i f iquen , d i s e ñ e n e implementen efi cientemente, y de que se produzcan resultados c r e í b l e s y relevantes para estimular la mcjo ia del programa.

2.4.2. D i s e ñ o según el t ipo de i n t e r v e n c i ó n social

E l d i s e ñ o de las evaluaciones debe tener en cuenta la clase de i n t e r v e n c i ó n que es tá siendo objeto de estudio Nuevamente con Rossi y Freeman (1989), las clases importantes de intervenciones incluyen: intervenciones innovadoras, en el sentido de que no lian sido intentadas con an te r ior idad; modificaciones de progra­mas existentes; y programas existentes (o rs tablecidos) .

ri) Evaluaciones dr intervenciones innovadoras. L a m a y o r í a de los programas que se piesentan como "nuevos" o " innovadores" son modificaciones m á s o menos maquilladas de intervenciones ya existentes. Se entiende po r no­vedoso que las actividades de que consta el p rograma no hayan sido aplica­das alguna vez a la p o b l a c i ó n de referencia o al campo de i n t e r v e n c i ó n que se pretende evaluar. E n concreto, el p rograma es innovador si no ha estado sujeto a i m p l e m e n t a c i ó n y v a l o r a c i ó n , b ien porque :

1. L a i n t e r v e n c i ó n en sí misma es a ú n un c a m p o emergente de invest iga­c i ó n y desarrol lo ; es decir, no hay evidencia (o e s t á m u y l i m i t a d a ) de que tenga un i m p a c t o a t r a v é s de p r o g r a m a s b i e n es tablecidos. Por e jemplo , los programas de desa r ro l lo l o c a l a t r a v é s de estrategias de au toempleo .

2. E l sistema de dispensa de l p rograma , o partes de l sistema, t o d a v í a no han sido adecuadamente comprobadas. Por e jemplo , u n programa que incluye la idea a ú n no comprobada con una e v a l u a c i ó n fo rma l de ut i l izar estudiantes universi tarios para p ropo rc iona r apoyo en casa a las personas de la tercera edad.

3. L o s objetivos de los programas son nuevos o muy amplios! Por e jemplo, la actual reforma de l sistema univers i tar io para in t roduc i r nuevos m é t o ­dos docentes en todas las t i tulaciones impar t idas en E s p a ñ a .

4. U n programa or ig ina lmente ejecutado en respuesta a u n objet ivo se con­t inua o expande po rque t iene i m p a c t o en o t r o ob je t ivo di ferente . Por ejemplo, un programa de a t e n c i ó n a a las v í c t i m a s del mal t ra to d o m é s t i ­co que se reformula para dir igirse a los hijos de fami l ia r con problemas porque se ha observado que el p rograma in ic ia l t e n í a un impacto negati­vo sobre los n i ñ o s .

b) Evaluaciones de programas perfeccionados o refinados. U n a vez puesto en marcha un programa es interesante comprobar las formas en que opera. Y

48 I Porte /: Diseño de políticas y programas de intervención socio/

la r a z ó n de mayor peso para hacer esto es que só lo asf p in Ir m i . ni mejorar su eficacia o eficiencia; en otras palabras, para mejorat mi lm | i i 1

o para conseguir el mismo a menor coste po r un idad de impacto 11 • , , supuesto otras razones para efectuar evaluaciones mejoradas. Una M |.. el p rograma ofrezca servicios justos (equitativos), es decir, que se . l i . p . n los servicios a la p o b l a c i ó n de referencia de la misma forma que 11 K m . , con la p o b l a c i ó n general. Se hace h i n c a p i é en la d i f icul tad de separa i pTQ gramas innovadores y programas reformados (algunas veces llamados «Ir purados) , porque a veces los cambios son menores y claramente modif ica bles. Otras veces son costosos y pueden tener importantes r a m i f i c a c i o n r » en las redes de servicios humanos . Por e j emplo , Rossi y Freeman (1989) mencionan el caso de los programas de salud comuni tar ia que integran u n tros de salud con hospitales un ivers i t a r ios . E l ob je t ivo b á s i c o de o f r e t r i cuidados m é d i c o s a personas de baja ren ta n o cambia en este caso, poro pueden aumentar los costes a n ive l nacional y verse alterada la calidad d r l servicio ofrecido.

c) Evaluaciones de programas establecidos. Son programas que han venido i m p l e m e n t á n d o s e durante un c ie r to n ú m e r o de a ñ o s en localidades dife­rentes, que cuentan con una es t ruc tura de func ionamien to y financiación estable. L a e v a l u a c i ó n es aconsejable p o r una serie de razones. E n p r inc i ­p i o , pueden haber s ido cons t i tu idos po r u n comple jo con jun to de razones externas o p o l í t i c a s , y es i m p o r t a n t e tener datos de su impac to y de la ra­z ó n coste/beneficio en o rden a jus t i f i ca r la d e c i s i ó n de cont inuar , expan­d i r los o t e rminar los . Las act ividades evaluat ivas pueden estar provocadas p o r cambios en los recursos d isponib les , d i s e ñ o s p o l í t i c o s , p r io r idades de los m i e m b r o s comuni t a r ios , a s í c o m o cambios observados en las poblac io­nes de referencia. Q u i z á s l o mas i m p o r t a n t e al es t imular evaluaciones de programas ya establecidos es la evidencia o sospecha de que el p rograma ya n o es eficiente. A d e m á s , u n p r o g r a m a puede estar sujeto a revisiones leg is la t ivas que p r o p o r c i o n a n datos p a r a la t e r m i n a c i ó n a u t o m á t i c a si p i e rde eficacia y fracasa en demos t r a r su u t i l i d a d . Las evaluaciones de programas establecidos se cen t ran genera lmente en evaluaciones de i m ­pacto y en a n á l i s i s coste/beneficio, l im i t adas con frecuencia a examinar la dispensa de los servicios. E n tales casos, se centran en las cuestiones de l c o n t r o l , seguimiento y d i r e c c i ó n de l p rog rama ( m o n i t o r i z a c i ó n ) . Los servicios sociales son m u y vulnerables al cues t ionamien to serio y respon­sable de c ó m o se e f e c t ú a la e j e c u c i ó n , a s í c o m o a los ataques p o l í t i c o s o re lacionados con los medios de c o m u n i c a c i ó n . L o s resultados de la eva­l u a c i ó n , t an to de la m o n i t o r i z a c i ó n de la i m p l e m e n t a c i ó n del p rog rama como de las valoraciones de l i m p a c t o y de la eficiencia, pueden i n f l u i r las decisiones sobre el des t ino de los p rogramas y de las organizaciones res­ponsables.

Capitulo 2: Propósitos y actividades principales del proceso evolutivo j 4 9 '

2.5. E l p r o c e s o de i n t e r v e n c i ó n s o c i a l

La i n t e r v e n c i ó n social es una acc ión in tencional s i s t e m á t i c a dir igida a resolver al­gún problema social, desarrollada por organizaciones con capacidad para m o v i l i ­zar recursos muchas veces considerables (los organismos de la a d m i n i s t r a c i ó n p ú ­blica, por e jemplo, o diversas fundaciones y O N G ) . L a i n t e r v e n c i ó n se ajusta a la evo luc ión de los problemas sociales que t ra ta de resolver. E n general, e s t á n i m p l i ­cados dis t into t ipo de agentes y grupos de i n t e r é s (afectados, beneficiarios, t écn i ­cos, etc.) que toman decisiones relevantes en una d i m e n s i ó n temporal , en func ión de c ó m o evolucionan los problemas sociales que se enfrentan y las condiciones so­ciales, e c o n ó m i c a s y po l í t i c a s que fo rman su contexto . L a i n t e r v e n c i ó n , por tanto, es un proceso que se ajusta siguiendo una perspectiva contingente.

E n el á m b i t o de las administraciones p ú b l i c a s y los servicios sociales, la inter­venc ión se identif ica con la idea de programa. E n real idad, programa es un con­cepto flexible que puede aplicarse a un conjunto m u y ampl io de acciones que se desarrollan en contextos de i n t e r v e n c i ó n muy diferentes (empresariales, educati­vos, sanitarios, entre o t ros) . L a siguiente de f in i c ión de Rebol loso (1994a: 237), sin­tetiza con clar idad sus elementos b á s i c o s : "asumimos que el significado de un pro­grama de i n t e r v e n c i ó n social es b á s i c a m e n t e un conjunto de recursos organizados y aciones dirigidas a objet ivos comunes y que la e j e c u c i ó n de ese programa incluye los recursos del programa, las actividades y los resultados de estas actividades". La p lan i f i cac ión racional , e l con t ro l de la i m p l e m e n t a c i ó n y el cá l cu lo de la eficacia son claves dent ro de la c o n c e p c i ó n de programa m á s extendida entre los especia­listas (Rossi y Freeman, 1989).

L a i n t e r v e n c i ó n toma como punto de par t ida la existencia de un problema so­cial relevante, generalmente cuando, por su impor tanc ia o por las c a r a c t e r í s t i c a s de los grupos implicados, se inserta dent ro del discurso de los grupos po l í t i cos que caracterizan la d i n á m i c a de los servicios sociales. E l aná l i s i s d i a g n ó s t i c o del pro­blema da lugar a la p l an i f i cac ión de una acc ión s i s t e m á t i c a (un programa) que tie­ne como elementos fundamentales el establecimiento de una serie de metas y ob­j e t i v o s de t r a b a j o ( l a n u e v a s i t u a c i ó n s o c i a l q u e se desea a l c a n z a r ) , una e x p l i c a c i ó n de c ó m o las actividades planificadas r e s o l v e r á n el p rob lema ( t e o r í a del p rograma) y un conjunto de decisiones sobre la estructura, recursos y funcio­nes de las organizaciones de servicios que p o n d r á n en .marcha el programa ( t e o r í a de la i m p l e m e n t a c i ó n ) (Scbeirer, 1987). E n un paso poster ior el programa se lleva a la p r á c t i c a ( i m p l e m e n t a c i ó n ) , siendo relevantes un conjunto de actividades eva­luativas que aseguran el correcto desarrol lo de la i n t e r v e n c i ó n y la v a l o r a c i ó n de los resultados obtenidos. E n el mode lo t radicional de i n t e r v e n c i ó n , la e v a l u a c i ó n ocupa un lugar bien def in ido en r e l a c i ó n con tres actividades clave: la va lo rac ión de necesidades (establecimiento de pr ior idades y urgencias), el seguimiento (evalua­c ión del ajuste de la i n t e r v e n c i ó n respecto del p lan de t rabajo) y la v a l o r a c i ó n de resultados ( e v a l u a c i ó n de resultados e impactos) .

50 Porte i : Diseño de políticos y programen de intervención soool

M á s a l lá de los conceptos tradicionales, Rebol loso , F e r n á n d e z - R a m í r e z y Can­t ó n (2003) proponen un mode lo s i s t e m á t i c o y cont ingente en el que las actividades de e v a l u a c i ó n se ex t ienden para s e r v i l como g u í a de actuaciones a lo largo de l proceso completo de i n t e r v e n c i ó n . L a figura 2.1 muestra el proceso integrado de i n t e r v e n c i ó n - e v a l u a c i ó n , inc luyendo las correspondientes fases de la i n t e r v e n c i ó n y las actividades evaluativas m á s adecuadas en cada momen to . E l modelo tiene un a l to valor heur í s t i co por cuanto sugiere, siguiendo un cri ter io contingente, q u é activi­dades de eva luac ión pueden realizarse en el momento en que se requieren los servi­cios del evaluador, teniendo como referencia la s i tuac ión en la que se encuentra el proceso de i n t e r v e n c i ó n . Igua lmente , da cabida a los tres grandes p r o p ó s i t o s de la e v a l u a c i ó n . A l definirse como una act iv idad subsidiaria de la i n t e r v e n c i ó n , los re­sultados evaluativos s i rven para afinar, mejorar o aportar la i n f o r m a c i ó n necesaria para tomar decisiones fundamentadas sobre la marcha del programa ( e v a l u a c i ó n or ientada al desarrol lo) ; al enfatizar e l estudio de las relaciones causales entre dis­t in tos factores impl icados en la i n t e r v e n c i ó n , sirve para alcanzar conocimientos v á l i d o s sobre la s o l u c i ó n de problemas sociales y la c r e a c i ó n de programas de i n ­t e r v e n c i ó n ( e v a l u a c i ó n or ientada al conoc imien to) ; p o r ú l t i m o , al inc lu i r un a n á l i ­sis de todo t ipo de resultados e impactos del p rograma, sirve para in formar a los grupos interesados acerca de l é x i t o y las consecuencias de la i n t e r v e n c i ó n (evalua­c i ó n orientada a la responsabil idad) . Cada fase de la i n t e r v e n c i ó n Ueva asociada una act ividad general de e v a l u a c i ó n , faci l i tando que el evaluador sepa q u é accio­nes debe emprender en cada m o m e n t o del proceso. N o es necesario ejecutar todo el b loque de acciones de un m o d o m o n o l í t i c o , l o cual s u p o n d r í a una i n v e r s i ó n i m ­por tante en esfuerzo y recursos, sino que debe decidirse la tarea a realizar depen­diendo de los intereses existentes y de los objet ivos y p r o p ó s i t o s que se hayan es­tablecido (Chen , 1 9 % ) .

E l modelo se estructura s e g ú n dos ejes. E n e l eje hor izonta l se describen las actividades del proceso a lo largo de un ciclo t empora l , con la pecul iar idad de que es factible re tornar a actividades ya finalizadas en caso de que fuera necesario. E l eje ver t ical describe cada m o m e n t o de l proceso a t r a v é s de seis niveles de aná l i s i s que t ra tan de agotar las c a r a c t e r í s t i c a s o p a r á m e t r o s fundamentales del proceso de i n t e r v e n c i ó n - e v a l u a c i ó n . L a d e s c r i p c i ó n de cada fase del proceso se d e t a l l a r á en cada uno de los c a p í t u l o s correspondientes a lo largo de l l i b r o , u t i l izando dichos niveles ta l como se aclara a c o n t i n u a c i ó n .

a) Nivel de intervención social. L a i n t e r v e n c i ó n puede realizarse en dist intos momentos de la e v o l u c i ó n del problema social y de sus consecuencias. D i s ­t inguimos tres t ipos: puede dir igi rse a atajar las causas de los problemas ( i n t e r v e n c i ó n p r i m a r i a ) , a retardar su desarrol lo y reducir sus efectos (se­cundaria) , o a imped i r que se croni f iquen y aparezcan secuelas ( terc iar ia) . L a i n t e r v e n c i ó n secundaria es la que supone la verdadera ap l i c ac ión de un programa.

(apiiuhi 1 Propósitos y actividades principóles del proceso evolutivo ] i .

I>) Nivel dr u •,,;,„ ¡ón. E n cada uno de los t ipos anteriores se aplica un a n á l i -i i i l i l c i r n t c , del cual se de r ivan los elementos que la i n t e r v e n c i ó n

h a b r á de Icner en cuenta. A s í , existe una fase t e ó r i c a de e x p l i c a c i ó n de l pi nb l i m i ••'« ial antes de la i n t e r v e n c i ó n p rop iamente dicha ( q u é antece-i l i nú • i ausan q u é problemas) , una fase de e x p l i c a c i ó n del programa ( q u é .n i iv i i l iu l r " . l o g r a r á n q u é resultados) y una tercera fase de e x p l i c a c i ó n de los i inp. i i ios de la i n t e r v e n c i ó n ( q u é resultados de l programa causan q u é i I I I I S I i ni ni i.is de segundo orden) . E l aná l i s i s t e ó r i c o es útil para de t e rmi -i i . i i las v.ul i lbics causales y de resul tado relevantes en cada m o m e n t o del p i ó n - s o i i i .nulo (.ida una de estas variables se traduce en indicadores ope-rac inna le i , te e s t á en d i s p o s i c i ó n de recoger los datos necesarios para rea l i ­zar la e v a l u a c i ó n .

i ) Nivel ¡le investían ion I s el n ive l cent ra l de l m o d e l o , e l que sirve c o m o j ' i n . i p.u. i l o m a i decisiones en los restantes niveles (parte superior de la fi­r m a I ) A s í , q u é t i po de i n t e r v e n c i ó n , q u é t e o r í a , q u é act ividad o q u é m é ­todo de e v a l u a c i ó n se a p l i c a r á n , depende en cada m o m e n t o de la fase por la que t ranscuna la i n v e s t i g a c i ó n . E n el g r á f i co se inc luyen la e v o l u c i ó n del p i o b l e m a y de los esfuerzos realizados para su s o l u c i ó n a t r a v é s del p rogra ­ma o i n t e r v e n c i ó n social. D e manera e s q u e m á t i c a , la idea es que aparece un p rob l ema social, se p lani f ica una i n t e r v e n c i ó n , se pone en marcha e l programa, logrando un conjunto de efectos, los cuales a su vez producen un conjunto de impactos. F ina lmente , una vez conc lu ido el ciclo, hay que to ­mar decisiones sobre el fu tu ro a pa r t i r de l o que se ha aprendido durante e l proceso.

d) Nivel de evaluación. Recoge los seis t ipos generales de e v a l u a c i ó n , acordes con cada fase del proceso: evaluaciones de con tex to , de entrada, de proce­so, de resultados, de impac to y compara t iva . E n para le lo se establece el proceso de r e t r o a l i m e n t a c i ó n , es decir, aquellos momentos formales en que el evaluador dispone de i n f o r m a c i ó n exhaustiva sobre alguna fase de t e rmi ­nada, que s e r v i r á para que los responsables de l programa tomen decisiones sobre la a p l i c a c i ó n de l mismo. A u n q u e la c o m u n i c a c i ó n entre el evaluador y las distintas audiencias puede y debe o c u r r i r en cualquier m o m e n t o que sea conveniente, como m í n i m o el evaluador i n f o r m a r á cuando disponga de datos sobre la i m p l e m e n t a c i ó n correcta del p rograma ( func ión f o r m a t i v a ) , sus resultados e impactos ( func ión sumat iva) y sobre la eficacia del proceso en c o m p a r a c i ó n con otros casos o intervenciones similares ( func ión p o l í t i c a o adminis t ra t iva) .

e) Nivel de actividades evaluativas. Se concreta q u é actividades espec í f i cas de e v a l u a c i ó n se pueden realizar para dar cumpl ida cuenta de cada u n o de los t ipos generales de e v a l u a c i ó n descritos en e l n ive l anterior. Las actividades recogidas son s ó l o una muestra o r ien ta t iva de las m ú l t i p l e s posibi l idades de las que dispone el evaluador para su trabajo.

Capitulo 2: Propósitos y actividades principales del proceso evolutivo

f) Nivel de metodología. E l ú l t i m o n ive l apor ta i n f o r m a c i ó n sobre algunos m é t o d o s que se pueden aplicar en correspondencia con cada actividad de e v a l u a c i ó n . C o m o en el caso anterior, son s ó l o una muestra de las m ú l t i p l e s opciones disponibles, y en n i n g ú n caso d e b e r í a n coartar la l ibertad, la ima­g inac ión y la p o s i c i ó n e p i s t e m o l ó g i c a del evaluador para uti l izar el m é t o d o que resulte m á s adecuado, útil o ventajoso en cada momento .

E n conc lu s ión , e l mode lo es útil para analizar evolut ivamente la realidad so­cial y los esfuerzos planificados para in te rveni r en la misma. Desde un punto de vista s i s t émico , el sistema p o l í t i c o y adminis t ra t ivo responsable de la i n t e r v e n c i ó n , se in t roduce o se imbr ica en el sistema social en que se describe el problema. E n paralelo, los evaluadores se const i tuyen en un tercer sistema de con t ro l interrela-cionado con los anteriores, entendido el con t ro l como un concepto ampl io que i n ­cluye las ideas de r ev i s ión , m o n i t o r i z a c i ó n y v a l o r a c i ó n . Los evaluadores asumen así un r o l ex temo, un sistema de vigilancia que analiza cont inuamente q u é decisio­nes se e s t á n tomando y aporta i n f o r m a c i ó n evaluativa para mejorarlas.

i

Procedimientos diagnósticos

I iv. pn H < (liMiicnios d i agnós t i cos t ienen como objet ivo detenninar la existencia y al­cance de los problemas sociales que las polí t icas y programas p ú b l i c o s t r a t a r á n de so­lucionan < «liceo un conjunto de m é t o d o s y prescripciones de o r i en t ac ión científica paia esta laica, l í e n l e al desarrollo de programas muchas veces con base ideo lógica o electoialista |x>r parte de los partidos pol í t icos , o iniciados por las denuncias escasa­mente contrastadas que puedan realizar los medios de c o m u n i c a c i ó n o los grupos i n ­teresados. I i i def in i t iva , responde a la exigencia de que la i n t e r v e n c i ó n social se oriente a la so luc ión de problemas debidamente comprobados.

Es esencial tener i n f o r m a c i ó n precisa y fiable sobre los problemas sociales y el contexto en que la i n t e r v e n c i ó n opera, antes de que el p rograma sea d i s e ñ a d o e i m -plementado. A lgunos autores inc luyen el d i a g n ó s t i c o den t ro de las denominadas evaluaciones de contexto (Stufflebeam, po r e jemplo, o nosotros mismos), y q u i z á ser ía interesante tratar de distinguirlas, siendo el ob je t ivo de esta ú l t ima analizar y valorar el contexto social ampl io previo a la i n t e r v e n c i ó n . E l d i a g n ó s t i c o es una ac­t iv idad compleja que impl ica tareas especí f icas tales como identif icar necesidades, problemas y oportunidades de mejora, realizar un p r o n ó s t i c o de la s i t uac ión , iden­t i f icar recursos, de te rminar p r io r idades , establecer cont ingencias , etc. ( A g u i l a r , 1998; A g u i l a r y Ander -Egg , 1992). E l d i a g n ó s t i c o es una act ividad diferente de la i n v e s t i g a c i ó n t radicional sobre un problema social concreto. Tampoco se identif ica con el aná l i s i s de necesidades, aunque é s t e forme parte de l d i a g n ó s t i c o .

Es i m p o r t a n t e apreciar que los p rob lemas sociales son construcciones que responden a procesos peculiares den t ro de la d i n á m i c a de la i n t e r a c c i ó n ent re los grupos sociales. Genera lmen te , la i n t u i c i ó n de un p r o b l e m a h a r á mel la en la o p i n i ó n de los medios de c o m u n i c a c i ó n y en los c í r c u l o s p o l í t i c o s , p l a n t e á n d o s e en consecuencia la necesidad de in ic iar los esfuerzos de i n t e r v e n c i ó n . L a p a r t i c i ­p a c i ó n de l evaluador en esta fase asegura e l d i sponer de un conoc imien to m á s

56 J Pone I: Diseño de políticas y programas de intervención social

exacto y f iable sobre las c a r a c t e r í s t i c a s de l m i s m o , las situaciones en <|u aparec iendo y las personas que se ven afectadas. D e este m o d o , m e d i a n i l , I d i a g n ó s t i c o se c lar i f ica la p o b l a c i ó n o b j e t i v o y se obt iene una i n f o r m a c i ó n clave para o r i en ta r las act ividades del p rog rama .

C o n c e p t o s c lave

Evaluación de contexto. Fase i n i c i a l de l p roceso de i n t e r v e n c i ó n - e v a ­l u a c i ó n en la que se describen y va­lo r an las condiciones sociales am­pl ias q u e e n m a r c a n e l p r o b l e m a social y la p rop ia i n t e r v e n c i ó n . E n ­t re otras, inc luye las t radicionales actividades de e v a l u a c i ó n de nece­sidades y evaluaciones d i a g n ó s t i ­cas.

Teor ía del problema. H i p ó t e s i s con la cua l se i n t e n t a exp l i ca r e l o r igen de l p r o b l e m a . L a pos te r io r in te r ­v e n c i ó n i r á d i r ig ida a frenar, e l i m i ­nar o con t ro la r los factores que te­ó r i c a m e n t e causan el problema.

Problema social. L o s p r o b l e m a s so­ciales son aquellos que e s t á n sien­d o perc ib idos o v iv idos como p ro ­b l e m a p o r u n g r u p o i m p o r t a n t e de la p o b l a c i ó n , y son de f in idos median te un proceso de construc­c i ó n social ent re los dis t in tos acto­res y grupos impl icados o relacio­n a d o s c o n l a s i t u a c i ó n en q u e aparece.

Población objetivo. Sector o g rupo de la p o b l a c i ó n a la que e s t á d i r ig ido e l p rog rama y que son considera­dos usuar ios potencia les de l mis­m o .

Población de riesgo. Sector o grupo de la p o b l a c i ó n cuyas ca rac t e r í s t i c a s o c o n d i c i o n e s de v ida i n d i c a n que ex i s t e una g r a n p r o b a b i l i d a d de que resu l ten afectados p o r a l g ú n p rob l ema o s i t uac ión no deseable.

Necesidad. Es un juicio de valor que re­sulta de la c o m p a r a c i ó n entre la si­t uac ión actual de un grupo y una si­t uac ión ideal que se desea conseguir.

Evaluación de necesidades. A c t i v i d a d evaluat iva cuyo obje t ivo es descri­b i r y va lorar o pr ior izar las necesi­dades de un grupo.

Sensibilidad. Los programas deben de­sa r ro l l a r p roced imien tos para de­t e r m i n a r q u i é n e s pueden p a r t i c i ­par c o m o usuarios. L a sensibil idad es la capacidad para detectar casos que c u m p l e n las condiciones esta­b lec idas pa ra ser i n c l u i d o s en e l p rograma

Informantes clave. Los m i e m b r o s de un g r u p o que, por su p o s i c i ó n o su exper iencia , disponen de in forma­c i ó n exhaus t iva y veraz sobre los restantes m i e m b r o s , las necesida­des , v a l o r e s , d i n á m i c a s y o t r a s cuestiones del grupo relevantes pa­ra la e v a l u a c i ó n .

Capítulo 3: Procedimientos diagnósticos 57

Entrevista. T é c n i c a de recogida de i n ­fo rmac ión basada en el d i á l o g o d i ­recto entre el invest igador y cada una de las personas seleccionadas p a r a e l e s t u d i o , u t i l i z a n d o u n g u i ó n m á s o menos e s t r u c t u r a d o en f u n c i ó n de los ob je t ivos de la inves t igac ión .

Encuesta. T é c n i c a de recogida de i n ­f o r m a c i ó n masiva en la que el total de las personas seleccionadas para el estudio responden por escrito a un con jun to de cuestiones previa­mente elaboradas por los inves t i ­gadores en func ión de los intereses de la i n v e s t i g a c i ó n .

3.1. L a e v a l u a c i ó n de c o n t e x t o d e n t r o del p r o c e s o de i n t e r v e n c i ó n social

K u r t L e w i n parece ser el p r i m e r o en p ropone r que la i n t e r v e n c i ó n social debe seguir un mode lo s i s t e m á t i c o , representado po r las fases de p l a n i f i c a c i ó n , in ter ­v e n c i ó n y e v a l u a c i ó n ( v é a s e c u a d r o 3.1) , d e f i n i e n d o un proceso d i a g n ó s t i c o p r e v i o e n r e l a c i ó n con e l a n á l i s i s y d e s c r i p c i ó n de la s i t u a c i ó n p r o b l e m á t i c a . D u r a n t e esta fase es in teresante conocer e l estado de la c u e s t i ó n que resulta p r o b l e m á t i c a , las necesidades de a l g ú n sector de la p o b l a c i ó n o de un g rupo or ­ganizacional , y en general real izar un d i a g n ó s t i c o que p e r m i t a planif icar una i n ­t e r v e n c i ó n d i r i g ida a so luc ionar los p rob lemas detectados. Las actividades diag­n ó s t i c a s e s t á n descritas t a m b i é n p o r Rossi y F reeman (1989) como par te de la fase de diseño y conceptualización del programa, en la cual se estima la exten­s ión y gravedad de los p rob lemas sociales, con e l fin de d i s e ñ a r programas para aminora r los . D e f o r m a s imi la r , Stuff lebeara (1966; S tuf f lebeam y cois. , 1971) ident i f ica una fase in i c i a l de estas c a r a c t e r í s t i c a s d e n t r o de l m o d e l o C I P P (Con-text, Input, Process, Product) y, en general , en todos los denominados modelos s i s t e m á t i c o s de e v a l u a c i ó n , las ac t iv idades d i a g n ó s t i c a s ocupan una p o s i c i ó n clara den t ro de l proceso general de i n t e r v e n c i ó n , a pesar de que sean recogidas con et iquetas diferentes.

E n el c a p í t u l o anter ior presentamos los elementos de l mode lo s i s t e m á t i c o y contingente de Rebol loso y cois. (2003), caracterizado por considerar cada act iv i ­dad evaluativa como una a c c i ó n que se debe desarrollar de fo rma integrada den­t ro del proceso de i n t e r v e n c i ó n social, en paralelo con la correspondiente fase de la i n t e r v e n c i ó n propiamente dicha. E n la figura 2 .1 , incluida en el c a p í t u l o segun­do, se mostraba el proceso integrado de i n t e r v e n c i ó n social j u n t o a las actividades evaluativas adecuadas a cada fase. E n el caso de las evaluaciones de contex to , dent ro de las cuales se enmarcan los procedimientos d i a g n ó s t i c o s , el mode lo anali­za una serie de p a r á m e t r o s de i n t e r é s que resultan ú t i l e s para el mejor desarrollo de la e v a l u a c i ó n . L a figura 3.1 describe de forma m á s detallada la fase de e v a l u a c i ó n de contexto. La columna de la izquierda indica los distintos niveles de análisis u t i l i ­zados por Rebolloso y cois. (2003) para describir el modelo . A c o n t i n u a c i ó n comen­taremos brevemente cada uno de ellos.

58 Porte /. Diseño de políticas y piogromas de intervención social

Cuadro 3.1. Papel del diagnostico en el ocio de investigación-acción de K l rwm

Kurt Lewin analiza la importancia de la actividad diagnóstica en su conocido artículo de 1946 (re­producido en castellano en la Revisto de Psicología Social 1988. vol. 3: 229-240). En su opMdn, para que el esfuerzo profesional y comunrtano se convierta en acción organizada y eficiente. r \ necesario resolver tres cuestiones especificas: ¿cuál es la situación actual?, ¿cuáles son los peligros? y. lo más im­portante, /qué hacer? Es decir, necesitamos saber cuáles son los problemas que requieren solución, qué actividades podemos implantar para resolverlos y cuáles son las dificultades que puede irnjiedir el éxito de la intervención.

La actividad científica convencional no basta para resolver estas cuestiones. El propósito del cien­tífico es definir leyes generales para comprender y explicar por igual todo tipo de situaciones Sin em­bargo, de cara a la intervención social, no es suficiente conocer las leyes generales sobre un fenóme­no, ano que es necesano determinar las características peculiares de la situación especifica donde se quiere intervenir. Una cosa es saber por qué ocurre un problema, y otra diferente saber cómo resol­verlo. Lewin está proponiendo de este modo dos objetivos de investigación, igualmente imprescindi­bles, que deben afrontarse de manera coordinada:

"El conocimiento de las leyes puede servir de guia para el logro de dertos objetivos bajo ciertas condiciones. Para actuar correctamente no basta, sin embargo, que el ingeniero o el cirujano conoz­can las leyes generales de la física o la fisiología. Tienen que conocer también d carácter específico de la situación presente Este carácter « e n e determinado por una recogida científica de datos que se lla­ma diagnóstico. En cualquier campo de acción son necesarios ambos tipos de investigación científica" (Lewin. 1946/1988: 231).

Tampoco los procedimientos de diagnóstico son suficientes por sí solos para definir la interven­ción. En realidad, forman parte del cido global de la invesbgadón-acción, en el cual deben ser com­plementados con estudios comparativos de la eficacia de las diversas posibilidades de intervención disponibles. Una vez que d investigador dispone de conocimientos generales y de un diagnóstico adecuado de la situación, d proceso de planificación sigue los siguientes pasos:

I. Diseñar d plan general para alcanzar d objeto de cambio. 2 Poner en práctica el pnmer paso dd plan general. 3. Recoger datos que demuestren d nivd de logro esperado micialmente, dando a los planifica-

dores una oportunidad para aprender, planificar d siguiente paso y modificar d plan general. 4. Iniciar un nuevo ocio de planificación, ejecución y reconodmiento.

"La gestión social racional, por tanto, procede en espiral de forma que cada paso se compone de un ciclo de planificación, acción y recogida de datos sobre el resultado de la acción" (Lewin, 1946/1988:233).

En resumen, la investigación acción es una práctica de investigación social que se ocupa tanto de las leyes generales como del diagnóstico de situaciones específicas. En relación con d proceso racio­nal de toma de decisiones, la investigación en acción es un proceso reiterativo que parte de un obje­tivo general a conseguir, y se compone de las etapas de diagnóstico, planificación, acción y reconoci­miento, de tal modo que cada ocio aumenta los conocimientos y experiencias sobre el problema y la intervención, por lo que gráficamente es pertinente una figura en espiral (Alonso Amo. 1988; Argyris, I980-, Kemmis, 1981).

a) Intervención primaria. Tradic ionalmente se dis t inguen tres tipos de in ter ­

v e n c i ó n social, en r e l a c i ó n con diversos momentos en la e v o l u c i ó n de l p ro ­

blema que se pretende resolver ( S á n c h e z V i d a l , 1996). E n el caso que nos

Capitulo 3: Procedimientos diagnósticos | -

ocupa, el p rograma de i n t e r v e n c i ó n c o m o ta l no ha sido d i s e ñ a d o t o d a v í a .

Sin embargo, es el m o m e n t o en que se empieza a detectar el p rob lema so­

cia l , y ya se d e b e r í a in te rveni r con velocidad para evi tar que se extendiera

o se asentase. La i n t e r v e n c i ó n p r i m a r i a a c t ú a directamente sobre las causas

y los factores de riesgo que or ig inan el p rob lema para evitar su a p a r i c i ó n .

b) Teoría del problema. E n la fase de d i a g n ó s t i c o es impor t an te desarrol lar

modelos t e ó r i c o s al ternat ivos que exp l iquen con la mayor exact i tud posible

c u á l es el p rob lema y por q u é sucede. Toda i n t e r v e n c i ó n se fundamenta en

un conjunto de ideas p i c v u s o suposiciones que ayudan a explicar y com­

prender c ó m o funciona el p r o b l e m a . D e hecho, la mera f o r m u l a c i ó n del

p rob lema conlleva i m p l í c i t a m e n t e una h i p ó t e s i s sobre su ocurrencia y ca­

r a c t e r í s t i c a s , a par t i r de la cual se p o d r á desarrollar el modelo t e ó r i c o que

or iente y d é fundamento al p rograma de i n t e r v e n c i ó n . Igualmente , la t e o r í a

de l p rob lema a y u d a i á a l o ina i decisiones preventivas dent ro de un marco

I N t l I M N O Ó N

TEOIUZACJÓN

INVESTIGACION

EVALUACIÓN

ACTIVIDADES

Prrnaria (<S«{nos(irprTvervJon)

METODOLOGIA

EstLX&o de la aakÍKÓón de l A u a ñ o s

Análois de condiooneí

(loicas, económicas. - )

loentifcaóón de audiencias

Iderruficaaón del problema

(causas)

ruestionano Lrrtrevsta Técnicas jrupales (Ddphu.) Definioónde problemas sociales

Figura 3.1. Elementos de la evaluación de contexto.

60 I Parle I: Diseño de políticas y programas de intervención social

de i n t e r v e n c i ó n p r imar i a . E n este p u n t o es impor t an t e d is t inguí ! r u i n i . t e o r í a del p rob lema , que indica los factores que crean una siiu.it Ion I d 11| indeseada, y la pos ter ior t e o r í a del p rograma, que explica por qué d t t i m i l nadas actividades t e n d r á n c o m o consecuencia los resultados que drs< (en este caso, la mejora o d e s a p a r i c i ó n del p rob lema social).

c) Investigación sobre el problema. L a i n t e r v e n c i ó n es una actividad que se i n i I ta y procede de forma integrada dentro de la realidad sociaJ y polí t ica r n UM se desarrolla el problema. E n este sentido, los c ient í f icos se constituyen r n uno m á s de los grupos que e s t á n implicados, debido precisamente a su proal midad con el problema (Rebolloso, 1990a). E l grupo de los científ icos entTI en r e l a c i ó n con el problema mediante un p r imer anál is is de la realidad social (la e v a l u a c i ó n de contexto) , que supone t a m b i é n un pr imer contacto con el resto de grupos de stakeholders. Nuestra idea de la realidad social responde a una o r i e n t a c i ó n : multicausal, en la que m ú l t i p l e s factores e s t án determinando los distintos aspectos o situaciones que venimos a identificar como "el proble­ma"; construccionista, en la medida en que toda realidad social es fruto de un proceso de c o n s t r u c c i ó n social en el que cada grupo de interesados discute, analiza y da sentido al problema como una realidad "objet iva"; y contextúa! u holística, s e g ú n la cual el problema no puede ser analizado ignorando el con­texto social en que se produce, con todo lo que esto implica en cuanto a un mayor n ú m e r o de factores relevantes a tener en cuenta.

d) Evaluación de contexto. Las actividades evaluativas que se pueden llevar a cabo en esta fase e s t á n estrechamente relacionadas con la i n v e s t i g a c i ó n i n i ­cial sobre el p rob lema , y en general se o r i en t an a de te rmina r las condic io­nes previas y el con tex to del p rob lema . E n otras palabras, se pretende ana­lizar, comprender y p r io r i za r las "necesidades" de la p o b l a c i ó n ( e v a l u a c i ó n de necesidades) y las condiciones s o c i o e c o n ó m i c a s y po l í t i cas que enmarca­r á n al p rograma , para faci l i tar la c o m p r e n s i ó n de los problemas sociales a los que se pre tende dar respuesta, y o r i en ta r a s í la p l an i f i cac ión de l progra­ma de i n t e r v e n c i ó n .

e) Algunas actividades evaluativas especificas. Para comple ta r con é x i t o la eva­l u a c i ó n de con tex to se pueden poner en p r á c t i c a una serie de actividades espec í f i cas , entre las cuales se inc luyen los p rocedimien tos d i a g n ó s t i c o s . L a e l e c c i ó n de q u é act iv idad desarrol lar d e p e n d e r á de cr i ter ios funcionales, de eficacia, eficiencia, u t i l i dad , o cualquier o t r o que resulte de i n t e r é s , mante­n iendo una á n i m o f lexible y e c l é c t i c o , ten iendo en cuenta que son las act i ­vidades t é c n i c a s las que deben adaptarse a la rea l idad social, y no al contra­rio, para mejora r nuestra c o m p r e n s i ó n de los problemas. Rebol loso y cois. (2003) sugieren las siguientes posibi l idades:

1. Es tud io de la sa t i s f acc ión de usuarios. Se ent iende usuarios de un m o d o amp l io c o m o todas aquellas personas que reciben u n servicio po r parte de los centros de servicios sociales o de cua lqu ie r o t r a i n s t i t u c i ó n . L a

Capitulo 3: Procedimientos diagnósticos j 61 '

c u e s t i ó n es de terminar las á r e a s en que los usuarios e s t á n recibiendo un servicio defectuoso, con vistas a plantear intervenciones en consecuencia (Rebol loso, F e r n á n d e z - R a m í r e z y C a n t ó n , 2001).

2. A n á l i s i s de las condiciones en que se enmarca el problema, incluyendo los aspectos sociales, e c o n ó m i c o s , ambientales, po l í t i cos , legales, o cua­lesquiera otros que resulten pertinentes para comprender el problema dent ro del contexto social en que se produce.

3. I den t i f i c ac ión de las audiencias o stakeholders. Se entiende por stakehol­ders todos aquellos grupos de personas que e s t á n afectadas posit iva o ne­gat ivamente po r e l p rob lema. Esta act ividad es impor tan te al menos por dos razones. E n p r imer lugar, porque la de f in i c ión del problema depen­de del significado y la perspectiva que asuma cada grupo de i n t e r é s y a p r i o r i no es posible de terminar cuá l de ellas s e r á la m á s adecuada para entender y resolver el p roblema. E n segundo lugar, porque tanto el pro­b lema como la p rop ia i n t e r v e n c i ó n se en t ienden como un conjunto de supuestos y actividades que son definidas construct ivamente mediante procesos de n e g o c i a c i ó n entre las audiencias.

4. L o c a l i z a c i ó n de las causas del problema. U n a vez identificados los l ími­tes y las c a r a c t e r í s t i c a s m í n i m a s del p rob lema , es necesario de terminar c u á l e s son los factores que lo generan y los mecanismos que explican su a p a r i c i ó n . L a t e o r í a del p rob lema puede ser desarrollada a par t i r de los conocimientos disponibles en las distintas disciplinas c ient í f icas , a par t i r de las explicaciones que los propios interesados hayan desarrollado en su i n t e r a c c i ó n con e l p rob lema, o in tentando una c o m b i n a c i ó n entre ambas (Chen , 1996; L e v i t ó n , 1994).

f) Métodos de investigación útiles para la evaluación de contexto. Existe una am­plia variedad de posibles m é t o d o s aplicables en esta clase de eva luac ión , y es posible combinar de forma vál ida estrategias de í n d o l e cuantitativa y cuali tat i­va. Por ejemplo, las entrevistas en profundidad y las t écn icas grupales (Delp­hi , grupos de d i scus ión , grupos nominales, f ó r u m comuni tar io , etc.; N ú ñ e z y

' Loscertales, 1996) proporcionan in formac ión provechosa y de primera mano acerca del problema y de los factores que lo or iginan, y acerca de la perspecti­va, actitudes o experiencia de los grupos interesados. L a obse rvac ión de la? condiciones ambientales, sociales y e c o n ó m i c a s , j u n t o a la revis ión de la legis­lación vigente y el anál is is de contenidos de todo t ipo de documentos servir í ­an para completar el enmarque del problema y del fu turo programa.

3.2. P r o b l e m a s soc ia le s

Los problemas sociales no son f e n ó m e n o s que respondan a una real idad comple­tamente objet iva , sino "construcciones sociales" que emergen de los intereses y

62 Parte /: Diseño de potrócas y programas de intervención socio/

valores de la sociedad y de las personas que t ienen i n t e r é s en ellos. Sin embargo, en el caso de los esfuerzos para t ra tar con la m a y o r í a de los problemas sociales, se requiere conocimiento sobre el p rob l ema y los hechos de l pasado que han inc id ido en é l . Se precisa una i n f o r m a c i ó n evaluat iva de g a r a n t í a (vá l ida y fiable) como ba­se sobre la cual se construyan las intervenciones. Tomemos el caso de la i nmig ra ­c i ó n . L a i n m i g r a c i ó n no es en sí misma u n p rob lema , sino un f e n ó m e n o sociode-m o g r á f i c o , un flujo de personas que traslada su residencia y su proyec to vi ta l a u n lugar lejano. Los inmigrantes suelen quejarse de ser recibidos con actitudes nega­tivas y comportamientos d iscr iminator ios por par te de la p o b l a c i ó n a u t ó c t o n a . E l p rob lema es, por tanto, que existe p re ju ic io o racismo. Sin embargo, la p o b l a c i ó n a u t ó c t o n a se queja a menudo de que los inmigrados t raen costumbres e x t r a ñ a s y no respetan los valores y normas de c o m p o r t a m i e n t o de l lugar. E l p rob lema es en­tonces que no realizan un esfuerzo suficiente po r integrarse. E n def in i t iva , cada g rupo construye su prop ia v e r s i ó n del p rob lema .

Para considerar la existencia de un p rob lema social , es necesario atender a una serie de c a r a c t e r í s t i c a s (Sul l ivan et al., 1980): consenso elevado sobre c u á l es el p rob lema; i den t i f i c ac ión de los grupos sociales con intereses en la d e f i n i c i ó n y en la s o l u c i ó n de l p rob lema, i m p l i c a c i ó n de los valores sociales que de te rminan la re­levancia de la c u e s t i ó n y un c a r á c t e r p ú b l i c o , extenso, fuera de la ó r b i t a de l o p r i ­vado e ind iv idua l . L a de f in i c ión del p rob lema social nace del conf l ic to de in tere­ses, p o l í t i c o p o r naturaleza, y s ó l o l lega a expresarse cuando unos convencen a otros de la existencia de condiciones p r o b l e m á t i c a s o injustas. S ó l o a s í el p rob lema l l e g a r á a entrar en las agendas po l í t i c a s ( G e m e n t e , 1992). Por tanto, la capacidad para def inir la existencia de un p rob l ema social t iene que ver con la au tor idad que obtenga un grupo de i n t e r é s concreto (Sul l ivan et al., 1980).

L a de f in ic ión del p rob lema es el organizador p r i m a r i o de la i n t e r v e n c i ó n , y to ­das las fases que siguen en el proceso p o l í t i c o y evaluador se e s t r u c t u r a r á n , al me­nos en parte, en func ión de la misma (Mad i son , 2000). L a de f in i c ión t e n d r á como base las presunciones acerca de las causas que p rovocan y sustentan el p rob lema ( t e o r í a del p rob lema) , s e ñ a l a n d o q u é compor tamien tos concurren y c u á l e s necesi­tan evitarse. E n el ejemplo anterior, se d e s a r r o l l a r á n programas de r e d u c c i ó n del pre ju ic io ( c a m p a ñ a s de i n f o r m a c i ó n , convivencia escolar, cambio de actitudes) en el p r imer caso, o programas para acelerar la i n t e g r a c i ó n (aprendizaje del id ioma , las costumbres o las leyes locales) en el segundo. A u n q u e el acierto en las presun­ciones es dudoso (puesto que no responde a n i n g ú n aná l i s i s exhaustivo y desinte­resado de la s i t u a c i ó n , sino a la v i s ión de una de las partes), apor ta seguridad co­m o de f in i c ión of ic ia l manten ida por e l g rupo y sintet iza los intereses que t iene tan to en la r e d u c c i ó n como en la c o n t i n u a c i ó n del p rob lema.

E n muchas ocasiones las in tervenciones p roceden c ó m o si se comprend ie ra b ien cuá l es el problema y c u á l e s son sus soluciones. Incluso se llega a def inir i n ­correctamente el problema en t é r m i n o s de soluciones. Por e jemplo, muchos p ro ­cesos de aná l i s i s organizacional concluyen que el p rob lema es la falta de recursos, lo que en real idad ser ía una posible s o l u c i ó n para u n p rob lema que queda sin def i -

Capruilo 3: Procedimientos diagnósticos

,,,, axplfci lamente. E l aumento de recursos se convier te así en la so luc ión para to-d M l o s |>ioblemas, y los responsables de los programas de mejora se centran ex-, luMviimente en lograr la con t inu idad de la s i t u a c i ó n p r o b l e m á t i c a a t r a v é s de la a m p l i a c i ó n de los fondos, reforzando el statu q u o y l i m i t a n d o las oportunidades

realizar cambios sustanciales. Para evitar esta p r á c t i c a , Kettner , M o r o n e y y M . i i t i n ( l ' ? ) ' ) ) sugieren que el aná l i s i s del p rob lema d e b e r í a centrarse en la c o m -p i c n s i ó n del m i s m o , y no en las soluciones, e i n t r o d u c i r nuevas perspectivas l ibres ,lt . i M i i n e s previas sobre el funcionamiento de los programas existentes.

I I a n á l i s i s de los problemas sociales como c o n s t r u c c i ó n requiere asumir, al menos i o i n o obje t ivo opera t ivo , un enfoque construccionista. Esta perspectiva es m u i I I .MIV.I al c lás ico paradigma posit ivista respecto a tres asunciones b á s i c a s ((¡ t i l ia y L i n c o l n , 1989):

• N o r m s t r n ir. ib, lacles objetivas (posi t ivas) , s ino construcciones mentales, un l indas las supuestas leyes que pretende la ciencia.

• I a m i , '.tti'.u i on emerge y es un p roduc to de la i n t e r a c c i ó n entre investiga-d o i r inves t igado , y no tiene sentido la d i s t i n c i ó n sujeto-objeto, pues e l " ó b ­l e l o ,le la u ivrs i i g i i i ion es un "sujeto" que par t ic ipa activamente en el p ro ­ceso ile i oi i .ti mi el [ e s t i l l a d o c i e n t í f i c o .

• Frente al m é t o d o exper imenta l , se intenta aprovechar la i n t e r a c c i ó n para crear nuevas construcciones m á s sofisticadas y acertadas. E n cierto m o d o , la e v a l u a c i ó n crea o construye la rea l idad en lugar de meramente descu­br i r l a . Las distintas construcciones (puntos de vista) de cada grupo depen­de de sus valores e intereses, de ta l m o d o que e l resultado de la e v a l u a c i ó n d e p e n d e r á de q u é valores se c o n s e n s ú e n durante el proceso de investiga­c ión , conver t ido en un proceso de n e g o c i a c i ó n , m á s que de descubrimiento.

E n los medios po l í t i co s , po r e jemplo, se ut i l iza el concepto de calidad de vida como un obje t ivo deseable, a par t i r del cual se pueden de te rminar las necesidades y logros comuni ta r ios . Sin embargo , existen p rob lemas sobre e l s ignificado del concepto y la impor tanc ia re la t iva de las dimensiones objet iva y subjetiva asocia­das al mi smo (Blanco , 1985; Casas, 1990). La i n v e s t i g a c i ó n psicosocial muestra có ­mo , en condiciones a p r i o r i rechazables, las personas son capaces de adaptarse y apreciarlas como mejores de l o que pudieran parecer. N o obstante, esto no debe inducirnos a e n g a ñ o y hacernos caer en un re la t iv i smo ex t remo que legi t ime cual­quier s i t u a c i ó n ; s e r í a deseable satisfacer ciertos cr i ter ios objet ivos m í n i m o s , a par­t i r de los cuales considerar e l concepto de cal idad de vida en t é r m i n o s estricta­mente subjetivos (Blanco , 1985).

L a ident i f icac ión de los stakeholders es una tarea inicial fundamental del proceso de i n t e rvenc ión y e v a l u a c i ó n , pues los objetivos y actividades del programa y de la e v a l u a c i ó n se dir igen a resolver sus quejas, intereses o problemas de i n f o r m a c i ó n . Guba y L inco ln (1989) asignan al evaluador el r o l de elicitar y confrontar el discurso sobre el problema social de los distintos tipos de stakeholders, generando consensos

64 Porte /: Diseño de potincas y programos de intervención social

negociados. Generalmente, los primeros que identifican los problemas sociales M U Í los l íderes morales y pol í t icos y otras personas que tienen intereses en los p iogmin •-. (stakeholders), pero los evaluadores tienen un r o l esencial a la hora de definu In un turaleza, t a m a ñ o y d i s t r i b u c i ó n del p rob lema a t r a v é s del uso de procedimiento! diagnóst icos s i s t emá t i cos y reproducibles. Guba y L i n c o l n (1981) distinguen t i c . | | pos de grupos interesados en la e v a l u a c i ó n : los responsables de planificar e Impli mentar el programa, los beneficiarios, o personas que sacan a l g ú n provecho del pro grama, y las v í c t i m a s , o personas que se ven afectadas de alguna manera poi 11 objeto, incluyendo aquellos grupos que quedan relegados en la i n t e rvenc ión , que su fren efectos colaterales negativos, o que pierden oportunidades en t é m ú n o s de a u n petencia. Cook (1984) distingue entre cinco tipos de stakeholders, cada uno de Irw cuales tiene intereses propios y peculiares en el problema y en el programa: políiii i | y administradores del programa, gestores de los programas, trabajadores (practh lo ners), clientes del proyecto y a c a d é m i c o s . Tan to los po l í t i cos como los evaluadores forman en sí mismos dos grupos de stakeholders que t ienen intereses concretos en I H fo rmac ión , mantenimiento y so luc ión de los problemas (la continuidad de su rol en la admin i s t r ac ión pol í t ica depende de la existencia de problemas sociales que resolver), de tal m o d o que su o p i n i ó n sobre los problemas sociales objeto de la in t e rvenc ión t a m b i é n puede ser sospechosa de parcialidad. Por el lo , es recomendable incluir en el análisis d i a g n ó s t i c o (y en otras fases del proceso evaluativo) la o p i n i ó n y los valores de múl t ip l e s grupos de stakeholders, fundamentalmente los miembros de la comuni­dad en desventaja (Casas, 1990). D e este modo , se asegura que la pol í t ica social se formula para solucionar problemas especí f icos , y no como parte de un juego de inte­reses pol í t icos o de inves t igac ión .

3.3. M é t o d o s d i a g n ó s t i c o s

Para identif icar y def in i r los problemas sociales se u t i l i zan una var iedad de proce­dimientos. Los indicadores sociales disponibles pueden p roporc iona r i n f o r m a c i ó n sobre tendencias h i s t ó r i c a s relevantes para la i n v e s t i g a c i ó n . Las encuestas con i n ­formantes clave, e l estudio de los registros de las agencias, encuestas, censos co­muni tar ios y las evaluaciones de necesidades son formas comunes de aproxima­c ión a la i d e n t i f i c a c i ó n de u n p rob lema social . Veamos a c o n t i n u a c i ó n algunos m é t o d o s d i a g n ó s t i c o s interesantes.

3.3.1. Evaluaciones proactivas

Se denomina as í a un t i po de evaluaciones orientadas a buscar i n f o r m a c i ó n que sirva para la c r e a c i ó n de u n nuevo programa o para la m o d i f i c a c i ó n radical de un programa existente ( O w e n y Rogcrs, 1999). L a a t e n c i ó n de l estudio se centra en el contexto en el que se d e s a r r o l l a r á el p rograma o en contextos similares en otros

Capitulo 3: Procedimientos diagnósticos 65

lugares. A d e m á s de determinar y pr ior izar las necesidades del programa, los resul­tados ayudan a establecer pr ior idades entre los potenciales beneficiarios, a formar y dis tr ibuir al personal, a elegir la mejor l oca l i zac ión para la i m p l e m e n t a c i ó n o a distr ibuir los recursos disponibles. Los destinatarios de la i n f o r m a c i ó n son las per­sonas que p a r t i c i p a r á n en la p l an i f i cac ión del programa.

3.3.2. Análisis de problemas

E n ocasiones se confunde el problema con las condiciones sociales en que aparece. Como vimos en un e jemplo anterior, la i n m i g r a c i ó n no es un problema sino una condic ión o un f e n ó m e n o social. Se vuelve un problema cuando a lgún grupo inte­resado lo define como negativo o perjudicial , r a z ó n por la cual es especialmente importante darse cuenta de cuá l es el grupo que es tá defendiendo lo que resulta p r o b l e m á t i c o . Ket tner , M o r o n e y y M a r t i n (1999) p roponen un sencillo esquema de trabajo para realizar el aná l i s i s de un problema social. Se trata de una lista de nue­ve preguntas ú t i les para obtener una d e s c r i p c i ó n exhaustiva de las ca rac t e r í s t i ca s , el contexto, los grupos implicados y las causas del problema. Las preguntas son:

• ¿ C u á l es la naturaleza de la s i t u a c i ó n o c o n d i c i ó n social, teniendo en cuenta los puntos de vista de todos los gTupos posibles?

• ¿ C ó m o se e s t á n def in iendo los t é r m i n o s del p rob lema , evi tando que las pa­labras s ignif iquen cosas distintas para diferentes grupos de personas?

• ¿ C u á l e s son las c a r a c t e r í s t i c a s de las personas que v iven la s i t u a c i ó n o con­d i c i ó n social? A s í , todos los grupos impl icados pueden ser identif icados y tenidos en cuenta en la p l an i f i cac ión de una posible i n t e r v e n c i ó n .

• ¿ C u á l es la magn i tud y la d i s t r i b u c i ó n de la s i t u a c i ó n ? , es decir, ¿ c u á n t a s personas e s t á n afectadas y cuá l es su d i s t r i b u c i ó n g e o g r á f i c a ?

• ¿ Q u é valores sociales e s t á n siendo amenazados por la existencia de la con­d ic ión social descrita? Se t rata de saber c ó m o r e a c c i o n a r í a n las personas an­te la existencia de la c o n d i c i ó n . Son especialmente relevantes las opiniones de la comunidad , de sus l í d e r e s , de los medios de c o m u n i c a c i ó n y de otros grupos que tengan una especial i m p l i c a c i ó n .

• ¿ H a s t a q u é p u n t o se reconoce la existencia de la s i t u a c i ó n ? D e este m o d o , se puede estimar el apoyo potencial con que c o n t a r í a una eventual in terven­c ión , desarrol lando c a m p a ñ a s de c o n c i e n c i a c i ó n en caso necesario.

• ¿ Q u i é n define la c o n d i c i ó n social como un problema? C o m o m í n i m o son de esperar tres posiciones: el g rupo o grupos que def inen la s i t u a c i ó n como p r o b l e m á t i c a , los que no t ienen una o p i n i ó n formada al respecto y los que se oponen a las iniciat ivas para cambiar la s i t u a c i ó n .

• ¿Cuá l es la e t io logía del problema? Los problemas sociales son multicausales y, por lo tanto, difíciles de explicar, si bien la posible in t e rvenc ión requiere nece­sariamente contar con una idea sobre los factores causales m á s relevantes.

t 66 Porte /. Dueño de polhkas y programas de intervención social

• ¿ E x i s t e n consideraciones é t i c a s o de g é n e r o ? Su impor tanc ia proviene de la especial sensibilidad actual hacia los grupos sociales incluidos en estas cate­g o r í a s , lo cual recomienda ser considerado y evitar que la i n t e r v e n c i ó n so­cial pueda afectarles o ser ella misma afectada de forma negativa.

3.3.3. Evaluación de necesidades

L a e v a l u a c i ó n de necesidades es una fo rma de inves t i gac ión social aplicada que t ie­ne por objeto identif icar y pr ior izar las necesidades existentes en un á m b i t o deter­minado , o r i e n t á n d o s e a la toma de decisiones en r e l a c i ó n a la d i s t r i b u c i ó n de recur­sos, la p lan i f i cac ión y el d i s e ñ o de intervenciones ( M c K i l l i p , 1987, 1998; Reviere et aL, 1996; W i t k i n y A l t s c h u l d , 1995). Exis te u n to ta l acuerdo a la hora de def in i r la e v a l u a c i ó n de necesidades tomando c o m o referencia el proceso de e v a l u a c i ó n e i n t e r v e n c i ó n social c o m o una de sus fases, momen tos o tareas iniciales, previas al d i s e ñ o y desarrol lo de las intervenciones (Rossi y Freeman, 1989; Stufflebeam y Shinkf ie ld , 1987). Su p r inc ipa l p r o p ó s i t o es recopi la r i n f o r m a c i ó n acerca de las ne­cesidades existentes con objeto de decidi r c u á l e s van a ser obje to de i n t e r v e n c i ó n p r io r i t a r i a . Por tanto, n o se l im i t a a describir los problemas existentes, s ino que imp l i ca a d e m á s valorar su impor tanc ia o gravedad a t r a v é s del establecimiento de pr ior idades ( W i t k i n , 1994), de te rminando asimismo los problemas de solapamien-tos, conflictos po l í t i co s o dificultades de c o o r d i n a c i ó n entre agencias que ofrecen servicios relacionados c o n la mi sma necesidad. M c K i l l i p (1998) subraya los si­guientes aspectos: la e v a l u a c i ó n de necesidades se centra en el aná l i s i s de los p ro ­blemas que afectan a de te rminado g rupo o p o b l a c i ó n , es decir, en las necesidades sociales frente a las de c a r á c t e r i nd iv idua l ; puede ser definida como una f o r m a de i n v e s t i g a c i ó n social aplicada, ya que u t i l i za la m e t o d o l o g í a de las ciencias sociales como base para la iden t i f i cac ión y p r i o r i z a c i ó n de los problemas existentes en e l á m b i t o analizado; y po r ú l t i m o , el p r o p ó s i t o de este t ipo de e v a l u a c i ó n es p ropor ­cionar i n f o r m a c i ó n ú t i l para la p l an i f i cac ión de po l í t i c a s sociales y programas de i n t e r v e n c i ó n que incidan sobre las necesidades pr ior i ta r ias identificadas y p romue­van cambios sociales.

Las necesidades son conceptos normat ivos que v a r í a n en f u n c i ó n del contexto social, p o l í t i c o y e c o n ó m i c o . Por e jemplo , las necesidades de asistencia sanitaria en la p o b l a c i ó n han var iado s e g ú n se desarrol laba el concepto de salud a l o largo de l siglo pasado. Las necesidades pueden def inirse de manera j e r á r q u i c a , aten­d iendo a las pr ior idades , deseos o expectativas que aparecen cuando las personas han superado de te rminado nivel de v ida , o a pa r t i r de u n n ive l de exigencias bás i ­cas deseables en cualquier á r e a de i n t e r é s v i t a l (salud, s i t u a c i ó n social, emociona l , etc.) (Maslow, 1954). L o impor tan te es su papel i n t e rmed io dent ro de l proceso de p l an i f i c ac ión , entre la de f in i c ión de l p rob l ema social y la puesta en marcha de un servicio o una i n t e r v e n c i ó n . Sirven para t raduci r el p rob lema social a unos t é r m i ­nos relevantes para la v ida de las personas, y o r ien tan ¡as l í n e a s de a c t u a c i ó n de

Cop/tulo 3: Procedimientos diagnósticos \ ..

| o | ! „ , , , , „ , , la < i r a c i ó n de servicios e spec í f i cos (Kettner , M o r o n e y y

M u l t a , l f H ) . , . . I ,, | | r . i l l i l , la e v a l u a c i ó n de necesidades tiene tres fases, similares a las de

( „ , ! , ! „„ , proyi Iti di Inves t igac ión de e v a l u a c i ó n . L a fase inicial de p lan i f i cac ión ,1, | , i i u d l n i I( finii un plan de trabajo que incluya la definición de los obje-„ V 1 1 . y a | | Ii ii . 1 . K los m é t o d o s de i n v e s t i g a c i ó n que se u t i l i za rán y los usos _o, , id lo ., . .liados. E n la siguiente fase se recoge la i n f o r m a c i ó n necesa-, , , i |o di oblenei datos sobre el estado actual y la s i tuac ión deseada. E n la ,,,,, , , i , . < p n o i i / a i i las necesidades detectadas y. en su caso, se d i s e ñ a , „ , . , , i , | . . i i i i reducirlas. A l g u n o s de los siguientes errores ocurren con l , r , , , , • „ , , Upo de estudios (Owens y Rogers , 1999; W i t k i n y A l t s c h u l d , 1995) , i . . ... . ...Lides con soluciones, no concretar el estado que se quiere , l , , , din ( i . l a de i n f o r m a c i ó n a un solo m é t o d o de i n v e s t i g a c i ó n ,

,1, l i n i i ii i n I I I I I H un I»-, necesidades o negar asistencia a los grupos que necesi­tan la i n l e i v r i n ion dr maneta m á s urgente.

3.3.4. HeviMi'.fi d r invrstli;,it iones

Se t r a í a di iprOVI I h U I M nMUitldOI de investigaciones previas relevantes para el proMomi dk I Itudlo v qUI M am u r n t r a n publicadas en diversos medios de d i fu ­s ión (COOptr, 1904; Ne i i in i in , l 'WV) I ' idea bás ica es que el conocimiento dispo­nible a p a i l u de i n v r M i g >nrs l iguiosas se apioveche en la e l a b o r a c i ó n de po l í t i ­cas y pioi ' . iainas dr in te iveni ion El i n é l o d o de trabajo es la rev i s ión de l i te ra tura , aunque la b ú s q u e d a no debf redui use a los informes aparecidos en revistas c ien t í ­ficas. Las bases de dalos disponibles en la r ed y en formatos e l e c t r ó n i c o s son una ayuda Indispensable. La r ev i s ión se inicia con la d e m a r c a c i ó n del á r e a de b ú s q u e ­da (palabras clave), sigue con la v a l o r a c i ó n de la ca l idad de cada trabajo, la inter­p r e t a c i ó n e i n t e g r a c i ó n de resultados y finaliza con la e l a b o r a c i ó n de un in fo rme que ofrezca una d e s c r i p c i ó n e i n t e r p r e t a c i ó n razonada del campo de estudio r ev i ­sado. Smal lwood y H u r w o r t h (1998) recomiendan que el revisor sea f lexible al va­lorar la c o n t r i b u c i ó n potencial de cada trabajo, u t i l i zar estudios de m e t a - a n á l i s i s , s ín tes i s de investigaciones y b ib l i og ra f í a s anotadas, consultar fuentes de in fo rma­c ión variadas (por e jemplo, informes no publ icados , debates p o l í t i c o s ) y def in i r cri terios para de terminar la calidad de los trabajos encontrados. A d e m á s de l resu­men de los principales conocimientos, el i n fo rme de r ev i s ión d e b e r í a inc lu i r una d e s c r i p c i ó n cr í t ica del estado de la i n v e s t i g a c i ó n , sin dejar de s e ñ a l a r aquellas á r e ­as concretas de i n t e r é s en las que la l i te ra tura no tenga nada que decir.

3.3.5. Revis ión de las mejores p r á c t i c a s (benchmarking)

E l benchmarking se define como un proceso continuo de medida y c o m p a r a c i ó n que util izan las organizaciones para adoptar las p rác t i cas que se consideran excelentes en

68 J Porte /; Diseño de políticas y programas de ¡nterverrc¡ón socio/

su sector de ac tuac ión , por ejemplo las que desarrollan las organizaac >m c llden I | sector (Cross e Iqbal , 1994; Sharp, 1994). E l proceso se d ivide en dos fases difi

das: el e sub ledmien to de benchmarks y la ap l icac ión de los mismos para oriaoUl | proceso de cambio y mejora. E n pr imer lugar se localizan los casos de prác t icas r x i r lentes, aplicando m é t o d o s inductivos para determinar sus carac te r í s t i cas conum. I los principios de acc ión subyacentes. Estos elementos centrales se operativizan r n un conjunto de indicadores (benchmarks) que sirven para definir planes de ac tuac ión y registrar los resultados obtenidos en su i m p l a n t a c i ó n . D e este modo, la organi / . i . lófl establece sus objetivos de mejora y puede analizar el progreso hacia los mismos COffl p a r á n d o s e con l o que se considera la p rác t i ca excelente. Los benchmarks son las va riables de c o m p a r a c i ó n , y sus niveles son los hitos que se espera conseguir en el pro ceso de mejora. Evidentemente, el é x i t o de esta actividad depende de la capacidad para traducir las buenas p rác t i cas en indicadores significativos como mecanismo di­ges t ión dent ro de la o r g a n i z a c i ó n ( O w e n y Rogers, 1999).

3.4. S e l e c c i ó n d e l a p o b l a c i ó n ob je t i vo

Muchos problemas en la i m p l e m e n t a c i ó n de un programa se deben a dificultades pa ra d i r ig i r lo a la p o b l a c i ó n realmente necesitada, m á s que a problemas para entender c ó m o poner lo en p rác t i ca (Bickman, 1987a). C o h é n y Franco (1993) definen la po­b l ac ión objet ivo como el conjunto de las personas que t ienen en c o m ú n a lgún atribu­to , carencia o potencial idad que se pretende remediar o potenciar con la interven­c ión . E n todo el proceso de i n t e r v e n c i ó n son cruciales las definiciones precisas y adecuadas de los problemas y de las poblaciones de referencia, desde la planif icación inicial en todas las fases de la i m p l e m e n t a c i ó n del programa. Los objetivos pueden ser personas, grupos, á r e a s geográ f icas , o unidades físicas, y pueden estar definidos como objetos directos o indirectos de la i n t e r v e n c i ó n . L a se l ecc ión de la p o b l a c i ó n de referencia implica: una def in ic ión clara de las unidades objet ivo, decidir si los objeti­vos han de alcanzarse directa o indirectamente, estimar el t a m a ñ o ( n ú m e r o ) y distri­b u c i ó n de los objetivos, establecer las reglas de inc lus ión y exc lu s ión como parte de la def in ic ión del objet ivo y comprender las necesidades desde varias perspectivas.

3.4.1. Def in ic ión

E n ocasiones, la de f in i c ión de la p o b l a c i ó n ob je t ivo se plantea en t é r m i n o s vagos y amplios para ganar en f lex ib i l idad y no restr ingir innecesariamente el t i po de per­sonas que pueden sol ic i tar servicios de l programa. A d e m á s existen una serie de problemas (Freeman y Sherwood, 1970) de t i p o é t i c o , c o m o el asociado a la def in i ­c i ó n de la p o b l a c i ó n en t é r m i n o s de severidad del p rob lema, dejando fuera a perso­nas que no alcanzan c ie r to grado de severidad y sin embargo pueden necesitar ayu­da; o problemas administrat ivos, como los relacionados con la toma de decisiones

Copitulo 3: Procedimientos diagnósticos

que realiza la plant i l la que atiende directamente a la p o b l a c i ó n que solicita ayuda. En cualquier caso, puede ser conveniente redefinir la p o b l a c i ó n objetivo una vez iniciado el programa, con vistas a alcanzar a un mayor n ú m e r o de personas. La co­rrecta especi f icac ión de los objetivos e s t a b l e c e r á fronteras apropiadas, de manera que la i n t e r v e n c i ó n alcance correctamente la p o b l a c i ó n de referencia y sean facti­bles de aplicarse. Los planificadores del programa d e b e r í a n seleccionar la pobla­ción de referencia de forma que maximizara la sensibilidad y especificidad. Se de­be r í an hacer esfuerzos para evitar la s o b r e i n c l u s i ó n y la in f ra inc lus ión , tratando de que los recursos invert idos en el programa se ajusten al n ú m e r o de personas a las que va d i r ig ido y a sus necesidades. E n general se distingue entre las personas que r e s u l t a r á n beneficiadas directa e indirectamente por el programa. Ent re los benefi­ciarios indirectos se d is t inguen a d e m á s los l e g í t i m o s de los i l eg í t imos ( C o h é n y Franco, 1993), en cuanto que no son beneficiarios directos de la i n t e r v e n c i ó n , pero su inc lus ión concuerda con el e s p í r i t u de la misma, frente a quienes se benefician a pesar de que no sufren una s i t uac ión de desventaja. T a m b i é n incluyen el concepto de "beneficio p ú b l i c o " , en cuanto que la nueva s i t uac ión que promueve la inter­venc ión supone a lgún beneficio espec í f ico para la sociedad en su conjunto.

3 .4 .1 Conceptos

En t r e los conceptos importantes util izados para seleccionar los objetivos del

programa figuran (Rossi y Freeman, 1989):

a) Incidencia y prevalencia. L a incidencia se refiere a la cantidad de casos nuevos que aparecen con un problema particular en un á r e a y durante un p e r í o d o es­pecíf ico. La prevalencia es un concepto m á s general, definido como el n ú m e r o total de casos del problema que existen en un á r ea y durante un p e r í o d o espe­cífico. L a prevalencia indica la ex t ens ión del problema antes de que el progra­ma comience. A n t e problemas sociales diferentes i n t e r e s a r á definir la pobla­c ión objetivo en función de uno y o t ro de los conceptos.

b) Población de riesgo. E l concepto hace referencia a las personas que t ienen probabi l idad de comenzar a sufrir a l g ú n problema o c o n d i c i ó n no deseada. Evidentemente , no todos d e s a r r o l l a r á n el p rob lema, por lo que la def in i ­c i ó n de la p o b l a c i ó n ob je t ivo en t é r m i n o s de riesgo impl ica incluir a perso­nas que nunca n e c e s i t a r á n el t ra tamiento .

c) Sensibilidad y especificidad. Son dos conceptos inversamente relacionados en­tre sí, vinculados con la ident i f icación corTecta de los usuarios potenciales del programa (Rossi y Freeman, 1989). La sensibilidad es la capacidad para de­tectar casos que cumplen las condiciones establecidas para ser incluidos en el programa (por ejemplo, v iv i r en condiciones de infravivienda en re lac ión ron un programa de realojamiento), mientras que la especificidad es la capacidad para rechazar los casos que no cumplen dichas condiciones. Generalmente

70 Porte /: Diseño de políticas y programas de intervención social

debe tomarse una dec i s ión sobre cuá l de las dos medidas prcfieri Optimizarse, porque en ocasiones es m á s importante acertar a localizar el m á x i m o de per­sonas que sufren una c o n d i c i ó n p r o b l e m á t i c a , a ú n a costa de i | u r reciban el programa un n ú m e r o elevado de personas que en realidad no lo necesitan, por ejemplo cuando se trata de salvar vidas humanas.

d) Necesidad y demanda. E l t é r m i n o "necesidad" es generalmente def inido co­mo "un ju i c io de valor acerca de la existencia de un problema que afecta a un g rupo detenninado y puede ser resuelto" ( M c K i l l i p , 1WH: 263), e implica la c o n s t a t a c i ó n de una discrepancia entre la s i tuac ión actual del grupo y una s i t u a c i ó n ideal deseable ( K a u f m a n e E n g l i s h , 197'); W i i k i n y A l t s c h u l d , 1995). E n función de q u é grupo define las necesidades y el cr i ter io de compa­rac ión , es posible diferenciar cuatro tipos de necesidades (Bradshaw, 1972): las necesidades normativas son las establecidas por profesionales y expertos en un á r ea específ ica de intereses; las necesidades peicibidas son las ident i f i ­cadas por los propios afectados, las necesidades expresadas son las que se ma­nifiestan mediante la acc ión (por ejemplo, a t r a v é s de la ut i l ización o deman­da de programas y servicios) y las necesidades relativas son las definidas por c o m p a r a c i ó n con otras poblaciones de ca rac te r í s t i cas similares. E n contextos p o l í t i c o s , adminis t ra t ivos y empresariales es frecuente el uso de t é r m i n o s que, aunque son p r ó x i m o s al concepto de necesidad, no deben ser empleados de un modo indist into, ya que hacen referencia a realidades claramente dife­renciadas. Es el caso, po r e jemplo, del concepto de "demanda", con el que suele denominarse a la pe t i c ión expresa de acciones orientadas a la satisfac­c ión de una necesidad o un deseo. A u n q u e algunas necesidades son expresa­das a t r a v é s de demandas, no siempre existe una to ta l equivalencia entre am­bas. N o todas las necesidades son percibidas por los propios individuos que las presentan (necesidades no expresadas o latentes), n i todas las necesida­des percibidas son manifestadas c o m o demandas ( C h a c ó n , 1989; C h a c ó n , B a r r ó n y Lozano , 1988). Por o t r o l ado , t ampoco todas las demandas se or ientan a la cobertura de necesidades, buscando en ocasiones la sa t i s facc ión de deseos que se encuentran m á s al lá del n ive l adecuado o satisfactorio al que hace referencia este ú l t i m o concepto. L a d i fe renc iac ión y correcto uso de ambos t é r m i n o s es, por tanto, imprescindible para su apropiada identifica­ción y eva luac ión .

e) Estimaciones. Guardan r e l a c i ó n con la necesidad de demostrar que la exis­tencia de un problema realmente merece el esfuerzo de i n v e r s i ó n que su­pone la c r e a c i ó n de un programa de i n t e r v e n c i ó n social; por e jemplo , anali­zando la e x t e n s i ó n del p rob lema en func ión de diferentes grupos sociales (por rangos de edad, g é n e r o , n ive l de ingresos, residencia, etc.), de tal mo­do que se puede estimar m á s ajustadamente q u i é n e s s e r á n los destinatarios de una potencial i n t e r v e n c i ó n . Evidentemente , la c u e s t i ó n puede plantear­se en t é r m i n o s de coste-beneficio, en la medida en que el p rob lema social sea suficientemente grave o extenso para iniciar el programa.

Capitulo 3: Procedimientos diagnósticos j 7 1

3.S. M é t o d o s p a r a ident i f i car la p o b l a c i ó n o b j e t i v o de l p r o g r a m a

Para especificar e l L u n a d o y la d i s t r i buc ión de un problema, los evaluadores deben recoger y analizar d a l o s , . 1 . . . r . l i u les de muchas fuentes. Puesto que con frecuencia la in fo rmac ión n e c e a n < stá . I • -.j ble directamente, es frecuente que empren­dan o contraten su pmpi . i i nves t igac ión social, incluidas las entrevistas con infor­mantes clave-., estudios dr i r g i s i r o s de la agencia, encuestas y censos, evaluaciones de necesidades y evaluai nui l s i mil i t i i t ivas de necesidades. Cada una de estas fuen­tes tiene sus usos v l u m i a , iones |><>i r j emplo , las entrevistas con informantes clave pueden ser i r l a i i v a m e n i i b a i a t a s v de l á n l e j e cuc ión , pero son de dudosa fiabilidad; las eviiluac iones i ii . i ln.tiiv.i-. ,lc nc i c sul . ic lrs pueden proporcionar intuiciones de los

mecanismos snbyac entes n los problemas sociales, pero necesitan ser complementa­das con m e d i d a s i uanlilattvas ya que r l d i s e ñ o y la i m p l e m e n t a c i ó n del programa demandan i n f o r m a c i ó n m á s precisa. Algunas t é cn i ca s ú t i l es en la e s t imac ión del ob­jetivo se i n ogeii en los a paitados siguientes (Rossi y Freeman, 1989).

3.5.1. Entrevistas con informantes clave

I oí iiilorrnantes clave son aquellas personas que, por su pos ic ión o estatus dentro del supo, pueden facilitar i n fo rmac ión clave para identificar o criticar la def in ic ión del problema, la necesidad o la p o b l a c i ó n necesitada. Se espera obtener i n f o r m a c i ó n de primera mano y de forma sencilla y r á p i d a , siempre que tengan realmente una vis ión acertada y no sesgada del problema. Se requiere del informante que conozca bien a la comunidad y que tenga caracter ís t icas para convertirse potendalmente en l íder de la m i s m a . Por ejemplo, en un estudio con p o b l a c i ó n inmigrante , Rebolloso y H e r n á n ­dez (2003) entrevistaron a un n ú m e r o reducido de representantes del colectivo ma-grebí , buenos conocedores tanto de las necesidades del colectivo como de los recur­sos disponibles a t r a v é s de la red de servicios sociales. E l objet ivo era analizar las necesidades y las redes de apoyo de la p o b l a c i ó n m a g r e b í . Para asegurar la validez de los datos ut i l izaron otros m é t o d o s de inves t igac ión de manera combinada.

3.5.2. Foro comuni ta r io

Es una r e u n i ó n abierta a la que se inv i ta a par t ic ipar a la comunidad para t ra tar sobre muy diversas cuestiones posibles ( e v a l u a c i ó n de necesidades, é x i t o de la i n ­t e r v e n c i ó n , etc.) . Se requiere que el g rupo de asistentes sea representat ivo de la comunidad y que sientan l iber tad para expresar sus puntos de vista, aunque a ve­ces la presencia de otros pueda coartar la e x p r e s i ó n . Por e jemplo, las reuniones plenarias de los Consejos escolares en los centros p ú b l i c o s de e n s e ñ a n z a e s p a ñ o l e s se u t i l i zan , entre otras cuestiones, para def in i r y p r io r i za r las necesidades de la co­mun idad escolar (Rebol loso , C a n t ó n y F e r n á n d e z - R a m í r e z , 2004). Las reuniones

72 Porte /: Diseño de poHtkas y programas de intervención socio/

cuentan con la p a r t i c i p a c i ó n de representantes de todos los colectivos Iroplll • d o i v proceden con m é t o d o s d e m o c r á t i c o s para la t o m a de decisiones. E l b u e n i . namien to de los foros comuni ta r ios requiere un pe r iodo prev io de reunioDM pal dales y una p r e p a r a c i ó n exhaustiva de la agenda de la r e u n i ó n plenaria (NÚAl I v Loscertales, 1 9 % )

3.5.3. Indices bajo tratamiento

Supone recoger i n f o r m a d ó n a t r a v é s de las personas que han rec ib ido t ra tamicn to, consideradas como un segmento signif icat ivo de la p o b l a d ó n con problemas Existe u n posible sesgo cuando el acceso a los servicios del programa no son posi­bles o equitat ivos para todos los subgrupos de la p o b l a d ó n obje t ivo to ta l .

3.5.4. Indicadores sociales

Los indicadores son conjuntos de datos que recoge p e r i ó d i c a m e n t e una agencia o f i d a l y que hacen referencia a variables, c a r a c t e r í s t i c a s y aspectos variados re ía donados con el problema y e l p rograma de i n t e r v e n d ó n . Los indicadores son ú t i ­les para analizar la e v o l u d ó n t empora l de las cond idones de vida o del estado de u n p rob lema soda l . Por e jemplo , los responsables de la D i r e c d ó n General de T r á ­fico u t i l i zan indicadores generales ( n ú m e r o g loba l de accidentes, n ú m e r o de her i ­dos, n ú m e r o de muertes, etc.) para de te rminar el é x i t o de las intervenciones que se real izan anualmente para reduci r la m o r t a l i d a d en las carreteras e s p a ñ o l a s . U n p rob lema es la d i f icu l tad para s e ñ a l a r el impac to d i rec to de las in tervendones , as í que es necesario completar los datos con e s t a d í s t i c a s sobre e l t i po de acddentes y sobre otros factores de especial i n d d e n d a en e l n ú m e r o de acddentes registrado (estado de las carreteras, c l i m a t o l o g í a , etc.) .

3.5.5. Entrevistas

Puede ser de f i n ida c o m o una c o n v e r s a c i ó n , gene ra lmen te en t re dos personas, guiada p o r un entrevistador con el p r o p ó s i t o de recopi lar datos acerca del tema i n ­vestigado ( A n d e r - E g g , 1995; Cannel l y K a h n , 1992; q e m e n t e , 1992). Teniendo en cuenta el grado de e s t r u c t u r a d ó n y la naturaleza de la i n f o r m a d ó n que esta t é cn i ­ca p r o p o r d o n a , es posible diferenciar entre la entrevis ta estructurada y la entre­vista abier ta o en p ro fund idad (Bisauta, 1989). L a entrevis ta estructurada y estan­darizada, de t i p o cuant i ta t ivo , se realiza sobre la base de un g u i ó n de preguntas cerradas que se p lantean s iempre en el mi smo orden y en i d é n t i c o s t é r m i n o s , con respuestas ajustables a c a t e g o r í a s definidas a p r i o r i y con registro m e c á n i c o de los datos. Su p r i n d p a l ob je t ivo es recoger la m á x i m a cant idad posible de i n f o r m a d ó n

Capitulo 3: Procedimientos diagnósticos 73'

que pueda proporc ionar la persona entrevistada acerca del tema objeto de estudio ( G o n z á l e z , 1997). E n cuanto a la entrevista abierta, de t ipo cuali tat ivo, posee las mismas c a r a c t e r í s t i c a s que la anterior a e x c e p d ó n de lo referido a sus objetivos, estructura y aspectos formales. Su p r i n d p a l p r o p ó s i t o es recoger el discurso de un sujeto, p e r m i t i é n d o l e hablar l ibremente , con la ún i ca r e s t r i cc ión de un g u i ó n no di rec t ivo que contempla las á r e a s o temas de i n t e r é s sobre los que interesa recoger i n f o r m a d ó n durante la entrevista, sin establecer n i n g ú n o rden rígido a la hora de plantear las cuestiones (Pat ton , 1990; R o d r í g u e z , G i l y G a r c í a , 1996; Taylor y B o g -dam, 1984; Valles, 1997).

3.5.6. T é c n i c a s de encuesta

Las t é c n i c a s de encuesta son las m á s util izadas para e l d i a g n ó s t i c o de los proble­mas y necesidades sociales ( M c K i l l i p , 1998; W i t k i n , 1994). Se trata de un procedi­mien to consistente en fo rmula r una serie de preguntas a un n ú m e r o de terminado de indiv iduos representativos de un colect ivo m á s ampl io -generalmente un grupo de p o b l a d ó n , los usuarios de un servicio, los proveedores del mismo, etc.- con ob­j e to de recoger i n f o r m a d ó n acerca de sus actitudes, opiniones, creencias, prefe­rencias, percepciones y compor tamien tos en r e l a d ó n a la s i t u a c i ó n o p rob lema analizado y a los servicios que se ofrecen en un á r e a espec í f ica . Se trata, por tanto, de u n m é t o d o Dexible que pe rmi te abordar una gran variedad de temas, e impl ica un contacto directo con la p o b l a c i ó n cuya s i t u a c i ó n va a ser evaluada, p romovien­do la c o n d e n d a c i ó n acerca de los problemas existentes entre los miembros de la comunidad , y f ad l i t ando su p a r t i d p a d ó n activa en los programas y acciones em­prendidas para su s o l u c i ó n . Sin embargo, t a m b i é n pueden crear la falsa expectati­va de que se van a adoptar medidas para la mejora de la s i t u a c i ó n en base a los re­sultados del estudio, l o cual no siempre sucede ( M c K i l l i p , 1998). En t re las t é c n i c a s de encuesta m á s conocidas y empleadas como procedimientos de d i a g n ó s t i c o des­tacan el cuestionario y la entrevista estructurada. Los ejemplos son abundantes. Por ci tar uno, Rebol loso , F e r n á n d e z - R a m í r e z y Pozo (2000) ut i l izan un cuestiona­rio estructurado para diagnosticar los problemas de sa t i s facc ión del personal p r o ­fesional de un servic io de a d m i n i s t r a c i ó n un ivers i t a r i a . E l cues t ionar io estuvo or ien tado por un m o d e l o t e ó r i c o exhaust ivo y se u t i l i zó en el marco de una eva­l u a c i ó n de la cal idad de las p r á c t i c a s de g e s t i ó n .

3.5.7. Registro de documentos o datos de archivo

Consiste en recopilar i n f o r m a d ó n de naturaleza cuanti tat iva disponible en diver­sas insti tuciones (po l í t i c a s , sociales, educativas, sanitarias, etc.) acerca de la pobla­d ó n o p r o b l e m á t i c a analizada. D e n t r o de esta c a t e g o r í a pueden incluirse los cen­sos, los registros inst i tucionales y los datos acerca de la u t i l i z a d ó n de programas y

74 Porte I: Diseño de políticos y programos de intervención social

servicios ( M c K i l l i p , 1998). Esta i n f o r m a c i ó n suele encontrarse disponible en infor ­mes escritos, bases de datos y, m á s recientemente, ha comenzado a ser d i fundida a t r a v é s de In terne t . E l p r inc ipa l uso de este t i p o de procedimientos suele ser la des­cr ipc ión de las carac te r í s t i cas de la p o b l a c i ó n objeto de estudio, en t é r m i n o s de datos s o c i o d e m o g r á f i c o s tales como edad, sexo, nivel de ingresos, nivel de estudios, lugar de residencia, etc. E n cuanto a la ut i l ización de servicios, la desc r ipc ión de las carac­te r í s t icas de los usuarios de los programas suele proporcionar i n f o r m a c i ó n ú t i l para la d e t e c c i ó n de grupos que no e s t á n rec ib iendo la i n t e r v e n c i ó n , a pesar de perte­necer a la p o b l a c i ó n ob je t ivo de l programa, y de usuarios que no necesitan real­mente el servicio, pe rmi t i endo identificar las posibles barreras que i m p i d e n o l i m i ­tan el acceso a los programas.

3.5.8. Censos comuni tar ios

Los censos son una m o d a l i d a d de datos de archivo , de c a r á c t e r e s t a d í s t i c o - d e s ­c r i p t i v o , acerca de una p o b l a c i ó n determinada (Ander -Egg, 1995; A n g e l í y Freed-man, 1992). Se trata, por tanto, de una técn ica de recogida de in fo rmac ión de natura­leza cuan t i t a t iva . M i e n t r a s que los da tos de en t rev i s ta son e l r e su l t ado de u n proceso const ruct ivo de i n t e r a c c i ó n social entre e l investigador y el sujeto entre­vistado, e l aná l i s i s de censos no impl ica n i n g ú n t i po de r e l a c i ó n comunicat iva , l i ­m i t á n d o s e a la r e c o p i l a c i ó n de datos ya existentes acerca de la p o b l a c i ó n objeto de estudio. A l g u n a s universidades, po r e jemplo , han implan tado recientemente siste­mas de g e s t i ó n de la i n f o r m a c i ó n que ayudan a crear una base de datos permanen­te, ampl ia y renovada anualmente sobre m u l t i t u d de cuestiones de i n t e r é s . Cua l ­q u i e r inves t igador , c o n e l p e r m i s o adecuado , puede acceder a d e t e r m i n a d o s sectores de la base de datos para extraer i n f o r m a c i ó n úti l para sus investigaciones.

Evaluación de entrada y planificación del programa

l a lase dr ¡ i l a in l i i ai i.'>n d r l p rog iama r s d r especial trascendencia para el é x i t o de la inte i VMli ion v rx i i - e In < o l a b o r ac ión estrecha entre los evaluadores y los respon­sables d e l p i o g i . u u a ( i l n r i U n e s , administradores y personal t é c n i c o ) . Las organi ­zaciones di si vi son s e n s i b l e s a los cambios y las influencias po l í t i cas , de ta l modo i | u r la v i a b i l i d a d d r la i n t e r v e n c i ó n depende de que se mantengan las c o n d i ­c i o n e s i d ó n e a s de par t ida y se contrarres ten las posibles barreras o dif icul tades que pueden aparecer.

L a p l an i f i cac ión del programa es una act iv idad racional que impl ica la e l e c c i ó n de las mejores opciones de i n t e r v e n c i ó n y la d e f i n i c i ó n de un sistema de i m p l e -m e n t a c i ó n adecuado que sea capaz de alcanzar a la p o b l a c i ó n ob je t ivo y prestar­le los servicios esperados. L a coherencia interna del programa tiene que ver con la correcta def in ic ión de las metas, objetivos y actividades de la i n t e r v e n c i ó n ( t e o r í a del p rograma) , que son objeto de anál is is de la e v a l u a c i ó n de la evaluabil idad o de la e v a l u a c i ó n orientada por la t e o r í a . E n sucesivas ocasiones de i m p l e m e n t a c i ó n , los programas p o d r á n ser refinados o ajustados t en iendo en cuenta la experiencia previa .

F ren te a la v i s i ón convencional que ident i f ica la e v a l u a c i ó n como una ac t iv i ­dad que se realiza al final de la i n t e r v e n c i ó n , cuando se ha logrado a l g ú n t i p o de resultado, la e v a l u a c i ó n de entrada enfatiza la necesidad de revisar y mejorar la p rop ia d e f i n i c i ó n de l programa, inc luyendo t an to su base lógica como p r a g m á t i c a . Es decir, por q u é se espera que determinadas actividades produzcan los cambios de­seados en la p o b l a c i ó n objet ivo, y c ó m o se e s t r u c t u r a r á el funcionamiento de la orga­n izac ión de servicios responsable del programa para localizar y trabajar con la pobla­ción objet ivo.