1

DIPLOMADO EN PROCESOS DE PARTICIPACIÓN CIUDADANA PARA EL“DESARROLLO COMUNITARIO”

Módulo: Indicadores y evaluación de impacto social

Expositor: José Salazar (Depto. de economía, ITESM)

Monterrey, N.L., México, 12 de octubre de 2013.

2

• Objetivo y beneficio

• La importancia de definir, medir y evaluar

• ¿Por qué es difícil calcular el valor social?

• Elementos comunes en la intervención social

• Indicadores para monitorear el proceso y el resultado

• Los tipos más comunes de evaluación social

• Métodos de evaluación de impacto social

• Un método más adhoc a las ONG

• ¿Cómo calcular el valor creado en un programa?

Contenido de esta charla

3

Objetivo

Que el participante conozca algunas de las pautas más comunes en el ejercicio de evaluación de impacto de programas y proyectos sociales.

Beneficio

Contar con herramientas de planeación y evaluación deprogramas sociales, que coadyuven al mejor funcionamiento de éstos.

4

La importancia de definir, medir y evaluar

Lo que no se puede definir, no se puede medir, lo que no sepuede medir, no se puede evaluar, lo que no se puede evaluar, tiende al caos.

Fuente: http://www.bing.com/images/search?q=William+Thomson&qpvt=William+Thomson&FORM=IQFRML

.Consultada el 10 de sep. de 2013.

5

Fuente:https://www.facebook.com/pages/Geoff-Mulgan/132848196754575Consultada el 4 de octubre de 2013.

Goeff Mulgan: Director de política y estrategia en la administración del primer ministro del RU, Tony Blair.

¿Por qué es difícil calcular el valor social?

Medir el valor social es difícil, porque en muchos de los campos importantes de la acción social, la gente no está de acuerdo sobrecuál debe ser el resultado de ésta. (Mulgan, 2010, 40)

6

Elementos comunes en la intervención social

Ver (Diagnóstico de la situación previa a la intervención)

Juzgar (Reflexión y priorización de los objetivos)

Actuar (Intervención)

Fuente: Método inicialmente propuesto en programas de la Pastoral Social de laIglesia Católica. Secretariado de Pastoral Social (1994), Pastoral Social: un aporte, México, Tercera Ed., Secretariado de Pastoral Social, Monterrey, N.L.

7

Las palabras

más empleadas

en los procesos de

consulta del

PND 2013-2018.

(A mayor tamaño deletra la palabrafue más empleada, p. 176)

Ver

Fuente: PND 2013-2018

8

Censo 2001 de la Cuasi Parroquia del Santísimo Redentor (CPSR)Resumen de información general sobre las colonias dentro de la zona de responsabilidad de la CPSR

ConceptoBuenos Aires

Alfonso Reyes LTH Ladrillera

Plaza Revolución Estadio

Otras cols.

Zona completa

Total de viviendas 58 64 56 168 264 425 7 1042Viviendas censadas 46 52 43 140 89 267 7 644Viviendas con religión católica 40 42 38 98 42 198 7 465Viviendas con religión no católica o más de una religión 3 5 1 5 0 16 0 30Total de habitantes en las viviendas 184 237 140 469 109 741 30 1910Promedio de habitantes por vivienda censada 4.6 4.9 3.7 4.6 2.6 3.5 4.3 4Edad promedio en años cumplidos de la población censada 34.7 26 43.5 21.1 28.1 39.3 31 32Personas sin seguro social o similares 42 64 14 85 12 110 3 330Número de viviendas por rango de gasto mensual$0 - $1,141 5 7 2 26 1 10 0 51$1,142 - $2,280 21 18 11 21 2 16 0 89$2,281 - $3,420 4 6 8 25 6 31 0 80$3,421 - $5,700 7 13 11 19 5 60 2 117$5,701 - $11,400 0 0 6 7 18 53 1 85 > $11,400 3 0 0 2 7 17 4 33Viviendas donde ahorran 11 12 14 26 25 92 6 186Viviendas donde ahorran más del 10% de sus ingresos 5 5 11 22 17 58 4 122Viviendas donde el único ingreso es por pensión 6 1 5 10 1 27 1 51Viviendas donde uno o más miembros buscan trabajo 12 10 7 19 7 36 1 92Viviendas con necesidad de recursos para concluir estudios básicos 6 9 2 10 4 7 0 38 Viviendas donde viven personas de 3a edad solos 5 1 1 8 1 11 5 32Vivendas donde viven personas que requieren comunión a domicilio 4 0 3 12 0 12 2 33Viviendas donde vive persona don enfermedad crónica 1 1 0 6 2 5 0 15Vivienda donde vive persona con discapacidad y en desamparo 1 4 1 2 0 1 0 9Vivienda donde vive familia en pobreza extrema 3 0 1 3 1 1 0 9Vivienda donde vive persona que requiere beca para carrera técnica 2 4 0 1 1 4 0 12Personas mayores a 1 año no bautizadas 3 14 2 26 1 32 0 78Personas mayores a 12 años sin primera comunión 5 32 8 43 1 42 0 131Personas mayores a 12 años que no asisten a misa 57 103 28 159 13 131 3 494Personas mayores a 12 años que asisten a misa entre 1 y 3 veces al mes 51 42 61 103 55 181 4 497

Ver (aquellos indicadores que ilustren la situación de las variables de interés)

9

Indicadores para monitorear el proceso y el resultado.

Si bien esta tabla brinda elementos para la planeación y verificación de los procesos yresultados, no representa una evaluación en si misma.

ONG orientada a mejorar la calidad de vida de los hogares en pobreza alimentaria en la ciudad de MonterreyMatríz de indicadores (También se recomienda consultar la llamada Matriz de Marco Lógico, en la página incluida al pie de este cuadro)

Problemática (Observada en el diagnóstico) Objetivos Líneas de acción Indicadores Fuente de los indicadores

Frecuencia de medición

1. Pobreza alimentaria

1.1 Erradicar la pobreza alimentaria en la colonia X en un plazo de 1 año.

1.1.1 Establecer una bolsa de trabajo para vecinos de la colonia X.

1.1.1.1 (Número de vacantes ofrecidas)/ (Número de empleos solicitados por personas que ocupan hogares en pobreza alimentaria en la colonia X).

1.1.1.1.1 Registro propio a través de: Junta vecinal; Lider de barrio; Oficina de centro comunitario; Oficina pública en acuerdo con la ONG; Oficina de la propia ONG. Mensual

1.1.2 Informar a los vecinos en pobreza alimentaria de la colonia X, sobre los programas sociales públicos existentes en su localidad y orientarlos en su inscripción.

1.1.2.1 (Número de familias en pobreza alimentaria de la colonia X, inscritas en programas públicos de ayuda luego de la atención de la ONG/Número de familias en pobreza alimentaria de la colonia X antes de la intervención de la ONG)

1.1.2.1.1 Registro propio a través de: Junta vecinal; Lider de barrio; Oficina de centro comunitario; Oficina pública en acuerdo con la ONG; Oficina de la propia ONG. Mensual

También ver: Metodología del Marco Lógico. Boletín 15, ILPES-CEPAL. Oct. 2004. Disponible en: http://www.eclac.org/publicaciones/xml/4/20664/boletin15.pdf

10

Los tipos más comunes de evaluación social

De diseñoDe indicadoresDe procesos

De impacto: Identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados, atribuible a la ejecución del programa (p. 13).

Fuente: Coneval http: //www.coneval.gob. mx/rw/resource/coneval/info_public/Normatividad.pdf

11

Métodos de evaluación de impacto

Idealmente quisiéramos comparar el estado de las cosas que se hubieradado si el programa no hubiera existido, con aquel que tenemos cuandoel programa tomó lugar. Pero esto es imposible.

Ante este problema se utilizan diseños de investigación cuanti y cualitativosque intentan resolver esta situación.

Entre los métodos estadísticos disponibles más empleados están: (El manejo de ellos requiere usualmente cierto conocimiento de estadística y econometría)

1. Diferencias en diferencias;2. Matching (Pareamiento); y3. Regresión discontinua.

Se recomienda consultar el libro: Gertler, P., Martínez, S., Premand, P., Rawlings, L. y Vermeersch, Ch. (2011), Impact Evaluation in Practice, Washington, DC., EE.UU.: The World Bank. También disponible, como libro interactivo, en español, en: https://openknowledge.worldbank.org/bitstream/handle/10986/2550/599980PUB0Span00public00BOX361512B0.pdf?sequence=7

12

Diferencias en diferenciasCompara, para un indicador objetivo, la diferencia entre su situación después de laintervención del programa en el grupo receptor de la ayuda (grupo de tratamiento) encomparación con su situación de inicio, y esta misma diferencia en el mismo indicador paraun grupo no receptor, igual o muy semejante en todo al de tratamiento (grupo de control).

Ejemplo: Asesoría en matemáticas a niños con promedios reprobados en matemáticas.Grupo de tratamiento: Niños de 4° A de la escuela X con promedio reprobado en

matemáticas y que entran al programa de asesoría.Grupo de control: Niños de 4° A de la escuela X con promedio reprobado en

matemáticas y que no entran al programa.Indicadores: Calificación de cada niño, en ambos grupos antes del programa.

Calificación de cada niño, en ambos grupos, después del programa.Comparaciones: Cambio en el promedio de calificación del grupo de niños en el

grupo de tratamiento menos el cambio en el grupo de control.Prueba estadística: Prueba t de diferencias de medias.Debilidad: No controla la posible influencia de otros factores, por ello depende mucho de la semejanza del grupo de control.

13

Asesorados

No asesorados

Antes: 50

Después: 70

Antes: 50

Después: 55

Diferencia, A.: +20

Diferencia, N.A.: +5

Diferencia, A. – Diferencia, N.A. = +15

Impacto: El programa produjo un aumento de 15 puntos promedio en la evaluación de matemáticas del grupo participante. Nota: Se recomienda la realización de una prueba t de diferencias de medias para demostrar que la diferencia es estadísticamente significativa.

Diferencias en diferencias, continuación…

14

Matching o pareamiento

Mediante técnicas estadísticas, se construye un grupo de control. La comparación de cambios se realiza entre los diferentes sujetosde evaluación (En tratamiento vs. Control). La técnica compara a cadasujeto de un grupo con aquel que es más parecido en un vector decaracterísticas, que también pudieran incidir en el indicador objetivo, del otro grupo.

Estadísticamente se realiza un ranking (Rendimiento académico generaldel alumno) de todos los sujetos en la evaluación, de acuerdo a un vector de características, en nuestro caso: Edad, género, ingreso del hogar, escolaridad de los padres, tiempo diario de los padres con los hijos, tiempo dedicado a estudiar matemáticas diariamente y otras que se considerara influyeran sobre la calificación del niño en matemáticas.

15

Regresión discontinuaCalif. mate i= a + b(t. de estud. de mate i) + c(Tiempo padres i) + d(Asesoría i) +…+ e

Rendimiento académico gral i

Calif

. mat

e i

Rendimiento académico gral i

Calif

. mat

e i

d

Impacto: El programa produjo un aumento de “d” puntos en la evaluación de matemáticas del grupo participante.

Ventaja: Controla el efecto de factores concomitantes y así permiteuna evaluación más precisa del efecto aislado del programa de asesoría.

Antes Después

16

Un método de evaluación de impacto más adhoc a las ONGCreado por Roger Ridell, del Overseas Development Institute para evaluar programas sociales de ONGs en países en desarrollo.

El método contempla el uso de los enfoques cuanti y cualitativo y consiste en darrespuesta a las siguientes preguntas, a contestar entre la ONG y los beneficiarios.

a) ¿En qué grado se logró alcanzar los resultados planteados en los objetivos?b) ¿Qué factores se considera llevaron al logro de los objetivos y en qué orden de

importancia?c) ¿Los beneficios fueron distribuidos equitativamente?d) ¿La mejora en los indicadores de los beneficiarios, se debió al programa o a otros

factores?e) ¿Los costos del programa fueron apropiados, según lo logrado?f) ¿La experiencia del programa permite pensar que éste se puede también implantar

en comunidades similares?g) Si la ONG aún sigue involucrada en el programa, ¿podría esto provocar algún

problema? Si la ONG ya no sigue involucrada, ¿podría darse algún problema? ¿qué tan sostenibles son los efectos y/o el programa?

17

Resumen de resultados generales de la evaluación de proyectos específicos

Rango de Beneficio (%) Posibil. ingrs. de Ayuda / gasto Ayuda/línea Ayuda / de: hogares total del hogar Tasa de pobreza Canasta a)replica

Templos, (marginalidad) Apoyo en ayuda de extrema de Nrm Alim b) auto- proyectos y objetivos. externo SS. Mins. Mín Máx Prom retorno una persona del hogar* sost. Santo Niño, (media y alta) Manualidades: Capacitar a la Damas 0.4 a 2.08 3.5 40 13.1 100 24.5 10.2 a) Alta; mujer en orden a mejorar la Vicen- b) baja. economía familiar. tinas. Frutas y Verduras: Mejorar la Merca- 0.4 a 2.51 1.5 33 7.8 300 17.8 7.2 a) Alta; situación económica de los do. b) alta. más pobres. Espacio de Salud: Ofrecer una Médico 0.4 a 4.18 5.8 218 36.9 324 75.9 29.1 a) Baja; alternativa médica más barata b) baja. a los más pobres. Nuestra Sra. De la Asunción Médico 0.4 a 3.22 0.8 25 4.9 81 12.8 5.3 a) Baja; (media), Dispensario médico: b) baja. Ofrecer una opción de salud al alcance de los pobres. Cristo Evalngelizador Otros 0.2 a 1.32 4 20 15.9 44 9.1 3.7 a) Alta; (alta y muy alta), Reparto de templos b) baja. despensas:Atender en algo las necesidades más urgentes de alimentos. Nuestra Sra. De la Merced Cáritas 0 a 2.51 2.8 178 29.6 196 12.8 5.2 a) Alta; (muy alta), Reparto de b) baja. despensas: Ayudar a personas solas, ancianos, hogares sin recursos y desempleados. Comedor: Ayudar a personas Cáritas 0 a 2.04 13 88 54.2 823 47.3 19.8 a) Baja; de pocos recursos. b) baja. San Bernabé Apóstol y M. Cáritas 0.21 a 0.84 7.8 31 10.3 300 11.7 4.4 a) Alta; (media y alta), Reparto de b) baja. despensas. San Antonio de Padua No hay 0.1 a 1.63 1.3 21 7.61 26 5.8 2.4 a) Alta; (media), Comedor: Ayudar a b) alta. los más necesitados. * Se hace la actualización del valor de la Canasta Normativa Alimentaria de Coplamar (1982) con datos de Guevara 1997 e inflación

Salazar, J. (1999). Evaluación de los programas de pastoral social de la Iglesia Católica de Monterrey, N.L.: Su contribución al alivio de la pobreza. Tesis de maestría no publicada, UANL, Monterrey, Nuevo León, México.Bibliotecas UANL, catálogo electrónico: http://cdigital.dgb.uanl.mx/te/1020129157/1020129157_02.pdf

Aplicación del método de Riddell en Monterrey.

18

¿Cómo calcular el valor creado en un programa social?Es frecuente la intención de valorar en unidades monetarias los bienes y/o servicios así como los impactos logrados, ello facilita las evaluaciones.

Algunos métodos de valoración: (Ver: Mulgan, G. (2010). Measuring Social Value, Stanford Social Innovation Review, Summer, 38-43.)

Preferencias establecidas: ¿Cuánto estarías dispuesto a pagar para preservar una especie?Preferencias reveladas: Examina las decisiones de la gente y deduce el valor que pagarían.A diferencia de la anterior, la información ya existe (precios hedónicos).Valor público: Juzga el valor que el público da a un servicio (subjetivo)Valor agregado: ¿Cuánto agrega un programa al valor de algo…educación…salud…?Ej. En Nuevo León, un año más de educación aumenta 9 veces lo que aumenta el salario por un año más de experiencia laboral.Costo de transporte: El valor del transporte implícito en recibir el servicio o el bien.Costo evitado: ¿Cuánto vale en el mercado más cercano, el bien y/o serviciobrindado? (Una despensa, una consulta, una clase, …, esta clase por ejemplo…jejeje)

Un estudio reciente que valúa los efectos de un proyecto público pueden verlo en:http://www.trayectorias.uanl.mx/35/index.htmSalazar, J., Polendo, J., López de Arkos, C. e Ibarra, J. (2012). Efectos en tiempo de viaje y seguridadvial generados por la ampliación y modernización de la carretera Saltillo-Zacatecas. Trayectorias, 14(35),66-89.

19

¡G R A C I A S!

Afectuosamente

José Salazarjsalazar@itesm.mx