Evaluación de Impacto Chile Solidario:

Primera cohorte de participantesO Larrañaga, D Contreras y J Ruiz

Tagle

PNUD

Responsabilidades

• Los contenidos de la evaluación son responsabilidad de equipo PNUD.

• El trabajo inicial de preparación de las bases de datos y análisis de metodologías de impacto fue realizado junto a la División Social de Mideplan.

• Ver también tesis de magister U de Chile de Andrés Hojman (2008) y Fernando Hoces (2008)

Diagnóstico de inicios del 2000s

• Estancamiento en la reducción de la extrema pobreza

• Las familias por debajo de la línea de la extrema pobreza usaban en menor medida e intensidad los programas y servicios públicos existentes, ya sea por desconocimiento, falta de cupos o poca credibilidad en éstos.

Objetivos de Chile Solidario

• El objetivo es promover la incorporación de las familias en extrema pobreza a las redes sociales, mejorar su conocimiento sobre la oferta pública disponible y posibilitar su acceso a una mejor calidad de vida, de manera que superen la condición de indigencia.

• La condición de pobreza es considerada un problema multidimensional, caracterizada por bajos ingresos monetarios, escasa dotación de capital humano, débil capital social, y alta vulnerabilidad ante eventos como enfermedades, accidentes, cesantía y otros.

Componentes de Chile Solidario

• Apoyo Familiar que acompaña por dos años a las familias en fortalecimiento psico-social, inserción en programas de oferta pública y cumplimiento de condiciones mínimas.

• Acceso garantizado a subsidios monetarios (si elegibles) y a Bono de Protección Social y Bono de Egreso

• Acceso preferente a programas de la oferta pública– Salud, educación, vivienda, dinámica familiar, empleo,

capacitación e identificación.

Ámbito de la presente evaluación

• Evalúa la primera cohorte, que ingresa en 2002

• Evalúa las dimensiones de ingreso monetario, empleo y vivienda– Un subconjunto de los objetivos del Programa

• Evalúa entre 15 y 48 meses de intervención– Programa dura 5 años, los 2 primeros más intensivos

Selección de Beneficiarios

• Población meta: alrededor de 210.000 familias en extrema pobreza – Junio del 2008: 278.548 familias egresados o participando

(Base Puente)

• Implementación: – Puntos de corte comunales extrema pobreza, Casen 2000– Selección según percentil equivalente en ficha CAS– Prioridad de entrada según puntaje CAS aún cuando hay

traslape de puntajes en el tiempo por cambio de ficha CAS y, excepcionalmente, accesibilidad geográfica.

Distribución Participantes en año de entrada, deciles Cas

Año de entrada al Sistema Deciles

individuos

2002

2003

2004

2005

2006 a mayo 07

Total

1 67,5 65,0 66,3 67,8 56,0 64,7 2 19,2 24,0 25,4 23,6 23,8 23,4 3 8,6 7,5 4,6 5,1 8,4 6,7 4 1,8 1,5 1,5 1,5 4,5 2,1 5 1,1 0,7 0,8 0,7 2,9 1,2 6 0,8 0,5 0,6 0,5 1,8 0,8 7 0,3 0,3 0,3 0,3 1,2 0,5 8 0,3 0,2 0,2 0,2 0,7 0,3 9 0,3 0,2 0,1 0,1 0,5 0,2

10 0,1 0,1 0,1 0,1 0,2 0,1

Total 100,0 100,0 100,0 100,0 100,0 100,0

Fuente: Consolidados Cas y registros Chile Solidario

Evaluación de impacto

• Impacto de un programa social: efectividad en el logro de sus objetivos

• Desafío de la evaluación: aislar el efecto del programa de otros determinantes de los resultados

• Grupo de control provee escenario contra-factual– Metodología ideal: experimento– Práctica predominante: “cuasi-experimentos”

Evaluaciones previas de Chile Solidario

• Galasso 2006; Perticara 2006; Carneiro-Galasso 2007

• Impacto positivo en acceso a programas sociales y disposición psico-social. Sin evidencia clara de aumentos de ingreso y empleo, salvo áreas rurales.

• Basadas en Encuesta Panel Chile Solidario (2003-06); problemas de línea base y consistencia temporal en cuestionarios restan efectividad a la base de datos.

Esta evaluación usa Ficha CAS como Panel

• Ficha Cas: evaluación socioeconómica de hogares para acceder a programas sociales entre 1998-2006.– Esta es la ficha CAS II, precedida por Ficha CAS I y seguida por

FPS

• Cobertura de 40% de la población y cerca de 80% en estratos de bajos ingresos. La ficha Cas tiene vigencia de dos años, requiriendo actualización continua

• Identificador individual permite construir panel ficha CAS, para ser utilizada en evaluación Chile Solidario

Metodología de evaluación

• Diferencias en diferencias (DD): cambio en resultado en el grupo de participantes (tratados) versus cambio en resultado en grupo de control– “antes-después”, controlando por efectos ambientales

• Conclusiones dependen críticamente de la calidad del grupo de control– Cuán bien aproxima la situación del grupo de tratado si este no

hubiera participado en el programa

Limitaciones del panel Ficha Cas

• Restringe evaluación a variables en la Ficha

• Potencial sesgo de selección si no hay medición final– Participantes requieren ficha CAS a la entrada y la salida– Grupo de control podría excluir a dos tipos de familias: – (i) quienes mejoran nivel socioeconómico y no vuelven a tomar

la entrevista (sobre-estimación impacto)– (ii) quienes empeoran e ingresan a Chile Solidario en cohortes

posteriores

Dimensiones de la evaluación

• Ingreso autónomo del hogar

• Número de personas ocupadas por hogar

• Indice de vivienda en base a siete variables: – Materialidad de la vivienda– Infraestructura básica y sanitaria– hacinamiento.

Construcción del grupo de control

• Cobertura universal en población de extrema pobreza dificulta construcción de grupo de control

• Variación de punto corte CAS entre comunas permite selección controles con similar CAS a tratados

• Para incluir como controles a participantes futuros se reduce mínimo de intervención a un año de “dosis”– Reduce sesgo de selección para controles que empeoran y se

incorporan al programa

Selección de participantes y controles

• Se consideran participantes que ingresan en 2002, con ficha CAS inicial seis meses antes de entrada y ficha CAS final después de un año de intervención

• Para seleccionar controles: vecinos más cercanos según probabilidad de acceso (propensity score)– Variables probit: puntaje CAS, corte comunal CAS, cupos Chile

Solidario en comuna, gestión comuna, sexo jefe, tamaño hogar, edad jefe, zona

• Gran cantidad de potenciales controles permite elegir un grupo similar en puntaje CAS y otras variables

Cuadro 2: Número de hogares en evaluación de impacto Chile Solidario Entrada a Chile

Solidario Ficha Cas 2002 Califican Tratados Distribución %

controles Cohorte 2002 17657 8528 8528 Cohorte 2003 21421 1391 1.7 Cohorte 2004 16035 9948 9.2 Cohorte 2005 16618 15464 13.7 Cohorte 2006 13828 12231 8.7 No tratados 581623 412231 66.7

Total 667182 459608 8528 100.0 Fuente: Elaboración en base a Fichas Cas y registros administrativos Chile Solidario.

400

450

500

550

600

0 20 40 60 80 100percentil

cas_participantes cas_controles

Percentiles puntajes CAS inicial

Cuadro 4: Estadísticas Descriptivas Pre-tratamiento, Cohorte 2002

Media Tratado

Media Controles

Diferencia Error estándar

Test t

Puntaje CAS 460.8 459.9 0.814 0.406 2.01

Ingreso autónomo 83628 80277 3401 898 3.79

Ocupados en hogar 0.998 0.956 0.042 0.009 4.73

Indice de vivienda 4.69 4.82 -0.125 0.028 4.49

Número menores 18 1.40 1.23 0.16 0.016 9.95

Tamaño hogar 4.16 4.07 0.09 0.024 3.93

Tasa jefe mujer 0.319 0.289 0.030 0.006 5.04

Tasa de hogar urbanos 0.699 0.674 0.025 0.006 4.24

Edad receptor bono 41.5 42.9 -1.30 1.02 1.28

Intervalo medición meses

35.0 32.1 3.1 0.13 23.8

Fuente: Base de datos fichas Cas

Cuadro 6: Impacto Chile Solidario según número vecinos matching

Resultado Número

Vecinos

Matching

Diferencia

tratados

Diferencia

controles

Diferencia

en

Diferencia

Error

estándar

Test t

Ingreso

1 13490 15937 -1906 1476 -1.29

5 13490 16783 -3292 1090 -2.77

10 13490 16977 -3486 1128 -3.09

Ocupados

1 0.043 0.019 0.025 0.012 2.10

5 0.043 0.021 0.022 0.012 2.29

10 0.043 0.027 0.016 0.009 1.71

Vivienda

1 1.28 1.07 0.208 0.032 6.45

5 1.28 1.08 0.202 0.028 7.33

10 1.28 1.08 0.202 0.026 7.64

Nota: N = 8495.

Cambio en ingreso autónomo hogar (M$)

Cambio en ingreso hogar según edad receptor bono

Cambio en ingreso hogar según intervalo medición

Cambio en ocupados por hogar

Cambio en ocupados por hogar según edad receptor bono

Cambio ocupados hogar según intervalo medición

Cambio en índice de vivienda

Cambio en índice de vivienda según edad receptor bono

Cambio en índice de vivienda según intervalo medición

Cuadro 7: Impacto Chile Solidario en ingreso autónomo, subgrupos (5 vecinos más cercanos)

Diferencia tratados

Diferencia controles

Dif en Dif Error Estándar

Test t Número Tratados

Jefe hogar Hombre 12240 14774 -2534 1354 1.87 5779 Mujer 16151 22315 -6164 2315 2.66 2716

Zona

Urbano 13636 19540 -5904 1524 3.83 5940 Rural 13151 11153 1998 1855 1.08 2555

Edad receptor

18-24 20226 29579 -9353 3874 2.41 896 25-34 18502 20127 -1625 1823 0.89 2315 35-44 19649 16517 3131 2368 1.32 2260 45-59 5228 14021 -8792 2900 3.03 1687

60 y más -499 9126 -9626 2662 3.62 1285

Intervalo mes 16-24 12970 15512 -2524 2130 1.19 2597 25-33 15385 19752 -4366 1634 2.67 3564 34-42 11606 15842 -4236 2774 1.53 2132

Cuadro 8: Impacto Chile Solidario ocupados por hogar, subgrupos (5 vecinos más cercanos)

Diferencia tratados

Diferencia controles

Dif en Dif Error Estándar

Test t Número Tratados

Sexo ocupado

Hombre -0.026 -0.042 0.015 0.008 1.90 8498 Mujer 0.070 0.063 0.007 0.007 1.02 8498

Jefe hogar

Hombre 0.017 0.002 0.014 0.011 1.30 5781 Mujer 0.100 0.081 0.019 0.019 1.00 2717

Zona

Urbano 0.051 0.033 0.017 0.012 1.42 5943 Rural 0.028 0.012 0.015 0.018 0.90 2555

Edad receptor

18-28 0.069 0.079 -0.009 0.018 0.51 1706 29-35 0.128 0.078 0.050 0.018 2.70 1772

37-42 0.104 0.093 0.011 0.025 0.43 1412 44-55 0.030 -0.023 0.059 0.029 2.04 1459

57-85 -0.134 -0.066 -0.068 0.025 2.73 1531

Intervalo mes 16-24 0.074 0.040 0.033 0.022 1.49 1466

25-33 0.099 0.031 0.067 0.017 3.84 2626 34-42 0.030 0.039 -.0008 0.020 0.43 2044

43-52 -0.021 -0.016 -0.004 0.022 0.21 2189

Cuadro 8: Impacto en índice vivienda, subgrupos (5 vecinos más cercanos)

Diferencia tratados

Diferencia controles

Dif en Dif Error Estándar

Test t Número Tratados

Jefe hogar

Hombre 1.33 1.13 0.19 0.03 5.78 5773 mujer 1.18 0.94 0.24 0.05 5.11 2716

Zona

Urbano 1.30 1.12 0.18 0.03 5.18 5936 Rural 1.24 1.02 0.22 0.05 4.83 2553

Edad receptor

18-28 1.53 1.42 0.11 0.07 1.51 1704 29-35 1.59 1.26 0.33 0.06 5.16 1771

37-42 1.31 1.11 0.20 0.07 3.03 1409 44-55 1.07 1.08 -0.01 0.06 0.15 1458

57-85 0.81 0.76 0.04 0.05 0.92 1530

Intervalo mes 16-24 0.88 0.68 0.20 0.056 3.54 1464

25-33 1.01 1.04 -0.02 0.046 0.49 2625 34-42 1.56 1.36 0.21 0.061 3.37 2041

43-52 1.58 1.54 0.04 0.060 0.64 2187

Conclusiones e Interpretaciones

• Cohorte 2002 presenta impacto positivo del programa en empleo y vivienda. En cambio, el impacto es negativo en ingreso autónomo.– Resultados robustos a número de vecinos en matching

• Notar que participantes de Chile Solidario obtienen ganancias absolutas en todas las dimensiones evaluadas y para casi todos los subgrupos – Las pérdidas en ingresos son relativas a grupo de control

Conclusiones e Interpretaciones

• Evaluación de ingresos excluye subsidios monetarios; que podrían aumentar ingreso total del hogar y reducir ingresos autónomos por efectos sustitución– Hay evidencia similar en programas de transferencias

monetarias en otros países.– Ello es también consistente con caídas absolutas de ingreso y

empleo cuando el receptor del bono sobre 60 años

Conclusiones e Interpretaciones

• Impacto del programa es particularmente favorable en el caso de receptores del bono en edades intermedias (29 a 42 años); pero negativo para jóvenes y adultos mayores

• Impacto tiende a ser mejor en zonas rurales que urbanas

• Esta evaluación no incluye las dimensiones de acceso a programas ni la variable psico-social, que son objetivos directos de Chile Solidario