Upload
vuongkiet
View
216
Download
0
Embed Size (px)
Citation preview
2
Evaluación de Impacto
en el
Contexto Internacional
DIRECCIÓN DE ESTUDIOS
Montevideo, 12 de Diciembre 2012
Instituto de Estudios Fiscales
3
INDICE
Evaluación de impacto en el contexto internacional
1. Ciclo de un Programa/Política-Evaluación
2. ¿Qué es evaluación y que no lo es?
3. Tipos de evaluación 1. Evaluación de impacto
4. Utilidad de la evaluación de impacto: Ejemplos internacionales
1. Sanidad
2. Mercado laboral
3. Seguridad Social
4. Vivienda
6
- Cuando se realiza un proyecto, programa, política se pueden realizar muchas formas de…
- monitoreo / control / evaluación….. de dicho programa o política.
Diferenciar Evaluación de “otras cosas”
2. ¿Qué es evaluación y que no?
7
• La auditoría esta muy clara!!!
• Los otros dos principales instrumentos para la
recolección de desempeño de políticas son los sistemas:
– Monitoreo – indicadores periódicos de recolección interna
- Resultados para identificar aspectos que generan
los resultados obtenidos. No hay causalidad
– Evaluación – estudios externos más extensivos.
- Presentan informes de causalidad,
- Son largas y costosas
• Ejemplo: sistema regadío y una catástrofe natural!!
2. ¿Qué es evaluación y que no?
8
- Los gobiernos realizan habitualmente “auditorias” y “medición
del desempeño (monitoreo)”. (hay cultura!!)
- Sin embargo….la mayoría de la evaluación (sobretodo evaluación
de impacto) se realiza desde un punto de vista académico … y no
tanto en el gobierno
¿Por qué puede ser esto??
- Hasta ahora: la Evaluación, tradicionalmente se ha visto como al
“enemigo”- otorga vida o muerte a un proyecto o política. Una
imposición externa a los jefes de proyecto y que no ayuda al proyecto.
- Desde ahora: evaluación está íntimamente relacionada con
planificación e implementación de un programa público, no está
separado, si no que es parte de el, planificacion, evaluacion e
implementacion son 3 partes de lo mismo. La Evaluación es una
ayuda!!!
2. ¿Qué es evaluación y que no?
9
- Tipos de Evaluación:
• Se puede decir que:
– "Cuando el cocinero prueba la sopa, eso es formativa”
– “Cuando los invitados degustan la sopa, eso es sumativa”
3. Tipos de Evaluación
10
Evaluación formativa, responde cuestiones relativas con:
– Cuestiones relativas a la gestión de cómo se esta
implementando y ejecutada la política, proyecto o iniciativa;
– Cómo se gestiona el riesgo, alternativas.
– Si el sistema de medición del desempeño está generando
información fiable y valida sobre el rendimiento del programa;
– Verificar si es necesario hacer ajustes, y
– En que medida se esta produciendo un progreso hacia el logro
de los resultados deseados
3. Tipos de Evaluación
11
Evaluación sumativa, responde cuestiones relativas con:
– Relevancia: ¿El programa continuará siendo compatible con
las prioridades del ministerio y del gobierno? y ¿hace frente a
una necesidad real?
– Costo-efectividad (Costo-beneficio): ¿Son los medios
utilizados los más adecuados y eficaces para alcanzar los
objetivos, en relación al diseño alternativo y de resultados?
– Impacto (Éxito): El grado en que los resultados deseados se
han alcanzado y el grado en que la política, programa o
iniciativa ha contribuido a la consecución de resultados.
3. Tipos de Evaluación
13
Avances del programa (tener en cuenta en la evaluación):
1. RECURSOS: Describir los recursos o factores influyentes disponibles
para apoyar las actividades del programa.
2. ACTIVIDADES: Describir cada una de las actividades que planea llevar
a cabo en su programa.
3. SALIDAS / PRODUCTOS: Para cada actividad del programa, identificar
qué resultados (de prestación de servicios / ejecución metas) que tienen
por objeto producir.
4. RESULTADOS: Identificar los resultados a corto y largo plazo esperan
alcanzar para cada actividad.(corto y medio plazo)
5. IMPACTO: Describir el efecto que el programa o política ha tenido en
los individuos. Es fundamental “aislar” ese efecto de otro tipo de
factores.
3. Tipos de Evaluación
14
Ejemplo de evaluación: programa de capacitación de desempleados
1. RECURSOS: - Disponibilidad de uno (o varios) edificio(s) con aulas preparadas
- Personal capacitado para impartir cursos
- Presupuesto para pagar alquiler de edificios, personal, desempleados, etc.
2. ACTIVIDADES: Realizar curso de capacitación a desempleados de 100 horas. Con actividades
teóricas y practicas.
3. SALIDAS/PRODUCTOS: - Número de personas al mes que realizan el curso
- Logro de estándares de calidad en la prestación del curso (material, etc)
- Personas satisfechas con el curso realizado
- Coste medio que le supone al gobierno dar el curso a un desempleado
4. RESULTADOS: - Número de personas / mes que terminan el curso de capacitación.
5. IMPACTO: - Número de colocaciones exitosas resultantes (a corto y largo plazo) que se deben
a la realización del curso (y no a otros factores).
- Duración de los contratos (o diferencia salarial) debida a realizar el curso
3. Tipos de Evaluación
15
• ¿En cuánto incrementa un nivel de educación el salario?
• ¿Previene la aspirina el infarto de miocardio?
• ¿Es bueno para la salud el consumo de vino de forma
moderada?
• ¿Es el tratamiento A mejor que el B?
• La pregunta que nos planteamos en estos ejercicios es si
recibir un tratamiento causa un efecto significativo respecto
a no recibirlo
Averiguar si unos determinados factores influyen
en una variable.
3.1. Evaluación de impacto
16
Causalidad:
X Y
• Para obtener la respuesta de esta relación causal supuesta, el investigador manipula la variable independiente (X) y observa si la dependiente varia o no (Y).
• Para realizar este tipo de estudios es necesario tener conocimiento de: datos, variables, muestreo, contrastes de hipótesis, ….
3.1. Evaluación de impacto
17
Las preguntas que tenemos que contestar en la
Evaluación de políticas son:
¿Cuál sería la situación si la intervención no hubiera
tenido lugar?
¿Las mejoras que se han producido en los individuos son
el resultado directo del proyecto, o sencillamente es que
se ha mejorado de todas formas?
¿Eran los gastos justificados?
3.1. Evaluación de impacto
18
- Para realizar la evaluación de impacto es fundamental tener información de dos grupos:
- Grupo de Tratamiento (recibe la política)
- Grupo de control (no recibe la política)
¿Por qué son necesarios dos grupos?? Para aislar el efecto del programa del resto de factores.
Es fundamental saber que parte de la mejora de un individuo se debe al programa (X) o se debe a otros factores distintos
V
X Y
W
3.1. Evaluación de impacto
19
– Tipos de Evaluación del impacto de una política
• Evaluación ex-ante (enfoque estructural) – Antes de realizarse la política
» SIMULACION (MICRO O MACRO)
• Evaluación ex-post (enfoque causal) – Después de realizarse la política
» EXPERIMENTOS CONTROLADOS
» ESTUDIOS OBSERVACIONALES
3.1. Evaluación de impacto
20
- No es algo tan raro!!! Existen ejemplos de muy buenas
practicas en la “Evaluación de impacto”
- EEUU (Proyectos de la Seguridad Social, incremento de salario
mínimo, políticas de vivienda, etc…)
- Canadá (Incremento de beneficios sociales, etc…)
- México: PROGRESA, CIMO
- Argentina: ”TRABAJA”, FONTAR,
- Colombia: “GRATUIDAD”, FOMIPYME
- Chile: “Chile crece contigo”, PROCHILE (exportaciones) PROFO.
- Brasil: Sistema sanitario, Ayuda de I+D.
- Perú: PROMPYME,
- ……
- En otras zonas del mundo: Europa (fondos europeos, a nivel
de paises..), Asia (Bangladesh, Indonesia, etc…)
4. Utilidad de la evaluación de Impacto: Ejemplos
21
- En España… El Instituto de Estudios Fiscales hace
evaluación de impacto
Sobretodo evaluación ex-ante:
- EUROMOD, Simulador de IVA, de IRPF, de Impuesto de
Sociedades, gastos en pensiones, dependencia, sanidad.
Pero también Evaluación de impacto ex-post:
- Evaluación del efecto de los fondos de la Unión Europea en la
distribución de agua.
- Evaluación del efecto de los fondos de la UE sobre la
depuración de aguas residuales.
- Evaluación del efecto de los fondos de la UE obre las
actividades de I+D de las empresas.
4. Utilidad de la evaluación de Impacto: Ejemplos
22
Pero……
¿Desde cuando se hace evaluación de impacto??
¿Es una idea novedosa? ¿Es algo actual?
Pues la verdad es que….NO!!!
La primera evaluación de impacto se hizo en…1855!!!
4. Utilidad de la evaluación de Impacto: Ejemplos
23
John Snow (1855)
- Quería estudiar la hipótesis de que el cólera se transmitía por beber agua contaminada. En 1854 encontró un experimento natural para responder a esta pregunta.
- En 1849 dos compañías de agua, SVC y LC, obtenían agua del río Támesis (bastante contaminado) en el centro de Londres. En 1952 la compañía LC comenzó a obtener agua de una parte más limpia del río.
- Solución inicial: Comparar las tasas de mortalidad en distritos servidos por compañía LC que cambió su fuente de agua 1852-1849 !!!PROBLEMAS DE CAPTURAR EFECTOS OTROS FACTORES
4. Utilidad de la evaluación de Impacto: Ejemplos
24
Distritos de Londres: - distritos suministrados por LC
Antes - distritos suministrados por SVC
4. Utilidad de la evaluación de Impacto: Ejemplos
25
Distritos de Londres: - distritos suministrados por LC
Después - distritos suministrados por SVC
4. Utilidad de la evaluación de Impacto: Ejemplos
26
- Como lo solucionó? Utilizando de “control” a los distritos servidos por la compañía (SVC) que no había cambiado la toma de agua.
Comparación de tasas de mortalidad (cada 100.000 hab) por cólera en 1853-1849:
40
60
80
100
120
140
160
180
1849 1853
distritos servidos por LC distritos servidos por SVC
contrafacual LC
4. Utilidad de la evaluación de Impacto: Ejemplos
27
- Para lograr el grupo de tratamiento y control
- Diseños experimentales – Aleatorios y controlados
- Diseños cuasi-experimentales – observacionales o naturales
- Los métodos para realizar evaluación de impacto son “sencillos”
- Técnica de Diferencias
- Método de Diferencias en Diferencias
- Técnicas de Matching (emparejamiento)
- Propensity Score Matching
- Estimación de Variables Instrumentales
- Estimador de Wald
- Función de Control
- Regresión en Discontinuidad
- Nuevas aproximaciones – Métodos de control sintético
4. Utilidad de la evaluación de Impacto: Ejemplos
28
PARA REALIZAR UNA EVALUACION DE IMPACTO
ELEMENTOS CLAVES!!
La elección del método estadístico/econométrico de evaluación
depende de:
- La naturaleza del problema a estudiar,
- El tipo y la calidad de los datos disponibles,
- El mecanismo por el cual los individuos se asignan o no al tratamiento.
4. Utilidad de la evaluación de Impacto: Ejemplos
29
Política mercado laboral- Incentivos de la Asistencia Social
• Reglas de asistencia social al desempleo:
– Bajos pagos de asistencia social para individuos menores de 30
años
– Pagos más altos para individuos de 30 años y más
• ¿Cuál es el efecto de
un incremento de la
asistencia social sobre
el empleo?
4. Utilidad de la evaluación de Impacto: Ejemplos
30
• El efecto directo todo el mundo lo tiene claro (un incremento del subsidio de
desempleo) – Incremento de bienestar de las personas menores de 30 años
• …….pero………………………¿existen efectos secundarios?
• Dos opciones: - No me importa si el programa tiene otros efectos
- Saber cuales son esos efectos, y si el programa ha
generado impactos no esperados.
4. Utilidad de la evaluación de Impacto: Ejemplos
32
Ejemplo de política de empleo – Seguridad Social
• El programa el Seguro Social fue diseñado a mediados de los años 70 para
proporcionar oportunidades de formación y empleo para los trabajadores en
situación “sensibles”, como parte de un diseño experimental.
Ham y Lalonde (1996) examinaron el efecto de los cursos de formación en las
mujeres que se ofrecieron como voluntarias.
El programa garantiza a las participantes tratadas 12 meses de empleo
subsidiado (como becarios) en diferentes puestos de trabajo.
Los requisitos de elegibilidad: Ser desempleada, ser beneficiaria de la
ayuda a largo plazo, y no tener hijos muy pequeños
• Dos opciones: - no me importa si el programa esta bien o mal (si tiene efectos
que buscaba)
- Saber si el programa tiene efecto
4. Utilidad de la evaluación de Impacto: Ejemplos
33
- Resultados: - Se hacen dos grupos (uno de tratamiento y otro de control) y se calcula si
esas personas trabajaban o no
• En el c/p, el programa mejora las perspectivas de empleo de los
participantes (una diferencia de 90 punt. porcentuales en las tasas de
empleo).
4. Utilidad de la evaluación de Impacto: Ejemplos
34
Política del Ministerio de Vivienda
Motivación
• Construir una instalación no deseada, como un incinerador de basura,
¿reduce el precio de las casas cercanas?
• Si lo hace, ¿en qué magnitud?
• ¿Por qué puede importarnos?
– Nos puede interesar estimar el costo del incinerador para decidir si incinerar
basura o arrojarla en vertederos.
– quizás nos interese compensar a las personas que viven en el área donde se
construya el incinerador.
4. Utilidad de la evaluación de Impacto: Ejemplos
35
La historia y los datos
• Los rumores de que se iba a construir comenzaron en 1978, y la
construcción comenzó en 1981. La planta comenzó a operar en 1985.
• El artículo de Kiel & McClain contiene un análisis econométrico bastante
complejo utilizando varios años, pero nosotros haremos un análisis
similar usando dos años de datos: 1978 y 1981.
• Si el incinerador afecta los precios de las viviendas,¿Qué esperaríamos?
– Esperaríamos que el precio de las casas en los alrededores del incinerador
decrezca de 1978 a 1981. Cuanto más cercana la casa, mayor la caída de
precios esperada.
4. Utilidad de la evaluación de Impacto: Ejemplos
36
Desde un punto de vista gráfico:
Año 1978 Año 1981
¿Cómo afectó la instalación al precio de las viviendas?
4. Utilidad de la evaluación de Impacto: Ejemplos
37
Estimador de diferencias-en-diferencias
es el estimador de diferencias-en-diferencias y puede expresarse como:
= ( 70.619,2 - 101.307,5 ) -- ( 63.692,8 - 82.517,5 )
(diferencia de precios cerca - lejos en 81) - (diferencia de precios cerca - lejos en 78)
La diferencia en el precio promedio de las viviendas es mayor en 1981 que
en 1978 ($30,688.3 vs. $18,824.4). La diferencia en los dos coeficientes
es:
• Éste es el efecto estimado del incinerador sobre el valor de las viviendas
ubicadas cerca del incinerador.
4. Utilidad de la evaluación de Impacto: Ejemplos
38
Hemos visto:
- Qué es evaluación y que no lo es.
- Dentro de evaluación … que es evaluación de impacto y que no lo es.
- Ejemplos internacionales de la utilidad de la evaluación de impacto:
- Sanidad, mercado laboral, Seguridad Social, Mercado vivienda.
.....y para finalizar…………………….
5. Conclusiones
39
Conclusión: No buscar resultados maximalistas
Historia de dos amigos y un tigre
- Dos amigos están caminando por el bosque cuando de repente
se encuentran con un tigre, que empieza a correr hacia ellos
rugiendo.
- Los dos amigos empiezan a correr, y uno le dice al otro: "Estoy
muy contento que me puse mis zapatillas de correr hoy.“
- El otro sorprendido responde:"No importa el tipo de zapatos que
llevas, ¿no ves que no vas a correr más rápido que el tigre?",
- “Yo no tengo que correr más rápido que el tigre, SOLO tengo que
correr más rápido que TU", responde.
5. Conclusiones