Upload
lekien
View
236
Download
0
Embed Size (px)
Citation preview
Cumplimiento Externalidades Desgaste Introducción Soluciones
Amenazas y análisis
2
Leigh Linden
Profesor Asistente de Economía and Asuntos Públicos
University of Texas, Austin
Cumplimiento Externalidades Desgaste Introducción Soluciones
3
Despues de esta sesion, los participantes
seran capaces de:
1. Entender los conceptos de validez interna y
externa.
2. Identificar tres amenazas importantes al
análisis.
3. Proponer algunas soluciones a estas
amenazas.
Objetivos
Cumplimiento Externalidades Desgaste Introducción Soluciones
Importance
1. Introducción
2. Cosas pueden ir mal:
2.1 Externalidades
2.2 Desgaste
2.3 Cumplimiento imperfecto
3. ITT vs LATE/TOT
4. Análisis
Esquema
4
How to Components Big picture
Cumplimiento Externalidades Desgaste Introducción Soluciones
Validez interna
Decimos que un diseño es internamente
válido cuando puedes extrapolar
causalidad de formar creíble.
Generalmente, hay tres amenazas que
dificultarán mi atribución causal:
Externalidades
Desgaste de la muestra
Cumplimiento imperfecto
6
Cumplimiento Externalidades Desgaste Introducción Soluciones
= No elegible
Repaso del diseño experimental
= Elegible
1. Población
Validez externa
2. Muestra de evaluación
3. Aleatorizar
tratamiento
Validez interna
Comparación
Tratamiento
X
Cumplimiento Externalidades Desgaste Introducción Soluciones
Externalidades
Externalidades ocurren cuando el grupo
control se ve contaminado de alguna
forma por el tratamiento.
Grupo control Y deja de ser una
estimación no-sesgada del contrafactual.
Cumplimiento Externalidades Desgaste Introducción Soluciones
¿Qué podría ir mal?
Población
objetivo
No en la
evaluación
Muestra de
evaluación
Población total
Asignación
aleatoria
Grupo
tratamiento
Grupo
control
Cumplimiento Externalidades Desgaste Introducción Soluciones
Externalidades, contaminación
Población
objetivo
No en la
evaluación
Muestra de
evaluación
Población total
Asignación
aleatoria
Grupo
tratamiento
Grupo
control
Tratamiento
Cumplimiento Externalidades Desgaste Introducción Soluciones
Externalidades, contaminación
Población
objetivo
No en la
evaluación
Muestra de
evaluación
Población total
Asignación
aleatoria
Tratemiento
Grupo
tratamiento
Grupo
control
Cumplimiento Externalidades Desgaste Introducción Soluciones
Ejemplo: Vacuna para varicela
Suponga que aleatoriza la entrega de
vacunas contra la varicela dentro de
escuelas.
Suponga que eso disminuye la trasmisión de
la enfermedad, ¿que problemas crea para la
evaluación?
Suponga que las externalidades son locales.
¿Cómo podemos medir el impacto total?
Cumplimiento Externalidades Desgaste Introducción Soluciones
Estudiantes Tratamiento
(Vacunas)
Resultados
1 Si Sin varicela
2 No Varicela
3 Si Sin varicela
4 No Varicela
5 Si Sin varicela
6 No Varicela
Sin externalidades
Tratamiento Resultado
Si 0% con varicela
No 100% con varicela
Efecto del tratamiento: -100%
Cumplimiento Externalidades Desgaste Introducción Soluciones
Estudiantes Tratamientos
(vacuna)
Resultados
1 Si Sin varicela
2 No Sin varicela
3 Si Sin varicela
4 No Varicela
5 Si Sin varicela
6 No Varicela
Con externalidades
Tratamiento Resultados
Si 0% con varicela
No 67% con varicela
Efecto del tratamiento: -67%
Cumplimiento Externalidades Desgaste Introducción Soluciones
¿Como medir el impacto del programa en presencia de externalidades? Diseñar la unidad de aleatorización para
que abarque la externalidad
Si esperamos externalidades que
ocurrirán dentro de una escuela:
Aleatorización al nivel de la escuela permite
la estimación del efecto general
Cumplimiento Externalidades Desgaste Introducción Soluciones
Ejemplo: Información sobre precios Ofrecer a agricultores precios actuales y futuros a
través de teléfonos móviles
¿Esperaríamos externalidades?
Aleatorizar: ¿nivel individual o comunidad?
Aleatorización nivel comunidad
Menos poder estadístico
“Grupo control puro”
Aleatorización a nivel individual
Más poder estadístico (si externalidades son pequeñas)
Habilidad de medir externalidades
Cumplimiento Externalidades Desgaste Introducción Soluciones
Ejemplo: Información sobre precios Diseños que miden externalidades: Asignar
comunidades aleatoriamente a uno de cuatro grupos A,
B, C y D.
Grupo Tratamiento
A Mensajes de texto (SMS) con información de
precios a todos los individuos con teléfonos
B SMS con información de precios a 75% de
individuos aleatoriamente seleccionados con
teléfonos
C SMS con información de precios a 25% de
individuos aleatoriamente seleccionados con
teléfonos
D No reciben SMS con información de precios
Cumplimiento Externalidades Desgaste Introducción Soluciones
Desgaste
¿Es un problema si algunas de las personas en el experimento “desaparecen” antes de recolectar los datos?
Es un problema si el tipo de persona que desaparece esta correlacionado con el tratamiento
¿Por qué es un problema?
¿Por qué esperarías que ocurriera esto?
Cumplimiento Externalidades Desgaste Introducción Soluciones
Sesgo de desgate: un ejemplo
Además, quieres medir el impacto sobre crecimiento de los niños. Segundo resultado de interés: peso del niño.
Tienes todas las escuelas (tratamiento y control) y mides a todos los que están en la escuela en un día en particular.
La diferencia de peso entre el tratamiento y el control estará sobreestimado o subestimado?
Cumplimiento Externalidades Desgaste Introducción Soluciones
Antes Después
T C
20 20
25 25
30 30
25 25
T C
22 20
27 25
32 30
27 25 Promedio
Diferencia: 0 Diferencia: 2
Cumplimiento Externalidades Desgaste Introducción Soluciones
Antes Después
T C
perdido perdido
25 25
30 30
25 25
T C
22 perdido
27 25
32 30
27 27.5 Promedio
Diferencia: 0 Diferencia: -0,5
¿Pero qué pasa si solo los niños que pesan más de 21 Kg van a clase?
Cumplimiento Externalidades Desgaste Introducción Soluciones
Tipos de Desgaste
No hay problema si Las tasas de desgaste son iguales en tratamiento
y control
Quienes salen de la muestra y quienes no salen son iguales
Diferencia correlacionada con el tratramiento: Los patrones de desgaste son distintos en cada
grupo
Plantea dudas acerca de la validez interna
Comprueba equilibrio en la línea de base y la línea de seguimiento
24
Cumplimiento Externalidades Desgaste Introducción Soluciones
Tipos de Desgaste
Diferencias no correlacionadas con tratamiento Tasas de desgaste en ambos grupos (T y C)
Los que se van de mi muestra tienen características distintas
No es una amenaza a la validez interna
El problema es la validez externa: • ¿Que puedo conlcuir sobre el efecto del tratamiento
sobre aquellas personas que se van de la muestra?
• Depende de si creo que la magnitud del efecto del tratamiento está correlacionada con las causas de desgaste
25
Cumplimiento Externalidades Desgaste Introducción Soluciones
Soluciones
¿Qué hacer? Asigna recursos para el seguimiento de los
participantes aunque abandonen el programa.
Comprueba si hay diferencias entre
tratamiento y control.
Comprueba que el desgaste no esté
correlacionado con características
observables.
Trata de limitar el alcance del sesgo.
26
Cumplimiento Externalidades Desgaste Introducción Soluciones
Cumplimiento imperfecto
Podría existir sesgo si factores ajenos a la
asignación aleatoria inciden en quién recibe
efectivamente el programa.
Aún si la intención de asignar es aleatoria, quién
recibe el programa podría no serlo.
Cumplimiento imperfecto ocurre cuando:
Personas en tratamiento no reciben el
tratamiento.
Personas en control reciben tratamiento.
28
Cumplimiento Externalidades Desgaste Introducción Soluciones
Incumplimiento con asignación a tratamiento
Individuos en el grupo de control podrían querer
entrar al grupo de tratamiento.
Programa de alimentación: los padres podrían
intentar inscribir a sus hijos en escuelas tratamiento.
Individuos en tratamiento podrían no recibirlo.
Programa de alimentación: algunos estudiantes
asignados a escuelas tratamiento podrían traer su
propia comida, o podrían optar por no comer en
absoluto.
Cumplimiento Externalidades Desgaste Introducción Soluciones
Población
Objetivo
No es parte
de la
Evaluación
Muestra de
Evaluación
Grupo de
tratamiento
Participantes
Ausencias
Grupo de
Control
No Participan
Control
tratado
Selección
Aleatoria
No!
¿Qué se puede hacer?
¿Se puede cambiar?
Cumplimiento imperfecto
Cumplimiento Externalidades Desgaste Introducción Soluciones
Error típico
Si bien puede ser tentador, NUNCA NUNCA :
Intercambie a las personas dentro de los grupos
experimentales en función de si recibieron el
tratamiento o no. Por ejemplo: • Colocar en el grupo de tratamiento a aquellos individuos del grupo de
control original que sí recibieron el tratamiento.
• Colocar en el grupo de control a aquellos individuos del grupo de
tratamiento original que no recibieron el tratamiento.
Eliminar de la muestra aquellos casos que no cumplen con el
protocolo de asignación.
Ambos ajustes harían que el diseño no tuvieran validez
interna.
Cumplimiento Externalidades Desgaste Introducción Soluciones
Población
Objetivo
No es parte
de la
Evaluación
Muestra de
Evaluación
Grupo de
tratamiento
Participantes
Ausencias
Grupo de
Control
No Participan
Control
tratado
Selección
Aleatoria
Cumplimiento imperfecto
Se puede comparar los
grupos originales…
Cumplimiento Externalidades Desgaste Introducción Soluciones
Cumplimiento imperfecto
¿Qué hacer?
Solución ideal: Prevenir de antemano
No siempre realista
Siempre estar al tanto de si sucede.
Si sucede: No cometer el error típico.
Preserve los grupos de acuerdo a su asignación inicial.
Considere los siguientes enfoques...
33
Cumplimiento Externalidades Desgaste Introducción Soluciones
Análisis de resultados
¿Cómo evitar sesgos por
incumplimiento?
Imaginemos una campaña
de vacunación en aldeas.
78% de las personas en
aldeas tratamiento reciben
vacuna.
Cumplimiento Externalidades Desgaste Introducción Soluciones
Análisis de resultados
¿Qué hacer?
¿Comparar los resultados de los vacunados
y no vacunados?
Cumplimiento Externalidades Desgaste Introducción Soluciones
¿Qué grupos se pueden comparar?
Tratamiento Control
Vacunado
No vacunado
Cumplimiento Externalidades Desgaste Introducción Soluciones
¿Cuál es la diferencia entre los dos grupos aleatorios?
Tratamiento Control
Vacunado
No vacunado
Cumplimiento Externalidades Desgaste Introducción Soluciones
Aldeas Tratamiento 50% infectado
Aldeas Control 75% infectado
Intención de Tratar (ITT)
Cumplimiento Externalidades Desgaste Introducción Soluciones
Intención de Tratar (ITT)
E (Y|Asignado=1) = resultado promedio entre los individuos de aldeas asignadas a tratamiento.
E (Y|Asignado=0) = resultado promedio entre los individuos de aldeas asignadas a control.
ITT = E(Y|Asignado=1) – E(Y|Asignado=0)
ITT = 50% − 75% = -25 puntos porcentuales.
Cumplimiento Externalidades Desgaste Introducción Soluciones
Intención de Tratar (ITT)
¿Qué mide la Intención de Tratar?
“¿Cual es el impacto promedio de ofrecer el tratamiento a un grupo poblacional determinado?”
Es un impacto causal, siempre y cuando la asignación aleatoria sea válida y no haya amenazas a la integridad del experimento.
Cumplimiento Externalidades Desgaste Introducción Soluciones
ITT es útil cuando…
Se relaciona más con la implementación real de un programa.
Por ejemplo, puede ser que no me importe el efecto médico de un tratamiento de desparasitación, sino qué pasaría con un programa de desparacitación en el mundo real.
Si algunos estudiantes no asisten a la escuela y no reciben el medicamento de desparacitación, la estimación de ITT puede ser la más relevante.
Cumplimiento Externalidades Desgaste Introducción Soluciones
Tenemos que ajustar la estimación del efecto ITT
para tener en cuenta que no todos los que son
asignados a tratamiento lo reciben.
¿Cómo hacerlo?
La asignación aleatoria ya no es suficiente para estimar
el impacto causal del programa sobre los que fueron
tratados.
Necesitamos asumir que la asignación a cualquiera de
los grupos no tiene impacto sobre los resultados: solo
hay efectos por participar del tratamiento, no por recibir
incentivos a participar.
43
¿Y los efectos sobre aquellos que fueron tratados?
Cumplimiento Externalidades Desgaste Introducción Soluciones
LATE
En general, la aleatorización crea tres subgrupos, presentes en la misma proporción en los dos grupos de comparación:
Los que siempre toman el programa (Always takers): Sujetos que siempre son tratados.
Los que nunca toman el programa (Never takers): Sujetos que nunca son tratados.
Y los que cumplen (Cumplidores): Sujetos para los cuales la asignación determina si reciben el programa.
44
Cumplimiento Externalidades Desgaste Introducción Soluciones
¿Quién recibe el tratamiento?
0
0,2
0,4
0,6
0,8
1
1,2
Treatment Control
Act
ual
ly T
reat
ed
Always takers Always takers
Cumplidores Cumplidores
Never takers Never takers
Tratados No tratados
Cumplimiento Externalidades Desgaste Introducción Soluciones
LATE
Estos experimentos solo generan un cambio en la probabilidad de recibir el programa entre aquellos que son “cumplidores”, por lo tanto solo podemos estimar el efecto del tratamiento para este grupo.
Llamamos a esto, Efecto Promedio de Tratamiento Local o “Local Average Treatment Effect” (LATE).
46
Cumplimiento Externalidades Desgaste Introducción Soluciones
Estimador LATE
E(Y | Asignado=1) – E(Y | Asignado=0)
Pr (Vacunado | Asignado=1) − Pr (Vacunado | Asignado=0)
Cumplimiento Externalidades Desgaste Introducción Soluciones
Caso especial de LATE: TOT
Solo hay “never takers”, no hay “always
takers”.
En esta caso, solo estamos tratando a los
“cumplidores”.
Esta estimación de LATE= efecto de
tratamiento sobres los tratados (TOT).
48
Cumplimiento Externalidades Desgaste Introducción Soluciones
Múltiples resultados
¿Podemos estudiar varios resultados?
Cuantos más resultados analices, más probable es que algunos sean estadísticamente significativos por azar
Especifica de antemano los resultados de interés
Informa de todos los resultados medidos, incluyendo los no significativos
Corrige los tests estadísticos (Bonferroni)
Cumplimiento Externalidades Desgaste Introducción Soluciones
Variables de control
¿Por qué incluir variables de control?
Podrían explicar parte de la variación y mejorar el poder estadístico
¿Por qué no incluir variables de control?
Da la apariencia de “búsqueda de especificación”
¿Qué variables de control incluir? Si la aleatorización es estratificada: incluye efectos fijos de estrato
Otras variables de control
Regla: Reporta tanto las diferencias “crudas” como los resultados ajustados por medio de regresión
Cumplimiento Externalidades Desgaste Introducción Soluciones
Amenazas para la validez externa
Las personas pueden reaccionar distinto
al saber que son parte de una evaluación.
¿Puedo generalizar los resultados?
Cumplimiento Externalidades Desgaste Introducción Soluciones
Amenazas a la validez externa: Cambios de conducta en evaluación.
Una limitación de la evaluación es que las personas bajo estudio pueden cambiar su comportamiento debido a la evaluación misma. Si el grupo de tratamiento cambia su comportamiento: efecto de
Hawthorne.
Si el grupo de comparación cambia de comportamiento: efecto de John Henry.
Tratemos de minimizar la importancia de la evaluación tanto como sea posible.
Consideremos incluir solo a los individuos del grupo de control para quienes obtuvimos medidas en la línea de seguimiento.
Cumplimiento Externalidades Desgaste Introducción Soluciones
¿Puedo generalizar los resultados?
Depende de tres factores:
Implementación de programa: ¿puede ser
replicado a escala nacional?
Muestra: ¿es representativa?
Resultados sensibles: ¿podría un programa
similar, pero con alguna pequeña variación,
tener el mismo impacto?
Cumplimiento Externalidades Desgaste Introducción Soluciones
Conclusión
Existen muchas amenazas a la validez interna
de una evaluacion experimental…
…algo que tambien sucede en otro tipos de
evaluaciones.
Las evaluaciones aleatorias:
Facilitan un análisis simple y poderoso.
• Permiten poca capacidad de manipulación con respecto a
resultados (y esto es bueno).
Permiten varios tests para comprobar la validez
interna del experimento.
Cumplimiento Externalidades Desgaste Introducción Soluciones
¡Gracias!
56
Leigh Linden
Assistant Professor of Economics and Public Affairs
University of Texas, Austin