Embed Size (px)
DESCRIPTION
Presentación llevada a cabo por Stefano Cabras (Universidad Carlos III y Università di Cagliari) y J.D. Tena (Universidad Carlos III y Università di Sassari) en el curso de la UIMP "Mejorando la educación entre todos", celebrado en Santander del 30 de Junio al 2 de Julio. El objetivo del estudio es computar el efecto causal de ICT sobre el rendimiento de los estudiantes en la prueba PISA 2012, salvando las problemáticas de acceso a la información, ya que para calcular este efecto causal deberían ver la respuesta de cada estudiante que usa ordenador en la escuela y el mismo estudiante sin dicho uso de computador, a través de técnicas de estimación.
Citation preview
ESTIMACIÓN DEL EFECTO
CAUSAL DE LA INVERSIÓN EN
TECNOLOGÍA SOBRE EL
RENDIMIENTO DE LOS
ESTUDIANTES ESPAÑOLES EN
LA PRUEBA PISA.
Stefano Cabras, Universidad Carlos III y Università
di Cagliari.
J.D. Tena, Universidad Carlos III y Università di
Sassari.
ESTRUCTURA DE LA PRESENTACIÓN
1. Motivación
2. Estudios similares.
3. Modelos BART en inferencia causal
4. Estadística descriptiva
5. Resultados
6. Conclusiones 2
1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
3
“No, mother, I could not feel your church group praying for
my safety. The fact that I’m home safe is not proof that it
worked, that logic is Post Hoc Ergo Propter Hoc.” Sheldon
Cooper in The Big Bang Theory, "The Electric Can Opener
Fluctuation".
1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
4
“Le nez de Cléopâtre: s’il eût été plus court, toute la face de la terre
aurait changé” Blaise Pascal.
1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
Realizar inferencia causal es una tarea muy dificil en ciencias sociales.
Problema: conocemos lo que ocurre después de un determinado tratamiento pero no conocemos el contrafactual.
Algunos ejemplos:
Como evoluciona mi dolor de cabeza después de tomar una aspirina.
Como reacciona mi equipo de futbol después de cambiar de entrenador.
El efecto de una determinada política económica sobre mi variable de interés.
El incremento de la lluvia después de bailar la danza de la lluvia.
5
1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
6
1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
Problema: en general existen variables que no observamos y que están relacionadas con la probabilidad de un tratamiento. Esto conduce a conclusiones erroneas en muchos casos.
Situación extrema en ele momento de aplicar el tratamiento: retorno a la media.
Años de educación y habilidad innata de los estudiantes.
Equipación de los colégios y tipo de estudiantes que atraen.
Experimentos controlados no siempre son posibles y cuando lo son resultan muy caros o no éticos en muchos casos.
7
1. MOTIVACIÓN
Nuestro artículo estima el impacto causal de la inversión en tecnologías de la comunicación y la información (ICT) sobre el rendimiento educativo en matemáticas medido en el programa PISA 2012 en España.
Problema: de nuevo el tratamiento no es aleatorio porque es más probable que un estudiante sea asignado a una escuela equipada con computadores cuando su familia pertenece a un status sociocultural alta.
De este modo podría ser el entorno familiar (y no ICT) lo que determina una puntuación más favorable en el test de PISA comparable con otros estudiantes que provienen de un status sociocultural más bajo. 8
1. MOTIVACIÓN
Se trata con este problema usando una estrategia de estimación bayesiana conocida como Bayesian Additive Regression Trees (BART), Chipman et al. (2010) y Hill (2011).
Principal ventajas:
Forma funcional muy flexible que no requiere ningún tipo de hipótesis
sobre las variables consideradas en nuestro análisis.
Posibilidad de tratar con un elevado número de variables explicativas.
... y de estimar un gran número de efectos interactivos entre la variable de tratamiento y las demás.
Permite tratar con valores no observados sin necesidad de eliminarlos de la muestra.
9
2. LITERATURA RELACIONADA (EN ICT)
Un resumen preliminar de esta literatura puede ser
encontrado en Kirkpatrick y Cuban (1998).
Ausencia de consenso sobre el efecto de ICT en el desempeño
del estudiante.
Sin embargo, la mayoría de estos estudios están basados en
correlaciones simples entre ICT y el desempeño estudiantil
sin tener en cuenta otras variables.
El problema de endogeneidad ya discutido genera un
jusficado excepticismo sobre la validez de estos estudios
y la necesidad de usar procedimientos econométricos
que corrigan por el potencial sesgo de estimación. 10
2. LITERATURA RELACIONADA (EN ICT)
Algunas soluciones son:
1) Identificar una cierta política educativa que parte de una fuente que no está correlacionada con una política de interés, Angrist and Lavy (2002), Leuven et al. (2007), Machin et al. (2007) y Goolsbee y Guryan (2006).
2) Conducir un experimento que asigna de forma aleatoria a estudiantes dentro del grupo de tratamiento y control, Benerjee et al. (2007).
3) Usar una base de datos que contiene información relevante acerca de un gran número de variables explicativas. Fuchs y Woessman (2004) y Spiezia (2010).
11
3. MODELOS BART EN INFERENCIA CAUSAL.
- Nuestro objetivo es computar el efecto causal de
ICT sobre el rendimiento de los estudiantes en la
prueba PISA 2012.
- Para calcular este efecto causal deberiamos ver la
respuesta de cada estudiante que usa ordenador en
la escuela y el mismo estudiante sin dicho uso de
computador.
- Sin embargo, solo uno de ellos puede ser observado
y el otro debe ser estimado mediante técnicas de
estimación.
12
3. MODELOS BART EN INFERENCIA
CAUSAL.
Una vez se dispone de la estimación del efecto causal para cada individuo, el efecto total se calcula como una media ponderada de todos ellos.
Incluso si tenemos un conjunto de variables explicativas podemos estimar efectos causales condicionales a dichas variables.
Hipótesis fundamentales:
La asignación del tratamiento es aleatoria una vez que consideramos un conjunto de variables explicativas suficientemente amplio.
Indentificación es posible.
13
3. MODELOS BART EN INFERENCIA
CAUSAL
14
4 ESTADÍSTICA DESCRIPTIVA
La base de datos PISA contiene información sobre conocimientos y habilidades de estudiantes que están cercanos al final del periodo de educación obligatoria.
Nos centramos exclusivamente en el rendimiento de estudiantes en matemáticas usando PISA 2012. En total son 25,313 observaciones.
Se interpreta que cada observación se obtiene de una muestra aleatoria de la población total (valor plausible). Cada observación tiene un peso relativo de acuerdo a su importancia en la población total. 15
4 ESTADÍSTICA DESCRIPTIVA
Variables explicativas:
Características previas de los estudiantes
RELATIVE_AGE: periodo del año en el que el estudiante ha nacido.
GENDER: indicador del género.
EARLY_EDUCATION: indicador de si el estudiante ha asistido a educación preescolar.
Características socioeconómicas de la familia del estudiante
ESCS: Índice de status económico, social y cultural.
FAMSTRUC: Estructura familiar.
HEDRES: Recursos educativos en casa.
HISCED: Nivel educativo de los padres.
HISEI: Nivel ocupacional de los padres.
HOMEPOS: Posesiones en casa.
IMMIG: Status de inmigrante.
TIMEINT: Tiempo total de uso de computador (en minutos).
WEALTH: Renta.
School features
CLSIZE: Tamaño de clase . SCMATEDU: Calidad de los recursos educativos en la escuela. STRATIO: Ratio de estudiantes por profesor. SMRATIO: Ratio de estudiantes por profesor en matemáticas. SCHLTYPE: Indicador de tipo de propiedad en la escuela.
16
5. RESULTADOS
17
5. RESULTADOS
18
5. RESULTADOS
19
3. RESULTADOS
20
4. CONCLUSIONES
La metodología BART ofrece una interesante posibilidad de estudiar efectos causales en ciencias sociales.
Nuestra aplicación al análisis del efecto causal de ICT sobre el desempeño de los estudiantes en PISA muestra un efecto positivo, aunque moderado.
Este resultado depende, entre otras cosas, de un grupo de indicadores sociales y económicos de los estudiantes.
Dos posibles razones de este efecto moderado:
El número de observaciones no es suficientemente alto.
El efecto no es importante.
Se necesita más investigación sobre este tema...
21
