Diptico SPI

7/24/2019 Diptico SPI

1/4

Resea de Evaluacin de ImpactoSOPORTE PEDAGGICO INTERCULTURAL

Principalesresultados de la

evaluacin de impacto

de la estrategia desoporte pedaggico

intercultural (SPI)

Mejora del nivel de aprendizaje en comprensin lectora y en matemtica atribuido al SPI en las escuelasevaluadas en 2do grado de primaria en la ECE. El impacto es similar en matemtica y en comprensinlectoraMayor impacto sobre el nivel de aprendizaje en comprensin lectora y matemtica en los estudiantes de2do grado para escuelas intervenidas con el protocolo de soporte bilinge que para las escuelasintervenidas con el protocolo de soporte monolinge castellanoNo se encuentra un impacto signicativo del SPI en castellano como segunda lengua para escuelasevaluadas en la ECE en 4to de primariaLas escuelas evaluadas en la ECE de 2do grado con la estrategia de SPI muestran impactos ms altosdespus del primer ao de implementacin que los impactos en las escuelas con la estrategiaacompaamiento pedaggico evaluadas en la ECE en 2do grado

1 Los anlisis y contenidos del presente documento han sido realizados por el Equipo de Estudios e Investigaciones Presupuestales de la Direccin de Calidad del Gasto Pblico, de la Direccin General de Presupuesto Pblico, en elmarco del Presupuesto por Resultados (PpR)

Maestro acompaando a nios del pueblo nomatsigenga, Junn, MINEDU, 2014.


2/4


Segn la Evaluacin Censal de Estudiantes (ECE) de 2011, el 68% de losestudiantes de escuelas evaluadas en 4to grado de primaria en castellanocomo segunda lengua se encontraban debajo del nivel 1 de aprendizaje

(etapa inicial del desarrollo de aprendizajes). Si se desagrega esta infor-macin por lengua predominante en la escuela se obtiene que solo el1.5% de estudiantes con lengua materna Awajn se encontraban en elnivel 2 de aprendizaje (logro de aprendizaje es el esperado para el grado)mientras que solo el 1.2% de estudiantes cuya lengua materna es elShipibo obtuvieron el nivel 2 de aprendizaje y el 9% de estudiantes conlengua materna Quechua (Cusco Collao) alcanzaron ese nivel. Ade-ms, la misma fuente mostr una brecha considerable en logros deaprendizaje entre escuelas urbanas y rurales, dado que el 36.3% dealumnos en las escuelas urbanas evaluadas en 2do grado alcanzaron elnivel 2 de aprendizaje mientras que solo el 5.8% de alumnos en escuelasrurales evaluadas en 2do alcanzaron este nivel.

En 2012, la Direccin General de Educacin Intercultural, Bilinge y Rural

(DIGEIBIR) del Ministerio de Educacin (MINEDU) empez a disear laestrategia de Soporte Pedaggico Intercultural (SPI) con el objetivo demejorar los logros de aprendizaje de estudiantes monolinges y bilingesde Estudiantes de Educacin Bsica Regular (EBR) en Comunicacin,Matemtica, de zonas rurales dispersas y de frontera, a partir de partir de

2la conformacin de 73 Redes Educativas Rurales (RER) , quienes empe-zaron a recibir dicha intervencin a partir de mayo de 2014. El SPI con-siste en un acompaamiento pedaggico a docentes a travs de unequipo de agentes formadores de distintas especialidades temticasllamados Asistentes de Soporte Pedaggico Intercultural (ASPI). Los

3ASPI son docentes entrenados por un programa de formacin continuaencargados de brindar soporte pedaggico a los docentes de inicial,primaria y secundaria, as como promotores de las escuelas que confor-

man cada una de las redes. Cada RER tiene un equipo de 4 o ms ASPI,especializados en las siguientes temticas:

Inicial: Orienta a las profesoras y promotoras de los Centros de Educa-cin Inicial (CEI) y Programas no Escolarizados de Educacin Inicial(PRONOEI) en la planicacin, desarrollo y evaluacin de los aprendi-zajes, as como en el uso de cuadernos de trabajo y material concreto.

Lengua originaria: Orienta a profesores de los niveles de primaria ysecundaria en la planicacin, desarrollo y evaluacin del aprendizajede comunicacin en la lengua materna de los estudiantes cuando esuna lengua originaria.

Castellano: Orienta a los profesores de los niveles de primaria ysecundaria en la planicacin, desarrollo y evaluacin del aprendizajefundamental de comunicacin en castellano como lengua materna o

como segunda lengua, este ltimo cuando los estudiantes tengan unalengua originaria como lengua materna.

Matemtica: Orienta a profesores de los niveles de primaria y secunda-ria en la planicacin, desarrollo y evaluacin del aprendizaje funda-mental de matemticas, as como en el uso de cuadernos de trabajo.

Ciencias, Ciudadana y Produccin: Orienta a profesores de los nive-les de primaria y secundaria en la planicacin, desarrollo y evalua-cin de los aprendizajes fundamentales de ciencias y ciudadanadesde un enfoque productivo y a travs de proyectos, as como guiar-los para el uso de los cuadernos de trabajo.

El SPI se implementa a travs de visitas en aula y reuniones de asesorapedaggica, micro talleres de capacitacin a docentes, jornadas espe-ciales de re elaboracin de la prctica, pasantas a redes con buenasprcticas y visitas de inmersin cultural.

Asimismo, la DIGEIBIR deni dos protocolos de intervencin: protocolode soporte pedaggico bilinge para las RER bilinges y protocolo deintervencin monolinge castellano para las RER monolinges. Lasredes con intervencin monolinge cuentan con cuatro perles de ASPI:inicial, comunicacin, matemtica, productivo, ciencia y ciudadana, Las

redes con intervencin bilinge, adems de los ASPI de inicial, castellanocomo segunda lengua, matemticas, productivo, ciencia y ciudadana,cuentan con un ASPI de lengua originaria, que domina la lengua tanto anivel oral como escrito.

El nmero de escuelas beneciarias de las RER se ha incrementado,pasando de 1181 en 2012 a 2185 a la fecha, pues se aadieron 353escuelas en 2014 y 651 en 2015, que equivalen a 42 redes adicionales.La distribucin por niveles se muestra en el siguiente cuadro:

Seleccin de escuelas beneciaras.-

El proceso de seleccin escuelas beneciarias que conformaranlas 115 RER (90 RER bilinges y 25 RER monolinges) fue elsiguiente:

Para la conformacin de las RER bilinges, se seleccionaron los 15departamentos con mayor porcentaje de escuelas bilinges. Den-tro de estas 15 regiones, se seleccionaron los distritos que cum-plan siguientes criterios: pertenecer al programa Juntos, ser distri-tos del VRAEM o de frontera, tener Instituciones Educativas (IIEE)rurales y tener centros poblados cuya lengua principal no sea elcastellano. Luego, en una segunda etapa, se seleccionaron lasescuelas de dichos distritos de acuerdo a los siguientes criterios:escuelas de gestin pblica, que sean integradas (inicial, primaria ysecundaria en un mismo establecimiento) y que se encuentren enzona rural. En la ltima etapa, la conformacin de redes se hizo apartir de la priorizacin de las Unidades de Gestin Educativa Local(UGEL) donde se encontraban las escuelas seleccionadas. Dentro

de estas UGEL, se conformaron 1 o 2 redes utilizando principal-mente un criterio de cercana geogrca.

La conformacin de las RER monolinges se realiz a partir de lapriorizacin de UGEL donde no haya ninguna escuela bilinge y quehayan recibido acompaamiento pedaggico del programa presu-puestal logros de aprendizaje de la EBR. De igual manera, dentro decada UGEL se conform 1 o 2 redes.

La intervencin

2 Cada red est conformada por un grupo de escuelas que comparten cercana geogrca y pertenecen a los tresniveles de educacin: escuelas primarias, centros de educacin inicial y por lo menos una escuela secundaria.Cada red puede estar conformada entre 7 y 35 escuelas.

3 Los ASPIS son entrenados a partir de un plan de formacin en servicio en Gestin y pedagoga intercultural paracontextos rurales y bilinges que desarrollan los coordinadores y especialistas de la DIGEIBIR. Esta formacinest focalizada en generar capacidades para la construccin curricular con enfoque intercultural, el tratamiento delenguas, la participacin comunitaria en la gestin educativa y la formacin en la prctica para su reelaboracin.

Etiquetas de la 2012 2014 2015 Total general

2

25248

722

157

1181

1

20057

81

14

353

-

20830

392

21

651

3

660135

1195

192

2185

Inicial - Cuna-Jardn

Inicial - JardnInicial no escolarizado

Primaria

Secundaria

Total generalFuente: DIGEIBR.Elaboracin propia

Cuadro 1: Focalizacin de la intervencin por ao

Maestro acompaando a nios y nias del pueblo ashaninka, Junn, MINEDU, 2014.


3/4


La evaluacin de impacto del SPI es llevada a cabo por el Minis-terio de Economa y Finanzas (MEF) y forma parte de las evalua-ciones independientes del Presupuesto por Resultados (PpR),lideradas por la Direccin General de Presupuesto Pblico delMEF. Las evaluaciones independientes estn orientadas a gene-rar evidencia en torno a los efectos causales de las intervencio-nes pblicas y los resultados a los que ellas apuntan, as comode la magnitud de estos efectos y si estos son diferenciadosentre modalidades de intervencin.

Los resultados de la evaluacin de impacto del SPI permitirnvericar el cumplimiento de sus objetivos, generar evidenciaque permita mejorar su diseo y gestin, y proporcionar infor-macin conable en el proceso de toma de decisiones presu-puestales.

Para estimar el impacto de una intervencin, las metodologas deevaluacin buscan establecer la diferencia entre la situacin de losbeneciarios de la intervencin despus de haber participado enesta, en relacin con un grupo de comparacin que no haya sidointervenido. Este grupo de comparacin, tambin denominadogrupo de control, en promedio, debe ser muy similar al grupo bene-ciario en el momento que recibe la intervencin para poder aproxi-mar el escenario contrafactual o situacin en que se encontraran los

beneciarios al no recibir la intervencin.

Metodologa

Para encontrar un grupo de control vlido que permita estimar el impactodel SPI en el ao 2014, un ao aproximadamente despus de su inicio, seutiliz la metodologa de diferencias en diferencias combinada con tcnicasde emparejamiento (propensity score matching).Dado el proceso de seleccin de las escuelas beneciarias, para reducir elpotencial sesgo de seleccin y asegurar la comparabilidad de las IIEE queforman parte del grupo de tratamiento con las IIEE que forman parte delgrupo de control, se aplic una tcnica de emparejamientoentre las escue-las que fueron seleccionadas como beneciarias del SPI en 2012 (que

denen el grupo de tratamiento) y las escuelas que no haban recibido laintervencin en ningn ao.Este emparejamiento se hizo a partir de caractersticas de las escuelas enlos aos 2011 y 2012, y caractersticas distritales en los aos 2007 y2009, perodos previos al inicio de la intervencin. En general, se conside-raron las siguientes variables: i) puntaje promedio de la IIEE en las Evalua-ciones Censales del 2011 y 2012, ii) nmero de alumnos, iii) dummiesporregin, iv) pobreza y desnutricin distrital, v) caractersticas de la IIEE(categora de la IIEE, acceso a agua, electricidad, internet, material de piso,

4pared, techo, etc).En el cuadro 2, se muestra los resultados de este emparejamiento para lasescuelas evaluadas en la ECE de 2do grado y las escuelas evaluadas en laECE de 4to grado. Se observa que los promedios de las variables conside-

radas son estadsticamente iguales entre los grupos de tratamiento y con-trol. Por lo tanto, se considera que ambos grupos son equivalentes en lascaractersticas anteriormente mencionadas.Habiendo seleccionado las escuelas del grupo de control bajo la metodo-

loga de emparejamiento descrita previamente, se realiz la estimacin del5impacto utilizando una metodologa de diferencias en diferencias . La

primera diferencia mide el cambio en el logro de aprendizaje durante elperiodo evaluado tanto para el grupo de tratamiento como para el grupo decontrol, mientras que la segunda diferencia descuenta el efecto de las

variables no atribuidas a la intervencin en la variacin temporal del logrode aprendizaje del grupo de tratamiento, principal ventaja de esta metodo-loga. La unidad de anlisis de estas estimaciones estuvo conformada porlas escuelas y los alumnos de las escuelas que conformaron los gruposde control y tratamiento. El impacto se calcul para todas las escuelas

tratadas y evaluadas en la ECE de 2do grado y distinguiendo a las escuelasque recibieron protocolo de soporte bilingue de las escuelas que recibieronprotocolo de soporte monolingue. Asimismo, se reporta los resultadosobtenidos en castellano como segunda lengua en las escuelas evaluadasen la ECE de 4to grado, de manera complementaria.

Marco muestral

El marco muestral estuvo constituido por 15800 IIEE del padrn de escue-las pblicas de primaria que maneja la DIGEIBIR que contaba con informa-cin en el Censo Escolar (CE), que se distribuan entre 721 escuelas bene-ciaras y 15003 posibles escuelas de control. A esta muestra se le aplica-ron los ltros descritos en el cuadro 3. Como resultado del emparejamien-

to, la muestra de evaluacin estuvo conformado por 105 escuelas tratadas(74 con Protocolo de soporte bilinge y 31 con Protocolo de soportemonolinge castellano) y 163 escuelas de control evaluadas en la ECE en2do grado, as como, por 51 escuelas tratadas y 75 escuelas de controlevaluadas en la ECE de 4to grado.

La evaluacin

4 Las fuentes empleadas fueron el Censo Escolar y la Evaluacin Censal de Estudiantes.

5 Previamente, se corrigi el sesgo de seleccin muestral derivado de las escuelas evaluadas en ECE mediante lainclusin del ratio de Mills en la regresin, calculado a par tir de una estimacin xtlogit de la probabilidad de laescuela de ser evaluada en la ECE.

IIEE con informacin en la ECE 2012

Excluyendo aquellas beneciarias del PELA y gestin



IIEE emparejadas

A nivel de alumno (2012)

393

240

153

136

105

1185

8454

3161

2078

1607

163

1709

105

72

66

-

51

638

1534

664

563

-

75

968

Tratados Controles ControlesTratadosFiltros

IIEE evaluadas en2do de primaria

IIEE evaluadas en4to de primaria

Cuadro 3. Distribucin de la muestra de evaluacin

IIEE evaluadas en2do grado de primaria

IIEE evaluadas en4to grado de primaria

Cuadro 2. Balance pre intervencin

Tratados Controles Tratados Controles

29.5%

19.0%

37.1%

61.3%

457.6

466.3

469.2

468.8

-

12.778.6%

11.4%

29.5%

14.8%

39.2%

60.7%

454.8

460.3

464.8

462.5

-

12.179.2%

6.67%

21.6%

5.9%

71.0%

71.0%

-

-

-

-

449.8

11.883.0%

5.8%

18.6%

2.9%

83.1%

68.9%

-

-

-

-

447.2

10.983.0%

5.8%

La evaluacin de impacto de la estrategia deSoporte Pedaggico Intercultural en el marco delPresupuesto por Resultados

Variable

Caracterstica (1=Polidoc. C.)

Area (1=Urbano)

% de alumnos con L.M.I

Pobreza Distrital 2009

Puntaje ECE CL 2011

Puntaje ECE M 2011

Puntaje ECE CL 2012

Puntaje ECE M 2012

Puntaje ECE L2 2012

Alumnos evaluados ECE

% iiee multigrado x UGEL

Internet

Fuente: ECE, CE, Mapa de pobreza.Elaboracin propia

Fuente: ECE, CE, Mapa de pobreza.Elaboracin propia


4/4


Variables de resultado

Dentro del padrn de beneciarios del SPI, 393 escuelas fueron evaluadasen la ECE de 2do de primaria y 105 en la ECE de 4to de primaria, es decirpara el primer grupo, las variables de resultado que medan el logro deaprendizaje de los estudiantes empleadas fueron: Puntaje Rasch obtenido en comprensin lectora por cada alumno de

2do de primaria de las escuelas pblicas censadas de la ECE, en caste-llano como primera lengua.

Puntaje Rasch obtenido en matemtica por cada alumno de 2do deprimaria de las escuelas pblicas censadas de la ECE, en castellanocomo primera lengua.

Mientras que para el segundo grupo, la variable de resultado para medirlogro de aprendizaje fue: Puntaje Rasch obtenido en comprensin lectora en castellano como

segunda lengua por cada alumno de 4to de primaria de las escuelaspblicas censadas de la ECE (L2).

Los resultados que se reportan en el presente documento muestran elimpacto de los SPI un ao despus de su inicio, que corresponde a lamedicin de logros de aprendizaje de la ECE del ao 2014.

Mayor nivel de aprendizaje en comprensin lectora y en matemtica

atribuido al SPI.El impacto del soporte pedaggico intercultural es positi-vo y signicativo en el nivel de aprendizaje, medido por el puntaje Rasch encomprensin lectora y en matemtica, este impacto es similar en ambosindicadores cuando se evala el total de escuelas que fueron evaluadas en2do grado independientemente del modelo de intervencin que recibicada una (entre 0.27 y 0.39 desviaciones estndar en el puntaje Rasch.

Cabe mencionar que este resultado puede considerarse un impacto alto,pues en una revisin sistemtica a 30 evaluaciones de impacto de pro-gramas de educacin, realizada por Kremer, M., Conner, B. y Glennerster,R. (2013), 22 de estas tuvieron un impacto menor a 0.20 desviacionesestndar.

Mayor nivel de aprendizaje en comprensin lectora y en matemticaatribuido al SPI en RER con protocolo de soporte bilinge. Cuando serealiza el anlisis para las escuelas evaluadas en la ECE en 2do grado deprimaria que tuvieron una estrategia de soporte pedaggico bilinge, este

impacto se incrementa y resulta mayor pues el efecto atribuido a la inter-vencin implica un incremento entre 0.36 y 0.47 desviaciones estndar enel puntaje Rasch en comprensin lectora y un incremento entre 0.43 y 0.55desviaciones estndar en el puntaje Rasch en matemtica, para dichasescuelas. Estos resultados se observan en el cuadro 4 a continuacin.

No se encuentra un impacto signicativo del SPI en castellanocomo segunda lengua para escuelas evaluadas en la ECE en 4to deprimaria.El impacto del soporte pedaggico intercultural no es signi-cativo en el nivel de aprendizaje, medido por el puntaje Rasch en

castellano como segunda lengua bajo ninguna de las especicacio-nes analizadas.Asimismo, en la ECE en 2do grado de primaria como muestra elgrco 1, el impacto positivo se debi a que el promedio del puntajeRasch aument en las escuelas con SPI y en las escuelas de control,pero el incremento fue mayor para las primeras. El grco 1 tambinmuestra que los promedios de dichos puntajes entre las escuelas delgrupo de tratamiento y escuelas del grupo de control durante el pero-do previo al inicio de la intervencin siguieron tendencias similares.Los test de placebo apunta al mismo resultado.Impactos heterogneos del SPI segn categora y rea de laescuela. Se encuentra un impacto mayor, no robusto, sobre el apren-dizaje en comprensin lectora y en matemtica en las escuelas multi-

grado que en las escuelas polidocentes completas. El impacto enescuelas polidocentes llegara a ser de 0.46 desviaciones estndarmenos que para escuelas multigrado, este impacto diferenciado no semantiene para el caso de matemtica. Por otro lado, el programa notiene un efecto heterogneo por rea.

Principales hallazgos

diferencias signicativas:* al 10%,** al 5%,*** al 1%.

(1) Escenario base sin covariables(2) Escenario con covariables, las covariables

incluidas en la regresin fueron: nmero de

alumnos, caracterstica, rea, juntos,electricidad, agua, internet, piso, pared,techo, alumnos evalua dos en ia ECE,porcentaje de alumnos con lengua maternaind gena, durac in de la jornadapedaggica, nmero de alumnos porseccin, nmero de alumnos por do cente,regin, mills y efectos jos por UGEL ycluster por UGEL

(3) Escenario de Efectos jos por iiee concovariables y cluster UGEL

(4) Escenario con Efectos jos por iiee concovariables y cluster IIEE

Cuadro 4.

Impactos estimados

Coef.Impactoen D.E.

Impactoen D.E.

Coef.Impactoen D.E.

Coef.Impactoen D.E.

Coef.Impactoen D.E.

Coef.

Doble Diferencia (DD) Xtreg Doble Diferencia (DD)

A nivel de escuela A nivel de alumno

(1)

21.0**

33.0**

26.3*

44.6**

3.73

(1)

0.33

0.35

0.40

0.49

N.S.

(2)

25.3**

37.2**

30.9*

50.3**

2.81

(2)

0.39

0.39

0.47

0.55

N.S

(1)

28.2***

41.1***

28.7**

48.2**

-16.14

(1)

0.35

0.35

0.36

0.44

N.S.

(3)

21.0**

32.1**

32.5**

49.6***

-3.24

(3)

0.33

0.34

0.49

0.54

N.S.

(4)

21.7**

32.9**

32.2**

48.1**

-4.30

(4)

0.27

0.28

0.40

0.43

N.S.

Variable

Puntaje Rasch CL

Puntaje Rasch M

Puntaje Rasch CL

Puntaje Rasch M

Puntaje Rasch L2

Total

IIEE

IIEE

con

Protocolo

de

soporte

bilinge

Grco 1. Evolucin del puntaje Rasch promedio en comprensin lectora ymatemticas para las escuelas del grupo de tratamiento y grupo de control

evaluadas en la ECE en 2do grado de primaria

Tratados Controles

Rendimiento promedio en comprensin lectora2011 - 2014

Rendimiento promedio en matemtica2011 - 2014

520

510

500

490

480

470

460

450

440

430

420

PuntajeRusch

2010 2011 2012 2013 2014

PuntajeRusch

2010 2011 2012 2013 2014

Fuente: ECE 2010 - 2014.Elaboracin propia

Tratados Controles

520

510

500

490

480

470

460

450

440

430

420

Documents

Diptico SPI