VIC
EPR E
S ID
ENCIA DE LA REPÚBLICA D
OM
INI CA
NA
Una aplicación de escuelas efectivas en laRepública Dominicana: un estudio exploratorio
Dirección general:Margarita CedeñoVicepresidenta de la República y coordinadora del Gabinete de Coordinación de Políticas Sociales.
Coordinación e implementación:Observatorio de Políticas Sociales y Desarrollo (OPSD), Acción Empresarial por la Educación EDUCA y Banco Interamericano de Desarrollo (BID).
Autores-Investigadores: Carlos Isaías Ramos, Jomayra Patricia Mones y Jerson Del Rosario.
Equipo técnico del OPSD: Anna Cristina Hernández, Jerson Del Rosario, Jean David de Jesús, Edison Rodríguez, Yosendi Reyes y Gina Trejo.
Equipo técnico de EDUCA: Darwin Caraballo, José Alexander García, Nathalie De la Cruz y Manuel Méndez.
Colaboración especial: Luis Crouch.
Participación en taller de discusión:Asociación de Instituciones Educativas Privadas (AINEP), Asociación Dominicana de Profesores (ADP), Didáctica, Distrito Educativo 15-03, Facultad Latinoamericana de Ciencias Sociales (FLACSO), Foro Socioeducativo, Fundación Sur Futuro, Gabinete de Coordinación de Políticas Sociales (GCPS), Grupo Consultor Pareto, Instituto Dominicano de Evaluacióne Investigación de la Calidad Educativa (IDEICE), Instituto Superior de Formación Docente Salomé Ureña (ISFODOSU), Instituto Tecnológico de Santo Domingo (INTEC), Ministerio de Economía, Planificación y Desarrollo (MEPyD), Ministerio de Educación de la República Dominicana (MINERD), Ministerio de Hacienda de la República Dominicana, OPD-Funglode, Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI-RD), University of Massachusetts Lowell (UMASS LOWELL).
Diseño y diagramación: Freddy Alcántara.
Corrección de estilo:Milena Herazo.
ISBN: 978-9945-494-53-2 Santo Domingo, 2019.
Una aplicación de escuelas efectivas en laRepública Dominicana: un estudio exploratorio
VIC
EPR E
SID
ENCIA DE LA REPÚBLICA D
OM
INI CA
NA
4
5
Resumen
En esta investigación se construyó una lista de escuelas de acuerdo a una metodología que
tomaba en cuenta indicadores de efectividad, dado su nivel socioeconómico. Se recolectó
información de 37 escuelas, de las cuales 30 pertenecían a la parte alta del ranking
correspondiente a escuelas efectivas y 7 a la parte baja de la lista correspondiente a escuelas
no efectivas que sirvieron como contraste.
El propósito del acercamiento era encontrar las características no tradicionales que diferencian
los desempeños y resultados de los estudiantes en cada tipo de escuelas. Encontramos
que la falta de fondos y la gestión de la administración son las dos claves que diferencian
escuelas con buen desempeño de las de mal desempeño, tomando en cuenta características
sociodemográficas similares.
6
7
Introducción ....................................................................................... 9
1. Marco teórico ............................................................................... 11
1.1 Origen del concepto de las escuelas efectivas ..................................... 12
1.2 Escuelas efectivas y el personal docente ............................................. 15
1.3 Escuelas efectivas y liderazgo del director/a ....................................... 17
1.4 Expectativas del docente y los padres en los estudiantes ....................... 18
1.5 Clima escolar ................................................................................. 19
2. Antecedentes ............................................................................... 21
2.1 Cobertura y oferta ........................................................................... 23
2.2 El financiamiento ............................................................................. 23
2.3 Las reformas educativas de los últimos años ........................................ 25
2.4 Estado de los determinantes de las escuelas efectivas en el país ............. 27
2.5 Calidad docente en República Dominicana ......................................... 28
2.6 Clima escolar ................................................................................. 29
3. Identificando escuelas efectivas .................................................... 31
4. Estrategia empírica ...................................................................... 33
4.1 Estrategia de identificación de escuelas efectivas ................................. 35
Contenido
8
5. Ranking de escuelas efectivas ....................................................... 51
6. Robustez del ranking ................................................................... 55
7. Clustering .................................................................................... 59
8. Mapa ........................................................................................... 63
9. Descripción centros entrevistados ................................................. 67
9.1 Gestión de escuelas ......................................................................... 71
9.2 Prácticas docentes ........................................................................... 80
9.3 Otras características cualitativas ....................................................... 83
10. Conclusión ................................................................................. 87
11. Referencias ................................................................................ 93
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. Contenido
9
En la sociedad moderna, la educación constituye una de las esferas más importantes
del desarrollo humano. Su impacto permea diversas áreas de la vida de los individuos,
principalmente en la movilidad social, en la participación cívica y en las capacidades
y aprendizajes a lo largo del ciclo de vida. El desarrollo económico de las naciones
depende en parte de la creación de una masa amplia de personas formadas que se
vinculen al trabajo productivo y que sean capaces de crear valor e innovación en el
sistema económico. Para ello, la calidad de la educación preuniversitaria es un pilar
para que estos logros educativos se transformen en activos generadores de riqueza.
Existe un amplio consenso entre los expertos en educación en que las experiencias
educativas en los primeros años de vida son fundamentales para los aprendizajes
y el desarrollo de habilidades complejas en la edad adulta, y a largo plazo, son
el factor clave para la generación de capital humano competitivo. En ese contexto,
la República Dominicana, como otros países en vías de desarrollo, se enfrenta
a una encrucijada de cambio de paradigma, en la que las naciones del mundo
estáncompelidas a mejorar un modelo de educación que se transforma rápidamente y
el cual demanda que los sistemas nacionales se ajusten a un entorno cambiante,
y dinámico.
Introducción
10
A pesar de los importantes incrementos en la inversión en el sector educación de los
últimos años, las escuelas dominicanas aún enfrentan retos importantes en términos
de oferta curricular y de calidad de los aprendizajes. Considerando que el proceso
de enseñanza-aprendizaje es multifactorial, en el cual el ingreso de las familias
tiene un rol determinante, las situaciones adversas del sistema educativo perjudican
desproporcionalmente a los estudiantes de los estratos socioeconómicos más bajos.
En este sentido, el presente trabajo representa un esfuerzo para identificar prácticas
efectivas en centros que atienden estudiantes de bajos recursos.
La metodología de investigación utilizada estudia escuelas efectivas desde la
década de los 60, haciendo acercamientos a escuelas que atienden poblaciones
de escasos recursos pero que obtienen resultados académicos aceptables, con el
objetivo de identificar patrones replicables. Es decir, busca entender cuáles aspectos
hacen que las escuelas sean efectivas a pesar de las dificultades familiares que
enfrentan sus estudiantes. Esta caracterización puede ser un insumo importante para
la conceptualización y diseño de políticas públicas focalizadas que reduzcan las
brechas educativas entre poblaciones de bajo ingreso y el resto del estudiantado.
A continuación, se presenta una descripción de la metodología propuesta, así como
resultados de una aplicación para escuelas efectivas en la República Dominicana.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. Introducción
11
1Marco teórico
12
1.1 Origen del concepto de las escuelas efectivas
Tradicionalmente, tanto investigadores como hacedores de política intentan lograr
producir bienes públicos que sean efectivos (logren el objetivo para el que fueron
diseñados) y que sean eficientes (su producción utilice una cantidad óptima de
recursos). En el caso de la educación pública, la búsqueda de eficiencia usualmente
lleva a los actores a insertar elementos de mercado a la oferta educativa o a manipular
de manera directa los insumos de la función de producción de la educación. Sin
embargo, la literatura de escuelas efectivas que inicialmente intentaba identificar
cuáles mecanismos garantizaban la efectividad en los años 60, pasó en los años 70
a concentrarse en la provisión del servicio a estudiantes en riesgo y/o en condiciones
de pobreza (Levin & Lockheed, 2012).
El concepto de escuelas efectivas fue popularizado por Edmonds (1979) y Brookover
& Lezotte (1979), quienes cuestionaban cuáles eran las características de aquellas
escuelas que eran capaces de proveer educación de calidad a estudiantes de zonas
marginadas. Estas preguntas promovieron la idea de que era posible identificar los
aspectos de estas escuelas que las hacían diferentes de otras escuelas que proveían
educación a estudiantes de bajos recursos, pero con resultados no satisfactorios.
Asimismo, se popularizó la noción de que, si estos aspectos eran replicables, podrían
servir de gran ayuda para mejorar los resultados educativos en zonas de pobreza alta.
Los esfuerzos para estudiar estas características usualmente escogen escuelas
basándose en resultados deseables del proceso educativo y se clasifican como
«efectivas». Los primeros estudios de escuelas efectivas de los años 70 realizaban
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
13
análisis estadísticos para identificar valores extremos en los resultados promedio
de las escuelas en pruebas estandarizadas. Estas escuelas eran luego analizadas
en la búsqueda de elementos distintivos que pudieran ser replicables en contextos
socioeconómicos similares.
Edmonds (1979) seleccionó escuelas basado en pruebas estandarizadas e identificó
cinco características en su esfuerzo por identificar patrones replicables en escuelas
efectivas de zonas urbanas pobres de Estados Unidos: 1) Liderazgo del director,
2) Énfasis en la enseñanza de habilidades básicas (ej. lectoescritura, aritmética),
3) Ambiente escolar ordenado y limpio, 4) Altas expectativas de los docentes en sus
estudiantes y 5) Evaluación continua de los estudiantes para monitorear su progreso.
A pesar de los resultados pioneros de la investigación, la comunidad académica
cuestionó la forma en la que se identificaron las escuelas efectivas, en particular
insistiendo que los resultados promedio de pruebas estandarizadas no eran consistentes
para todos los grados dentro de una escuela, adicionalmente los resultados diferían
significativamente cuando se controlaba por indicadores de nivel socioeconómico
(Aitkin & Longford, 1986).
En la década de los 80, la comunidad académica empezó a definir técnicas distintas
para seleccionar las escuelas efectivas. A partir de las críticas de diversos autores
(Raudenbush & Birk (1986), Aitkin & Longford (1986), Goldstein (1987) y Longford
(1987)) emergieron beneficios de la utilización de modelos de componente de
varianza o multinivel para mejorar la identificación de las escuelas efectivas utilizando
microdatos en lugar de valores agregados propuestos previamente. Otros autores
proponen incluir otros parámetros adicionales a los modelos que analizan resultados
de pruebas estandarizadas.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
14
Downer (1991) propone que una definición de escuela efectiva debe combinar
elementos de logro académico y de desarrollo emocional. Es decir, son escuelas
efectivas aquellas que logran resultados de aprendizajes apropiados y que al mismo
tiempo logran construir actitudes ciudadanas, buenas prácticas de convivencia y, en
general, habilidades para la vida.
Estas críticas han contribuido a que mejoren las estrategias de identificación y se
popularicen los estudios que tienen la intención de replicar escuelas efectivas en
particular, el uso de modelos multinivel (Creemers, et al. 1990; Lockheed & Bruns,
1990; Reynolds et al. 1988). Sin embargo, la metodología de selección de escuelas
no es la única crítica a las propuestas iniciales de estudio de escuelas efectivas,
siendo otra crítica importante la simplicidad de las características identificadas como
inherentes a las mismas. En particular, las características identificadas inicialmente han
sido categorizadas como manifestaciones simplistas de problemas muy complejos y que
difícilmente pudieran considerarse como replicables porque se expresan de forma muy
general. A partir de las críticas a las características de escuelas efectivas, los aspectos
estudiados fueron ganando mayor nivel de detalle en el tiempo. Purkey & Smith (1983)
clasificaron las características en organizacionales y de procesos, incluyendo aspectos
tan específicos como sentido de comunidad y estabilidad del personal utilizando datos
del contexto estadounidense. Mortimore et al. (1988) realizaron el análisis para el
caso de escuelas primarias en Inglaterra encontrando resultados similares y ofreciendo
características más específicas como son consistencia entre los profesores, registro de
actividades y sesiones de clases estructuradas.
Los esfuerzos de investigación en países en desarrollo han identificado fuentes de
variación aplicables a contextos distintos a los estudiados previamente en Estados
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
15
Unidos y Reino Unido. Fuller (1998) destaca la importancia de insumos materiales en
las variaciones entre escuelas en el desempeño académico de países en desarrollo.
En este sentido, Levin & Lockheed (2012) argumentan que en el caso de los países
no desarrollados, la creación de una escuela efectiva enfrenta el riesgo principal de
contar con los insumos que la harían clasificar como una escuela, y que para poder
crear una, se necesita en primer lugar disponer de insumos básicos, luego condiciones
favorables para innovar, así como voluntad para realizar cambios drásticos.
En la actualidad, el estudio de escuelas efectivas se ha afianzado en la comunidad
académica, en especial en países desarrollados que, en general son los que cuentan con
mejor disponibilidad de datos de pruebas estandarizadas. Asimismo, la proliferación
de estos estudios ha provisto de cada vez más detalles sobre los factores asociados
al fenómeno de efectividad escolar en contextos de pobreza, analizando elementos
considerados como dinámicos en lugar de estáticos que pueden cambiar en el tiempo y
que dependen de niveles de proceso (distritos educativos, escuelas, aulas etc.) (Creemers
& Kyriakides, 2008). A continuación, se presentan algunas de las características más
populares en los hallazgos del estudio de escuelas efectivas.
1.2 Escuelas efectivas y el personal docente
Uno de los aspectos que se asocian con mayor frecuencia a escuelas efectivas es
la calidad del personal docente. En las últimas décadas ha sido muy estudiado el
efecto que tiene la calidad docente en el rendimiento de los estudiantes (Rockoff,
2004). Sin embargo, también se ha logrado cierto consenso en la dificultad que
representa para las políticas públicas ejecutar acciones para homogenizar la
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
16
calidad de los docentes en las escuelas de un sistema público. Esto, es una consecuencia
de diversos factores como son que no todas las escuelas son capaces de atraer a
docentes de la misma calidad (Lankford et al. 2002), que los docentes tienen preferencias
por estudiantes de ciertas características y ubicaciones que determinan cómo éstos se
distribuyen dentro del sistema (Boyd et al. [2005], Hanushek et al. [2004], Scafidi et
al. [2008]), entre muchas otras.
Por tanto, la relación entre la calidad docente y las escuelas efectivas es quizás la
menos replicable de las características resultantes de los esfuerzos de identificación.
Sin embargo, la relación es consistentemente parte de las listas creadas como
consecuencia de análisis de este tipo. Por ejemplo, utilizando datos administrativos
de un distrito educativo de Estados Unidos, Loeb et al. (2012) emplearon modelos
de valor agregado docente para estudiar la relación entre la efectividad escolar y
varios aspectos de carrera docente relacionados al centro educativo. Sus resultados
sugieren que las escuelas efectivas suelen tener más habilidad para contratar
docentes de calidad, asignan docentes más novatos a estudiantes con menos
dificultades y que son más capaces de retener docentes efectivos (aun cuando
tengan dificultades para despedir docentes no efectivos).
Considerando las dificultades que enfrentan las escuelas para retener profesores de
calidad y para mejorar la calidad de sus profesores en general, West et al. (2014)
identificaron como características de escuelas efectivas la figura de asesoramiento
profesoral constante usando como objeto de estudio escuelas semi-privadas (Charter
Schools) con alta demanda en las comunidades y buenos resultados académicos como
referencia. Muchas de las decisiones docentes y no docentes que afectan la calidad
de la enseñanza de las escuelas efectivas están condicionadas por el tipo de liderazgo
que ejerza el/la director/a.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
17
1.3 Escuelas efectivas y liderazgo del director/a
El liderazgo educativo y prácticas de gestión de los directores de centro varían
significativamente de acuerdo al contexto institucional donde se encuentre. Esto,
fundamentalmente porque el espectro de decisiones que debe tomar un director puede
variar mucho de un país a otro o incluso de una escuela a otra. Sin embargo, se han
asociado ciertas características de buena gestión y liderazgo del director con escuelas
de alta calidad (Darling-Hammond et al., 2007) y mejores resultados académicos
(Branch et al. 2008). Los estudios más destacados sobre escuelas efectivas citan el
liderazgo del director y el éxito de este en implantar valores y sensación de pertenencia
en la escuela como determinantes para el logro de resultados académicos satisfactorios.
De manera específica, las características del liderazgo vinculadas a escuelas efectivas,
se asocian a las relaciones con el personal del centro (Brookover & Lezotte 1979),
y consideran además que el liderazgo del director en asumir la responsabilidad de
la evaluación continua es un factor determinante en el logro de buenos resultados
académicos.
Más recientemente, Lai Horng et al. (2010) estudiaron las actividades que realizan
usualmente los directores con la finalidad de identificar cuáles aspectos estaban
relacionados con mayores niveles de efectividad. Utilizando métodos cuantitativos y
cualitativos-etnográficos, los autores pudieron concluir que los directores de escuelas
efectivas dedican más tiempo a actividades administrativas y organizacionales
en lugar de actividades de instrucción rutinaria. Teddlie & Reynolds (2000) por su
parte identificaron que las características más comunes del liderazgo de directores
de escuelas efectivas eran: 1) Firmeza y determinación, 2) Involucrar otros miembros
del equipo directivo en los procesos, 3) Ser un líder en aspectos de instrucción,
4) Monitoreo frecuente del personal y, 5) Seleccionar y reemplazar personal del centro
cuando sea necesario.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
18
1.4 Expectativas del docente y los padres en los estudiantes
La publicación del Coleman Report en 1966, que analizaba las problemáticas del
sistema educativo de la época, implicó el afianzamiento de la idea que relaciona
el nivel socioeconómico del estudiante con sus calificaciones. Desde los años 70,
diversos autores se han cuestionado si la estructura administrativa, cultura o relaciones
interpersonales de la escuela han reforzado las diferencias en las clases sociales dentro
de la escuela. De manera particular, si las escuelas saben que sus estudiantes tienen
pocas probabilidades de tener resultados satisfactorios dado su origen social y, en
consecuencia, de manera sistemática no se realiza un esfuerzo sensato para que estos
logren los objetivos curriculares.
Rist (1970) realizó un estudio observacional en escuelas preescolares, pudiendo
identificar prácticas docentes que replican (de forma involuntaria) las diferencias en
clases sociales de los estudiantes dentro del salón de clases. Brophy (1983) destaca
que estos patrones de conducta usualmente pasan desapercibidos porque de todas
formas la expectativa colectiva de la sociedad de estos estudiantes es que no cumplan
con sus objetivos de estudio, ya sea permanencia escolar o resultados académicos. En
un análisis psicológico de la labor docente, Brophy (1983) explica que las expectativas
de los docentes de sus estudiantes interactúan con sus competencias de instrucción y
generan comportamientos determinados, voluntarios e involuntarios.
La explicación de por qué la expectativa de los padres en el desempeño académico
es más compleja. Seigner (1983) considera que las expectativas de los padres en
sus hijos es causa y consecuencia del propio desempeño académico de los hijos, sus
experiencias personales y nivel educativo.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
19
En este sentido, Teddlie & Reynolds (2000) consideran que las escuelas efectivas son
buenas involucrando los padres en las actividades de la escuela de manera productiva
y eliminando tensiones pesimistas que perjudiquen las expectativas de los padres en
sus hijos.
1.5 Clima escolar
El clima escolar es el promedio de las percepciones y sentimientos de las personas
en la escuela, incluyendo la moral de los profesores y estudiantes, relaciones entre
los actores, relación alumno-profesor, entre otros (Tubbs & Garner, 2008). Varios
aspectos del clima escolar han sido relacionados con escuelas efectivas. Por ejemplo,
Purkey & Smith (1983) identifican elementos como planificación colaborativa,
sentido de comunidad, orden y disciplina. Para Maxwell & Thomas (1991),
es imperativo hacer la distinción entre cultura escolar y clima escolar, en tanto de
acuerdo a estos investigadores, el clima es resultado de la cultura de la escuela
y no viceversa. Siendo que con frecuencia clima y cultura escolar se usan de manera
intercambiable, los investigadores sugieren dejar claro qué es cada cosa y cómo
afectando positivamente una se puede impactar en la otra.
Levin & Lockheed (2012) consideran aspectos relacionados al buen clima escolar
como componentes de las escuelas efectivas para países en desarrollo, en particular
la relación de la comunidad con la escuela, participación de la comunidad en las
finanzas escolares, entre otros. De su lado, Rutter et al. (1979) también identifican el
clima positivo y buen manejo del aula como factores asociados a escuelas efectivas.
Como se aprecia, definir y operacionalizar el concepto de «clima escolar» es una
tarea compleja, dado que las bases epistemológicas de la definición son altamente
subjetivas. Sin embargo, partiendo de las variables citadas en el párrafo anterior, las
escuelas a las que asisten estudiantes de estratos socioeconómicos más bajos suelen
tener peores indicadores de clima escolar.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 1. Marco teórico
20
21
2Antecedentes
22
El sistema educativo dominicano enfrenta retos importantes tanto en aspectos
relacionados a calidad y eficiencia como en aspectos de cobertura y de distribución
de recursos. Las mediciones en pruebas estandarizadas han colocado a la educación
primaria dominicana como una de las menos efectivas del continente. En efecto, los
indicadores de competencias básicas como la aritmética, las ciencias y la lectoescritura
en estudiantes del nivel básico, sugieren que el sistema público no ha logrado formar
a los estudiantes con un mínimo de rigor de acuerdo a los estándares internacionales
de logro académico para ese nivel.
En ese contexto, los estudiantes dominicanos enfrentan importantes retos en sus niveles
de desempeño medido por las diferentes pruebas estandarizadas en los últimos años.
El país obtuvo el nivel de desempeño más bajo entre 15 países de Latinoamérica que
participaron en las pruebas del Tercer Estudio Regional Comparativo y Explicativo
(TERCE) de 2013, que mide los niveles de competencia de los estudiantes de 3. y 6.
grado en alfabetización, matemáticas y ciencias (UNESCO, 2014). Del mismo modo,
el país se ubicó entre los últimos lugares en la prueba internacional PISA más reciente
realizada (2015), una evaluación que examina las habilidades cognitivas en lectura,
matemáticas y ciencias de estudiantes de 15 años, sin importar el grado (OCDE,
2016). Asimismo, la mayoría de los estudiantes evaluados en las Pruebas Diagnósticas
de 3. grado obtuvieron resultados correspondientes al nivel de desempeño más bajo
de la misma en ambas competencias evaluadas (matemáticas y competencia lectora).
El sistema educativo nacional enfrenta además bajos niveles de eficiencia interna, con
aproximadamente un 18.6 % de los estudiantes de primaria y 24 % de los estudiantes
de secundaria con sobreedad para el año escolar 2016-2017 y tasas de repitencia y
abandono de 3.5 % y 4.9 %, respectivamente.
er o
er
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
23
2.1 Cobertura y oferta
Como consecuencia de esfuerzos nacionales importantes por universalizar la
educación primaria en las últimas décadas, las tasas de cobertura neta han logrado
que aproximadamente el 95.6 % de los niños en edades de 6-11 años se encuentren
en la escuela en los niveles de inicial (3 a 5 años) y secundario (12 a 17 años),
con tasas netas de cobertura de 47.2 % y 60.7 %, respectivamente, para el año
escolar 2015-2016. En el caso del nivel inicial, el país aún cuenta con escasa
oferta de nivel inicial para las edades 0-4 años y la que existe es fundamentalmente
privada, limitando el acceso de familias de escasos recursos. A pesar de que hay
más oferta pública para los 5 años de edad, la misma se concentra en zonas urbanas
y también tiene una alta proporción de centros privados (31 % de la matrícula de
5 años asiste al sector privado).
2.2 El financiamiento
El Ministerio de Educación divide el territorio nacional en 18 regionales educativas y
122 distritos educativos. En cada distrito educativo, los centros se clasifican según su
zona de residencia en urbanos, urbanos marginales, urbanos turísticos, rurales, rurales
aislados y rurales turísticos.
Los centros educativos reciben recursos de diferentes fuentes que se pueden clasificar
en recursos públicos en especie, recursos financieros descentralizados y donaciones
del sector privado. Los recursos públicos en especie son los elementos de la escuela
que se financian con fondos del Ministerio de Educación (MINERD), que se compran
de manera centralizada desde la sede del ministerio en Santo Domingo y que
las escuelas reciben sin intervenir en el proceso de compra de los mismos.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
24
La mayor parte de los insumos que se utilizan en la escuela se reciben de esta
forma, destacándose elementos como el mobiliario, equipos tecnológicos, recursos
pedagógicos, material didáctico, libros de texto, remuneraciones al personal docente
y no docente, alimentación escolar, entre muchos otros.
Los centros educativos públicos también reciben recursos mediante transferencias a
las juntas descentralizadas. La Ley General de Educación 66-97 define las estructuras
descentralizadas adscritas del sistema educativo, dentro de las cuales reconoce las
Juntas Regionales, Distritales y de Centros Educativos como órganos que posibilitan
el proceso de participación y descentralización del Sistema Educativo Dominicano.
En efecto, la Ley establece, en su artículo n.º 200, que el MINERD debe destinar
fondos del presupuesto anual para que éstas cumplan con sus funciones. A pesar de la
existencia de una normativa para el funcionamiento de las juntas desde el año 1996,
no fue sino hasta el año 2011, mediante la Resolución 0668-11, que se estableció
la descentralización de recursos financieros a las juntas regionales, distritales y de
centros educativos.
La junta de centros educativos debe estar conformada por miembros de la comunidad
educativa y legalmente constituida para poder recibir recursos por concepto de
descentralización de manera trimestral. En la práctica, en los últimos años fiscales
(2015-2017), las Juntas Descentralizadas han recibido recursos equivalentes
a un monto inferior al 3 % del presupuesto del MINERD (MINERD, 2017); este
monto se les asigna en base a los registros de matrícula de estudiantes del centro
y de acuerdo con informaciones levantadas para el presente estudio en los últimos
dos años lectivos han sufrido retrasos importantes. Adicionalmente, no todos los
centros tienen Juntas constituidas por lo que algunos reciben fondos a través de las
Juntas Distritales, quienes administran los presupuestos de las escuelas por ellas.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
25
En el año 2014, entró en vigencia el Manual Operativo de Centros Educativos
Públicos que regula la disposición de los fondos descentralizados que reciben
las escuelas. De acuerdo al manual, las escuelas deben destinar estos recursos
de manera exclusiva a tres renglones de gasto: operativo, pedagógico y
mantenimiento preventivo. Los centros no pueden hacer remodelaciones o contrataciones
de personal con los recursos de las trasferencias.
Por último, algunos centros reciben donaciones en efectivo y en especie del sector
privado, sin embargo, el MINERD prohíbe el financiamiento de actividades escolares
mediante cuotas asignadas a los padres o mediante adquisición de pasivos. Las
escuelas del sistema pudieran estar gestionadas por directores de centro educativo
o ser cogestionadas por instituciones privadas sin fines de lucro, tradicionalmente de
naturaleza religiosa.
2.3 Las reformas educativas de los últimos años
Desde el año 2013, el sistema educativo público dominicano se encuentra inmerso en un
proceso de implementación de las reformas que se derivaron de la asignación del 4 %
del PIB para la educación preuniversitaria. En este proceso, se han desarrollado planes y
acuerdos entre sectores para promulgar políticas que mejoren los indicadores educativos
del sistema. En este sentido, una de las principales reformas educativas impulsadas en este
contexto, es la implementación de la Jornada Escolar Extendida (JEE). Para el año escolar
2012-2013, había en el país 97 centros en Jornada Extendida, para el 2017-2018
había 4073 centros y un 56 % de la matrícula asistía a la modalidad1. En consecuencia,
en la actualidad coexisten en el sistema educativo centros que imparten clases en
el formato tradicional de medias jornadas (4 horas diarias en formato matutino
o vespertino) y centros que imparten clases en jornadas de 8 horas.
1 Consejo Económico y Social (CES). «Documento del Pacto Nacional para la Reforma Educativa 2014-2030»,abril de 2014. Recuperado de http://www.siteal.iipe.unesco.org/bdnp/541/pacto-nacional-reforma-educativa-republica-dominicana-2014-2030
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
26
Las reformas de los últimos años han incluido un amplio programa de construcción de
aulas, lo que también hace posible la implementación de la Jornada Escolar Extendida,
estrategias de formación y desarrollo profesional para los docentes, incrementar y
mejorar los mecanismos de medición y evaluación de la calidad, ampliación de los
programas de atención a la vulnerabilidad, ejecución de un nuevo diseño curricular por
competencias, incremento salarial de docentes, entre otros. Aunque la reforma intenta
tocar en varios puntos neurálgicos de la educación pública, los procesos burocráticos
pueden ralentizar el avance, contrario a las aspiraciones de la ciudadanía que con
frecuencia esperan resultados más rápidos.
Uno de los focos de mayor énfasis en el proceso de reforma educativa es la formación de
maestros, pero a la vez, el sistema ya cuenta con una cantidad importante de docentes
que requieren de más formación mientras que cumplen con sus responsabilidades
en los centros donde laboran. También el MINERD ha puesto un énfasis mayor en la
formación de nuevos docentes, trabajando con las instituciones de educación superior
en la actualización del currículo formativo, en la contratación de profesores de nivel
universitario para la formación de maestros/as, y en la regulación más estricta de la
contratación de docentes mediante concursos. Como se infiere, la reforma educativa
requiere la atención de varios puntos a la vez, mientras que los recursos son limitados
y hay que priorizar.
Las reformas en marcha priorizadas benefician de manera especial a las escuelas
que ofrecen servicios a los estudiantes más vulnerables. En especial el incremento
del horario escolar, provisión de alimentos en la escuela y la mejora del proceso
de contratación de docentes, haciendo que la distribución de docentes de calidad
sea más equitativa en el sistema. A esto se añade una inversión importante
en dotación de tecnología de la información y comunicación a escuelas y
estudiantes, que si bien todavía no cubre todo el territorio nacional, el avance
es significativo en acceso a internet y dispositivos digitales para la educación.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
27
En resumen, la reforma educativa exhibe logros importantes en varios renglones clave
de la educación primaria, a la vez que quedan brechas en términos de calidad y
cobertura que se espera sean cerradas en los años por venir, de mantenerse la inversión
del 4 %, o en cualquier caso, de que este porcentaje aumente (EDUCA, 2016).
2.4 Estado de los determinantes de las escuelas efectivas en el país
Murillo (2015) realizó un estudio sobre escuelas efectivas en la República Dominicana
auxiliándose de los datos del Segundo Estudio Regional Explicativo y Comparativo
(SERCE) que tuvo lugar en 2006 e identificando escuelas utilizando modelos multinivel.
Los resultados reflejan la existencia de seis factores de eficacia escolar para la
República Dominicana: sentido de comunidad, clima escolar y de aula, currículum,
liderazgo del director, participación de la comunidad escolar y recursos. A la luz de
los datos, se ofrecen recomendaciones para la administración educativa y los centros
docentes. A pesar de que los precedentes en la literatura sobre escuelas efectivas en
República Dominicana son escasos, se han puesto en marcha políticas relacionadas
a los aspectos encontrados en otros contextos como determinantes de las escuelas
efectivas. A continuación, se hace referencia al estado actual de estos aspectos en el
país.
Desde el punto de vista normativo, el Manual Operativo de Centros Educativos
Públicos es el instrumento principal que describe los parámetros de gestión esperados
de los directores de centro en la República Dominicana. El instrumento estipula
pautas en cuanto al estilo de liderazgo, las funciones y expectativas que se tiene
de ellos. Concretamente, el Manual establece que un/a director/a de centro
«[e]n coordinación con el Distrito Educativo, conduce el proceso de implementación
y desarrollo de los planes y programas curriculares y del Proyecto de Centro, los
aspectos administrativos del centro y las relaciones sociocomunitaria, en apego a la
normativa establecida», (MINERD, 2013, p. 142).
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
28
Esta coordinación implica la planificación de mediano y largo plazo de las escuelas
mediante la elaboración de Planes Operativos Anuales (POA) y Proyectos Educativos
de Centro (PEC), supervisión de los procesos financieros, rendición de cuentas,
resolución de conflictos, mantenimiento del ornato e infraestructuras (MINERD, 2013).
Sin embargo, en la práctica los directores de centro del país enfrentan retos para la
administración de recursos del centro que exige el ejercicio de sus funciones. Estos
retos pueden tomar la forma de retrasos en la distribución de materiales, mobiliarios
o equipos, tardanzas en la recepción de recursos descentralizados, imposibilidad de
hacer adecuaciones de infraestructura, entre muchas otras. Estas dificultades ponen en
riesgo la disponibilidad de recursos materiales en la escuela, identificada como una de
las diferencias entre escuelas efectivas y no efectivas en países en desarrollo.
El MINERD cuenta con una escuela de directores, un espacio de formación especializado
para directores que ofrece capacitación en aspectos de gestión escolar, normativas y
expectativas del director. En la Prueba Diagnóstica aplicada a todos los estudiantes
de 3. grado del país en el año 2017, se administró un formulario a directores en la
que el 55 % de los mismos reportaron haber participado en actividades formativas de
la escuela de directores. Sin embargo, la efectividad de estas intervenciones ha sido
poco explorada en la literatura local. Por último, el margen de acción del director/a
de centro en el país usualmente no incluye decisiones relacionadas a la contratación
docente y/o despido de docentes de manera sistemática.
2.5 Calidad docente en la República Dominicana
Las políticas de mejora de la calidad docente han sido parte central de las reformas
de los últimos años, en especial, se han incrementado los salarios de los docentes,
puesto en marcha programas de formación continua, mejorado los mecanismos
de contratación y los lineamientos de formación inicial docente. Sin embargo,
la calidad docente en el país todavía tiene importantes oportunidades de mejora.
er
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
29
En el año 2017, se realizó la Evaluación de Desempeño Docente (EDD) a todos los
profesores del país. La evaluación contempló cinco dimensiones: Autoevaluación,
Evaluación del Director, Ejercicio de Rendimiento Profesional, Observación de Aula
y Planificación de Clase. Los docentes fueron clasificados en categorías según sus
calificaciones, siendo el nivel más alto de desempeño la categoría «Excelente».
De acuerdo al Instituto Dominicano de Evaluación e Investigación de la Calidad
Educativa (IDEICE), organismo aplicador de la EDD, los resultados preliminares del
proceso indican que solo un 3 % de los docentes evaluados obtuvo el nivel más alto
de desempeño que era equivalente a obtener 90 puntos o más en su puntaje global.
2.6 Clima escolar
Las Normas del Sistema Educativo Dominicano para la Convivencia Armoniosa en
los Centros Educativos Públicos y Privados (MINERD, 2015), representan el marco
normativo para la convivencia escolar. La presencia constante de hechos de violencia
en las escuelas en el discurso público nacional, han motivado la proliferación de
esfuerzos para estimar la prevalencia de los mismos e indagar sobre sus posibles
causas y factores asociados.
Las Normas del Sistema Educativo Dominicano para la Convivencia Armoniosa en
los Centros Educativos Públicos y Privados (MINERD, 2015), representan el marco
normativo para la convivencia escolar. La presencia constante de hechos de violencia
en las escuelas en el discurso público nacional, han motivado la proliferación de
esfuerzos para estimar la prevalencia de los mismos, indagar sobre sus posibles causas
y factores asociados y proponer medidas para prevenirla.
Existe literatura que sugiere que el tema de la violencia escolar en el país requiere
atención. Asuad (2017) describe que el 51 % de los y las adolescentes indicaron
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
30
haber recibido acoso por otro/a adolescente, 46 % reportó haber experimentado
agresiones físicas y el 43 % se sintió mal por insultos recibidos. Por su parte, en
el informe de política educativa n.º 6 del IDEICE (2017), se relacionó la violencia
percibida por los estudiantes con los aprendizajes. Los estudiantes que reportan
ser víctimas de golpes y/o zarandeos obtienen una calificación promedio
10.8 % menor que los que no padecen esta situación en matemáticas. Para el caso de
lectura y ciencias, estos porcentajes son 12 % y 7.6 %.
En la literatura, usualmente se asume que el clima escolar es un aspecto del centro que
se puede mejorar desde el centro. Particularmente en los campos de la psicología y
sociología educativa, se ha asociado al clima escolar hostil o violento con mayores
niveles de estrés y ansiedad y bajo rendimiento académico (Hoff & Mitchell, 2009;
Wang, Berry & Swearer, 2013). Por lo que una de las intervenciones que las autoridades
educativas han puesto en marcha son programas y campañas que ayuden a los
estudiantes y autoridades de los centros a mejorar la convivencia escolar, a cultivar
la tolerancia, reducir el bullying, promover el respeto a las diferencias y a normativas
de aplicación de disciplina con respecto a los actos violentos entre estudiantes (Hall &
Souers, 2016).
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 2. Antecedentes
31
3Identificandolas escuelasefectivas
32
Desde la implementación del 4 % del PIB en el sector educativo en el 2013, las
autoridades enfrentan el reto de mejorar la calidad del sistema educativo al tiempo
que se espera que se pueda garantizar eficiencia en la inversión. A pesar que las
políticas implementadas como consecuencia de dicho incremento en el gasto público
han tenido efectos positivos en los resultados de los estudiantes, los mismos han venido
a un costo mayor. Podemos ver esto reflejado en los Estudios Regionales Comparativos
y Explicativos, donde el desempeño de los estudiantes mejoró entre la Segunda
y Tercera fase, pero el costo promedio por punto aumentó de 3.88 dólares a
5.91 dólares (EDUCA, 2017).
La limitada literatura local que existe en torno a las variables claves que afectan los
resultados educativos representa un reto para el diseño de políticas efectivas en la
mejora del desempeño estudiantil creadas para atacar los problemas específicos
de las escuelas del país. Adicionalmente, las variables sociodemográficas de los
estudiantes, el gasto por estudiante y docentes con estudios avanzados que se utilizan,
tradicionalmente han mostrado ser explicadores relativamente pobres del desempeño
estudiantil.
Docenas de estudios cualitativos han mostrado que políticas de gestión administrativa,
retroalimentación profesoral, uso de datos, cultura estudiantil y expectativas de los
docentes/directores sobre los estudiantes son claves para mejorar la eficiencia de la
inversión en la educación. Este estudio busca contribuir a dicha literatura, enfocado en
las escuelas públicas de la República Dominicana.
Como primera etapa, buscamos identificar escuelas efectivas y no efectivas en la
República Dominicana, utilizando métodos tradicionales de la función de producción
de la educación. Dado que nuestro interés es identificar escuelas que sobresalen pese a
sus condiciones sociodemográficas, no se hará énfasis en obtener resultados causales
en esta etapa.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 3. Identificando las escuelas efectivas
33
4Estrategiaempírica
34
Con la finalidad de replicar la metodología de identificación de escuelas efectivas,
aplicadas al caso de República Dominicana, se realizaron las siguientes acciones:
a. Diseño de estrategia de
identificación de escuelas
efectivas y de contraste.
Se seleccionaron escuelas que
tenían un resultado por encima
del promedio para ser estudiadas.
Asimismo, se identificaron las que
tenían los resultados más bajos para
que puedan ser contrastadas.
b. Diseño de instrumento
que permitiera evaluar las
variables que se asocian al
aprendizaje en las escuelas
efectivas.
Una vez identificadas las escuelas,
se diseñó un instrumento que
evaluaba el estado de las
dimensiones que tradicionalmente
se asocian a las escuelas efectivas.
Sin embargo, las dimensiones fueron
adaptadas al contexto del sistema
educativo dominicano.
c. Aplicación de instrumentos
a escuelas efectivas.
Con el apoyo del equipo del
Observatorio de Políticas Sociales
y Desarrollo de la Vicepresidencia,
se aplicó el formulario diseñado
a las escuelas que forman parte
del estudio. Las encuestas fueron
procesadas y los resultados de
la aplicación se muestran en este
informe.
d. Análisis de resultados y
producción de información
relevante para el diseño de
políticas.
Los resultados de la encuesta fueron
analizados y contrastados con
la literatura especializada con la
finalidad de encontrar aspectos
que condicionan el funcionamiento
de la escuela y que se pueden
transformar en acciones replicables
en otros centros.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
35
4.1 Estrategia de identificación de escuelas efectivas
Para poder identificar las escuelas efectivas, dadas sus condiciones sociodemo-gráficas,
se construyó un modelo que permitiera estudiar el desempeño de los estudiantes
controlando por variables relevantes (función de producción de la educación). Para
esto, se restringió el marco muestral que originalmente era del total de centros públicos
y privados del país, de acuerdo a criterios específicos. Se consideraron como parte
del marco muestral todas las escuelas públicas que brindaran servicios por lo menos
a 10 estudiantes cursando el tercero de primaria. Limitar el número de estudiantes
permite una mayor variación en los resultados de estudiantes por escuela, asegurando
que los promedios por escuela no son el resultado de un artificio estadístico. Dadas
estas restricciones, se obtuvo un universo de 4723 escuelas, que representan 114 540
estudiantes del sistema público dominicano.
En segundo lugar, inicialmente se definió el medio a través el cual se definirían los
resultados académicos que permitirían medir la efectividad. Para esto, se utilizó la
Prueba Diagnóstica de 3. grado del nivel primario, aplicada por el MINERD en el año
2017 de manera censal a centros públicos y privados del país. La Prueba Diagnóstica
evaluó a los estudiantes en las competencias que el currículo vigente prevé para su
grado en las áreas de matemáticas y comprensión lectora. Se utilizaron promedios
simples de los resultados de matemática y español de los estudiantes de tercer grado.
Para controlar por variables sociodemográficas a los estudiantes de las escuelas,
se utilizaron los datos presentados en la base de datos de la Prueba Diagnóstica
2017, relacionados al nivel socioeconómico de los estudiantes evaluados y
una actualización de los mapas de pobreza de la República Dominicana.
er
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
36
El índice de nivel socioeconómico de la Prueba Diagnóstica de 3. grado, fue
construido a partir de encuestas que se aplicaron a los estudiantes evaluados y
sus padres sobre ingreso, nivel educativo de los padres, posesión de activos y
otros similares.
Los mapas de pobreza se actualizaron utilizando datos de la Encuesta Nacional
de Fuerza de Trabajo (ENFT 2016) que aplica dos veces por año el Banco
Central de la República Dominicana (BCRD) y utilizando la metodología de
Índice de Calidad de Vida (Morillo, 2014). Esto nos permite calcular la pobreza
multidimensional (no-monetaria) de las comunidades de las escuelas y de
esta manera controlar por condiciones que afectan la calidad de vida de los
estudiantes. Además, incluimos la desviación típica de la pobreza, la cual nos
da una medida de desigualdad en las comunidades de las escuelas.
Otras variables de control consideradas para el análisis fueron el tipo de zona
geográfica donde se encuentra la escuela (rural, rural-aislada, urbana, etc…),
regional a la que pertenece la escuela, nivel de educación del padre y la madre
de los estudiantes, sexo y edad de los estudiantes, si el estudiante repitió el
curso, o si el estudiante trabaja fuera de la escuela, cuantos años de educación
inicial recibió el estudiante, y el rango de ingreso de la familia del estudiante.
Las Tablas 1 y 2 a continuación, presentan las variables consideradas para el
modelo, los valores que pueden tomar dichas variables y el puntaje promedio
de los estudiantes según cada categoría de aquellas variables. La Tabla 1
describe la Prueba Diagnóstica de 3. grado en ambas asignaturas, la prueba
es calificada en un rango de 150 y 450 puntos, los estudiantes del marco
muestral considerado para el estudio obtuvieron en promedio 294.1 puntos con
una desviación estándar de 43.51.
er
er
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
37
Tabla 1. Puntaje promedio de la Prueba Diagnóstica del marco muestral
Tabla 2. Variables incluidas en el modelo y puntaje promedio por categoría
Puntaje Mínimo
Puntaje Máximo
Media (ds)
(N = 115 251)
173
414.5
294.08 ± 43.51
Edad
Género
Zona
[7.03,17]
Femenino
Masculino
Rural
294.1 (43.5)
300.2 (43.8)
288.6 (42.5)
295.0 (43.7)
Una de las principales características presentadas por las bases de datos disponibles
es que la mayoría de las variables que tomamos en consideración son medidas de una
forma categórica. A primera vista esto nos permite distinguir, de una forma exploratoria,
que existen diferencias entre los estudiantes que tienen ciertas características. Por
ejemplo, podemos ver que, en promedio, estudiantes con padres que tienen niveles
de educación más alto tienden a tener mejores resultados que estudiantes con padres
de menor nivel educativo. En específico, estudiantes donde el padre o la madre tienen
estudios universitarios, en promedio obtuvieron 311 puntos en la prueba diagnóstica,
mientras que aquellos con padres que no estudiaron obtuvieron un puntaje de 283.3.
La Tabla 2 a continuación, presenta las calificaciones promedio de los estudiantes de
acuerdo a las categorizaciones sociodemográficas disponibles para los estudiantes.
Etiqueta Valores posibles Media | Desviación Estándar
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
38
Regional
Rural - Aislada
Rural - Turística
Sin zonas
Urbana
Urbana - Marginal
Urbana - Turística
Azua
Bahoruco
Barahona
Cotuí
Higüey
La Vega
Mao
Montecristi
Monte Plata
Nagua
Puerto Plata
San Cristóbal
San Francisco de Macorís
San Juan
San Pedro de Macorís
Santiago
Santo Domingo
301.6 (43.8)
303.3 (46.8)
289.1 (38.8)
295.0 (44.2)
289.2 (41.7)
296.6 (42.1)
281.6 (41.6)
288.5 (42.2)
278.3 (40.8)
300.0 (42.5)
296.1 (42.7)
308.5 (43.0)
294.6 (42.2)
305.8 (46.0)
292.5 (42.7)
303.5 (42.8)
298.7 (43.3)
282.9 (42.3)
298.1 (43.7)
296.8 (46.2)
288.0 (41.1)
296.1 (43.7)
294.4 (42.9)
Etiqueta Valores posibles Media | Desviación Estándar
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
39
Repitió curso
Trabajo infantil
Educación del padre
Educación de la madre
Nunca ha repetido
Sí, una vez
Sí, dos o más veces
Sí
No
No estudió
No completó el nivel básico
Completó el nivel básico
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
No estudió
No completó el nivel básico
Completó el nivel básico
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
297.8 (43.7)
281.5 (39.9)
277.9 (39.7)
289.0 (41.8)
294.5 (43.7)
283.3 (42.2)
289.0 (42.4)
290.3 (42.1)
294.6 (43.3)
298.3 (43.3)
307.7 (43.7)
310.9 (45.5)
288.6 (42.5)
283.2 (41.7)
286.9 (42.2)
288.9 (42.2)
291.8 (42.2)
296.1 (42.9)
305.7 (43.8)
311.7 (44.4)
285.0 (41.9)
Etiqueta Valores posibles Media | Desviación Estándar
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
40
Ingreso del hogar
Edad de ingreso a Educación
Inicial
Hogares_pob_porc
Desv_típica_pob
Menos de 5000 pesos
5000 a 9000 pesos
9001 a 15 000 pesos
15 001 a 20 000 pesos
20 001 a 50 000 pesos
50 001 pesos o más
[0,4]
[0.182,1]
[0,32.3]
287.5 (42.3)
291.7 (42.6)
297.1 (42.6)
302.6 (44.1)
313.9 (44.4)
320.2 (44.9)
294.1 (43.5)
294.1 (43.5)
294.1 (43.5)
Etiqueta Valores posibles Media | Desviación Estándar
De acuerdo a la exploración descriptiva, los estudiantes que provienen de hogares con
ingresos mayores tienen en promedio un mejor desempeño que aquellos estudiantes de
hogares de ingresos bajos. En efecto, como se observa en la Tabla 2, los estudiantes de
familias con ingresos superiores a los RD$ 50 000.00 pesos, en promedio, obtuvieron
puntajes de 320.2, mientras que aquellos que provienen de familias con ingresos
menores a RD$ 5000.00 en promedio obtuvieron puntajes de 287.5.
Estos resultados son de esperarse como se han validado en muchos otros estudios
tradicionales sobre funciones de producción de la educación. Algo que debemos notar
es que, aun cuando a simple vista parezcan haber diferencias en la media de los
puntajes de estudiantes en ciertas categorías, esto no quiere decir que las mismas
Elaboración propia con datos de las Pruebas Diagnóstica de 3. y la ENFT.er
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
41
sean estadísticamente significativas. Adicionalmente, se observa que dentro de cada
categoría, existe mayor variabilidad del desempeño de estudiantes que la variabilidad
entre categorías. Esto puede ser un indicativo de que estas variables que se toman en
consideración, así como aquellas que afectan el desempeño escolar de los estudiantes,
no tendrán un poder explicativo conjunto alto. Esto es un problema común en estudios
que se auxilian de funciones de producción de la educación (Pritchett y Filmer, 1997).
Tomando esto en consideración, se realizó el análisis multivariado utilizando Mínimos
Cuadrados Ordinarios (MCO), usando como variable dependiente el puntaje promedio
de los estudiantes en las dos áreas evaluadas (descrito en la Tabla 1), y como predictores
todas las variables de control presentadas en la Tabla 2.
7.03
Femenino
Masculino
Rural
Rural - Aislada
Rural - Turística
Sin zonas
Urbana
Urbana - Marginal
Urbana - Turística
0.91 (0.64 a 1.19, p<0.001)
-
-10.16 (-10.64 a -9.67, p<0.001)
-
10.78 (9.59 a 11.96, p<0.001)
5.27 (3.49 a 7.05, p<0.001)
-6.65 (-11.24 a -2.06, p=0.004)
-4.03 (-4.68 a -3.37, p<0.001)
-7.46 (-8.18 a -6.73, p<0.001)
-3.71 (-5.42 a -2.00, p<0.001)
Variable explicada PredictoresPuntaje
Tabla 3. Resultados regresión de la función de producción de la educación
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
42
Regional educativa
Repitió curso
Trabajo infantil
Azua
Bahoruco
Barahona
Cotuí
Higüey
La Vega
Mao
Montecristi
Monte Plata
Nagua
Puerto Plata
San Cristóbal
San Francisco de Macorís
San Juan
San Pedro de Macorís
Santiago
Santo Domingo
Nunca ha repetido
Sí, una vez
Sí, dos o más veces
Sí
No
-
8.65 (6.93 a 10.37, p<0.001)
-1.97 (-3.63 a -0.31, p=0.020)
12.45 (10.81 a 14.08, p<0.001)
12.69 (11.25 a 14.14, p<0.001)
20.48 (19.02 a 21.93, p<0.001)
9.33 (7.56 a 11.10, p<0.001)
21.68 (19.82 a 23.54, p<0.001)
9.23 (7.50 a 10.96, p<0.001)
15.97 (14.24 a 17.70, p<0.001)
11.87 (10.07 a 13.66, p<0.001)
-4.88 (-6.37 a -3.38, p<0.001)
11.07 (9.47 a 12.68, p<0.001)
13.46 (11.91 a 15.01, p<0.001)
5.34 (3.99 a 6.70, p<0.001)
10.09 (8.68 a 11.49, p<0.001)
6.73 (5.49 a 7.98, p<0.001)
3.97 (1.26 a 6.67, p=0.004)
-6.77 (-9.53 a -4.01, p<0.001)
-9.48 (-12.39 a -6.57, p<0.001)
0.28 (-1.30 a 1.86, p=0.729)
1.28 (0.76 a 1.81, p<0.001)
Variable explicada Predictores
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
43
Educación del padre
Educación de la madre
Ingreso del hogar
No estudió
No completó el nivel básico
Completó el nivel básico
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
No estudió
No completó el nivel básico
Completó el nivel básico
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
Menos de 5000 pesos
5000 a 9000 pesos
9001 a 15 000 pesos
15 001 a 20 000 pesos
20 001 a 50 000 pesos
50 001 pesos o más
-3.00 (-4.88 a -1.12, p=0.002)
-0.05 (-1.71 a 1.60, p=0.952)
-0.46 (-2.18 a 1.26, p=0.601)
1.60 (-0.13 a 3.33, p=0.070)
3.29 (1.61 a 4.97, p<0.001)
6.51 (4.42 a 8.61, p<0.001)
7.30 (5.43 a 9.17, p<0.001)
-0.20 (-2.28 a 1.87, p=0.847)
-3.07 (-5.65 a -0.50, p=0.019)
-1.77 (-4.15 a 0.62, p=0.147)
-0.92 (-3.37 a 1.52, p=0.459)
0.34 (-2.11 a 2.78, p=0.787)
2.81 (0.42 a 5.19, p=0.021)
8.46 (5.73 a 11.19, p<0.001)
11.42 (8.94 a 13.90, p<0.001)
-4.52 (-8.05 a -1.00, p=0.012)
-0.72 (-2.65 a 1.20, p=0.463)
1.27 (-0.67 a 3.20, p=0.200)
4.45 (2.46 a 6.43, p<0.001)
7.18 (5.15 a 9.22, p<0.001)
13.42 (11.25 a 15.59, p<0.001)
16.76 (14.02 a 19.50, p<0.001)
Variable explicada Predictores
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
44
Años de Educación Inicial
tomados
Hogares_pob_porc
Desv_típica_pob
[0,4]
[0.182,1]
[0,32.3]
0.85 (0.62 a 1.07, p<0.001)
-11.28 (-13.53 a -9.03, p<0.001)
-0.11 (-0.16 a -0.07, p<0.001)
Variable explicada Predictores
Se obtuvieron los signos esperados para todas las variables consideradas (tomando
otras características como constante), implicando que tiene un efecto teórico sobre los
resultados de los aprendizajes de los estudiantes. A continuación se describen algunos
de los mismos:
• Mayor nivel educativo de los padres está asociado a mejores resultados en el
desempeño académico del estudiante. Los niños cuyos ambos padres son universitarios
obtuvieron 24.79 puntos más que aquellos estudiantes con ambos padres que no han
hecho ningún tipo de estudio.
• Mayor ingreso familiar está asociado a mejores resultados del estudiante. Estudiantes
provenientes de familias con más de RD$ 50 000.00 pesos de ingresos mensuales
obtuvieron en promedio 17.48 puntos más que los estudiantes provenientes de familias
con ingresos inferiores a RD$ 5000.00.
• Estudiantes que repiten el curso tienden a tener resultados peores que estudiantes
que no repiten. Estudiantes que no repiten tienden a tener 10.74 puntos más
que aquellos que repiten una vez y 13.45 puntos más que aquellos que repiten múltiples
veces.
Adicionalmente, se pudo identificar un efecto muy pequeño, aunque significativo, de
que los estudiantes que no trabajan tienden a tener mejores resultados que aquellos
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
45
que si trabajan. Respecto a las regionales que dirigen las escuelas y el tipo de zona
donde se encuentran los estudiantes, encontramos que:
• Las regionales de La Vega, Montecristi y Nagua tienen mejores desempeños
estudiantiles que las demás regionales. Esto puede apuntar a una mejor dirección y
gestión por parte de las regionales, lo cual puede tener un impacto positivo sobre la
gestión de cada escuela y por tanto los estudiantes.
• Las regionales de Barahona, Azua y San Cristóbal (región Sur del país) tienden a
tener peor desempeño que las demás regionales.
• Puede ser sorprendente que las escuelas ubicadas en zonas rurales tengan
mejores resultados en promedio que aquellas ubicadas en zonas urbanas.
Por último, observamos que la calidad de vida promedio de la zona de la escuela,
definida como el porciento de hogares que son considerados pobres en sentido
multidimensional, tiene un efecto sobre el desempeño estudiantil. Por cada aumento de
100 puntos base en el porciento de hogares pobres en la comunidad de la escuela, el
promedio de desempeño de los estudiantes cae en 15 puntos en la prueba diagnóstico.
Hay que tomar en cuenta que aunque estas variables tienen efectos estadísticamente
significativos, los mismos son pequeños. Por ejemplo, que el ingreso familiar aumente
de menos de RD$ 5000 pesos mensuales a más de RD$ 50 000 pesos mensuales,
solamente representa un aumento esperado de alrededor de 17.5 puntos promedios
más en la prueba de diagnóstico de desempeño. Por tanto, dado que los efectos
estimados de estas variables tradicionales no son grandes en magnitud, es importante
considerar que para poder formular políticas efectivas que mejoren los resultados de los
estudiantes, se requiere indagar más profundamente qué diferencia aquellas escuelas
con mejores resultados a pesar de sus condiciones sociodemográficas.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
46
Para lograr identificar las escuelas que están obteniendo mejores resultados dadas sus
condiciones, procedemos a calcular los residuos de la regresión estimada y a utilizar
esto como un «score».
A continuación se presentan los resultados de la regresión de la función de
producción, donde se excluyen las variables de región y pobreza, con el motivo
de poder comparar con los resultados de la regresión original.
Edad
Género
Zona de residencia
Regional Educativa
[7.03,17]
Femenino
Masculino
Rural
Rural - Aislada
Rural - Turística
Sin zonas
Urbana
Urbana - Marginal
Urbana - Turística
Azua
Bahoruco
Barahona
0.92 (0.63 a 1.20, p<0.001)
-
-10.00 (-10.49 a -9.51, p<0.001)
-
-
-
-
-
-
-
-
-
-
Variable explicada: puntaje Predictores
Tabla 4. Regresión de la función de producción de la educaciónsin regionales, ni pobreza multidimensional
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
47
Repitió curso
Trabajo infantil
Educación del padre
Cotuí
Higüey
La Vega
Mao
Montecristi
Monte Plata
Nagua
Puerto Plata
San Cristóbal
San Francisco de Macorís
San Juan
San Pedro de Macorís
Santiago
Santo Domingo
Nunca ha repetido
Sí, una vez
Sí, dos o más veces
Sí
No
No estudió
No completó el nivel básico
Completó el nivel básico
-
-
-
-
-
-
-
-
-
-
-
-
-
-
4.66 (1.90 a 7.41, p=0.001)
-6.78 (-9.59 a -3.96, p<0.001)
-9.32 (-12.28 a -6.35, p<0.001)
-0.95 (-2.55 a 0.65, p=0.246)
-0.08 (-0.59 a 0.42, p=0.753)
-1.88 (-3.79 a 0.03, p=0.054)
0.78 (-0.90 a 2.47, p=0.362)
-0.07 (-1.82 a 1.68, p=0.939)
Variable explicada: puntaje Predictores
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
48
Educación del padre
Educación de la madre
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
No estudió
No completó el nivel básico
Completó el nivel básico
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
No estudió
No completó el nivel básico
Completó el nivel básico
No completó el nivel medio
Completó el nivel medio (bachillerato)
Titulado de un instituto técnico
Titulado de una universidad
No lo recuerdo
2.00 (0.24 a 3.76, p=0.026)
3.46 (1.75 a 5.16, p<0.001)
6.26 (4.12 a 8.40, p<0.001)
7.31 (5.41 a 9.22, p<0.001)
0.21 (-1.91 a 2.33, p=0.845)
-1.88 (-3.79 a 0.03, p=0.054)
0.78 (-0.90 a 2.47, p=0.362)
-0.07 (-1.82 a 1.68, p=0.939)
2.00 (0.24 a 3.76, p=0.026)
3.46 (1.75 a 5.16, p<0.001)
6.26 (4.12 a 8.40, p<0.001)
7.31 (5.41 a 9.22, p<0.001)
0.21 (-1.91 a 2.33, p=0.845)
-2.17 (-4.79 a 0.45, p=0.105)
-0.81 (-3.24 a 1.63, p=0.516)
-0.45 (-2.94 a 2.04, p=0.721)
0.83 (-1.66 a 3.32, p=0.512)
2.85 (0.41 a 5.28, p=0.022)
8.61 (5.83 a 11.39, p<0.001)
11.21 (8.69 a 13.73, p<0.001)
-3.52 (-7.11 a 0.07, p=0.055)
Variable explicada: puntaje Predictores
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
49
Ingreso del hogar
Edad de ingreso a Educación
Inicial
Hogares_pob_porc
Desv_típica_pob
Menos de 5000 pesos
5000 a 9000 pesos
9001 a 15 000 pesos
15 001 a 20 000 pesos
20 001 a 50 000 pesos
50 001 pesos o más
[0,4]
[0.182,1]
[0,32.3]
-0.03 (-1.99 a 1.93, p=0.977)
1.78 (-0.19 a 3.75, p=0.077)
4.98 (2.96 a 7.00, p<0.001)
7.94 (5.86 a 10.01, p<0.001)
14.83 (12.62 a 17.04, p<0.001)
18.86 (16.07 a 21.65, p<0.001)
-0.26 (-0.47 a -0.05, p=0.016)
-
-
Variable explicada: puntaje Predictores
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 4. Estrategia empírica
50
51
5Rankingde escuelasefectivas
52
Teniendo los resultados de la regresión principal, la cual se controla por características
sociodemográficas (Tabla 3), se construyó un ranking de escuelas efectivas que va de
más a menos. La lista se construyó utilizando los residuos estimados de la regresión
principal y agrupándolos a nivel de escuela. Esto quiere decir que se estimaron los
puntajes a partir de la regresión (P_i^*) y se calculó la diferencia con los puntajes
observados (P_i- P_i^*), la misma se promedió a nivel de escuela. La diferencia
promedio se ordenó de mayor a menor para obtener como primeros valores de la lista
las escuelas con un desempeño observado más alto respecto a su valor estimado. En
la siguiente Tabla presentamos la puntuación de las 10 escuelas más efectivas.
Tabla 5. Las 10 escuelas de mayor desempeño según ranking obtenido
03198
01190
04360
01141
00801
02125
01006
01105
03454
03098
120.6433
113.3620
110.6023
110.4903
110.3666
107.6278
107.2769
105.3440
104.6043
104.3070
391.5000
403.0000
394.5000
404.0000
381.3889
395.0000
403.2500
391.0000
402.0000
385.9167
CÓDIGO_SIGERD Residuo Puntaje promedio
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 5. Ranking de escuelas efectivas
53
De forma sencilla, el procedimiento realizado toma escuelas que sean similares,
dadas sus características sociodemográficas, y comparamos sus desempeños en
la Prueba Diagnóstica. Aquellas escuelas cuyos estudiantes obtuvieron resultados
considerablemente mejores que otras escuelas similares, las consideramos escuelas
efectivas. Aquellas escuelas cuyos estudiantes obtuvieron resultados mucho peores,
las consideramos no efectivas. El hecho de que aun controlando por características
sociodemográficas encontramos diferencias en el desempeño de los estudiantes,
nos apunta a que existe algo más que no estamos tomando en consideración que
causa estas diferencias. La siguiente parte del estudio asume que este componente no
explicado por características sociodemográficas tiene dos elementos fundamentales:
las características individuales no observables de los estudiantes y las características
no observables de los centros a donde estos asisten. Este último elemento puede
tener patrones replicables y que pueden servir de insumo para la formulación de
políticas públicas. Por tanto, esto es lo que nos lleva a la siguiente etapa del estudio,
donde nos acercamos a una muestra selectiva de escuelas efectivas y no efectivas,
y estudiaremos características de los centros que no se observaron en el análisis
de regresión y que pueden dar indicios de las posibles causas en la diferencia
en el desempeño.
Utilizando este ranking, se seleccionaron las escuelas efectivas y no efectivas
que formarían parte de la siguiente etapa del estudio. El objetivo fue contactar
40 escuelas, 30 altamente efectivas y 10 no efectivas, para tratar de identificar
características relacionadas a la gestión, retroalimentación del profesor, clima
escolar y expectativas que se tienen de los estudiantes. Estas características cualitativas
han sido identificadas en otros estudios como claves para el mejor desempeño de los
estudiantes (MacNeil, Prater & Busch, 2009).
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 5. Ranking de escuelas efectivas
54
55
6Robustezdel ranking
56
Para asegurarnos de que el ranking construido es robusto, procedemos a crear listas con diferentes especificaciones de regresiones restringidas del modelo anterior.
Tabla 6. Las 10 escuelas de mayor desempeño según ranking obtenidoy sus scores alternativos
03198
01190
04360
01141
00801
02125
01006
01105
03454
03098
120.6433
113.3620
110.6023
110.4903
110.3666
107.6278
107.2769
105.3440
104.6043
104.3070
130.3161
110.6511
109.8444
110.2719
109.2990
107.9363
110.6250
104.7283
105.8230
117.1529
106.09613
121.57436
110.65474
111.87072
98.42621
112.14680
107.17946
108.27558
108.27731
88.35097
115.95284
119.40540
109.52640
112.88962
96.09202
115.98075
112.56797
108.52345
110.66284
102.23227
CÓDIGO_SIGERD Score 1 Score 2 Score 3 Score 4
Teniendo estos rankings de comparación, se calculó el coeficiente de correlación de Spearman, el cual nos indica si los diferentes ordenamientos de la misma variable están relacionados.
Tabla 7. Correlación de Spearman de rankings alternativos:Score 1 (original) y Score 2
Tabla 8. Correlación de Spearman de rankings alternativos:Score 1 (original) y Score 3
244307268
472684682
0.0000
0.0000
0.9860866
0.9730804
Estadístico
Estadístico
P-value
P-value
Estimado
Estimado
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 6. Robustez del ranking
57
Tabla 9. Correlación de Spearman de rankings alternativos: core 1 (original) y Score 4
789997888 0.0000 0.9550092
Estadístico P-value Estimado
Tabla 10. Tau de Kendall para rankings alternativos
0.907771 0.8623786 0.8189339
Estimado tau 1 Estimado tau 2 Estimado tau 3
De este ejercicio obtenemos coeficientes de correlación de Spearman mayores a 0.95,
indicando que los rankings creados por las diferentes regresiones son muy parecidos.
Para corroborar que este resultado es consistente, también se calculó el coeficiente
Tau de Kendall, el cual nos indica cuál es la asociación ordinal entre dos medidas
o rankings. Tanto el coeficiente de Spearman como el de Kendall son estimaciones
no-paramétricas, por lo que no se hacen supuestos sobre la distribución de nuestros
rankings.
Los resultados de la prueba de Kendall muestran resultados similares a los observados
con el coeficiente de Spearman: los rankings dan un orden de efectividad muy
parecidos para las escuelas estudiadas. En consecuencia, estos resultados sugieren que
el ranking de la regresión principal es consistente, indicando que existe un componente
sustancial del desempeño estudiantil que no es explicado por variables tradicionales de
funciones de producción escolar. Para garantizar que el ranking que hemos calculado
tiene sentido, procedemos a utilizar clustering, el cual nos permitirá una clasificación
diferente de las escuelas de una manera ateórica.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 6. Robustez del ranking
58
59
7Clustering
60
Otra manera en la cual podemos revisar la robustez del ranking es creando un
segundo tipo de ranking utilizando Machine Learning (aprendizaje de máquinas),
específicamente métodos no supervisados. Dado que dichos métodos no dependen de
intervención humana, esto nos permite ver cómo las escuelas son clasificadas dadas
sus características. Específicamente, estaremos utilizando el método k-means con 4
grupos, para permitir que una máquina separe las escuelas en diferentes grupos. Dado
que la máquina hace esta clasificación sin intervención humana, a priori no sabremos
si alguno de los grupos representará escuelas efectivas y escuelas no efectivas.
De los 4 clústeres generados, se observa que el clúster 4 representa el de escuelas
con mayor desempeño académico de sus estudiantes mientras que el clúster 3 es el
de menor desempeño. Esta separación clara entre los desempeños de los diferentes
clústeres beneficia el análisis, dado que podemos utilizarla para comparar los
resultados del ranking proveniente de la regresión original, y de esta manera ver
si efectivamente se han seleccionado las escuelas altamente efectivas, dadas sus
condiciones sociodemográficas.
El Gráfico 1 presenta las distribuciones de los diferentes clústeres con respecto a cada
una de las variables presentadas. Por tanto, esto permite ver si existen diferencias
en cómo las escuelas están distribuidas a lo largo de estas variables. Podemos ver
que efectivamente no parece haber diferencias sustanciales en la distribución de
las escuelas con respecto a las diferentes variables sociodemográficas. Es importante
destacar que los 4 grupos seleccionados son de acuerdo al puntaje promedio
obtenido por los estudiantes de cada escuela. Más aún, en términos sociodemográficos,
estos grupos no presentan diferencias sustanciales en sus distribuciones, indicando que
hay una representación de todo tipo de escuelas.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 7. Clustering
61
1
2
3
4
286.3466
310.4711
263.0429
342.4669
892
666
566
274
Tabla 11. Clústeres seleccionados por algoritmo k-means
Gráfico 1. Distribución de los clústeres
Clúster Puntaje promedio escuelas Frecuencia
1.0
0.5
1
3
2
4
Esta selección de grupos es alta y está positivamente correlacionada con el
residuo que hemos calculado para la selección de la muestra a través del método
de la función de producción, dándonos confianza que las escuelas seleccionadas
cumplen con el propósito de la siguiente fase de este estudio.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 7. Clustering
62
63
8Mapa
64
Por último, es importante verificar la ubicación geográfica de las escuelas enlos diferentes grupos, para entender si existe concentración de estas escuelasen algunas pocas provincias de la República Dominicana. Similar a los resultados de la regresión principal, podemos ver que efectivamente las escuelas de mayor desempeño están concentradas en las provincias de La Vega y Espaillat. Por su parte, el área del Gran Santo Domingo y las provincias del Sur representan una gran proporción de
escuelas no efectivas.
Gráfico 2. Distribución de escuelas por clúster
0
9
2
0.25
0.25 -0.25 0.25
-0.25 0.25 00.00 -50
20.00
0.00 0.00
0.25
2 3 4 5 6 7
01 1002
10
3 0.50
2003
11
4
3004
12
5
0.75
0.75
1.00
1.00
0.50
0.50 -0.50 0.50
-0.50 0.50 50
3 4 5
0.75 1.006
400350300250
400350300250
400350300250
400350300250
400350300250
400350300250
400350300250
Cluster 1 2 3 4
400350300250
400350300250
400350300250
400350300250
400350300250
A_inicial_PROM
EDAD
EDUC_PADRE_PROM
Hogares_pob_I_porc
PROP_FEM
PROP_TRAB_INF
COUNT
EDUC_MADRE_PROM
Hogares_pob
INGRESO_PROM
PROP_REPITIO
RESIDUO
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 8. Mapa
65
Hemos comprobado que utilizando diferentes metodologías arribamos a un ordenamiento
parecido al de las escuelas en términos del desempeño de sus estudiantes, controlando
por variables sociodemográficas. Como es típico en la literatura de funciones de
producción de la educación, nuestros resultados indican que las variables que son
tradicionalmente tomadas en cuenta no pueden explicar en su totalidad las diferencias
en el desempeño de las escuelas en el caso que estamos analizando.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 8. Mapa
66
67
9 Descripciónde los centrosentrevistados
68
En esta sección se muestran los resultados del estudio de campo y una caracterización
de las escuelas consideradas para el mismo. En el acercamiento a centros se
entrevistaron directores y docentes de 37 escuelas seleccionadas según el ranking
creado anteriormente. Las entrevistas consistieron en la aplicación de un instrumento
diferenciado, una versión diseñada para aplicarse con los directores y equipo de
gestión (84 preguntas) y una versión dirigida para docentes de aula (69 preguntas).
En estas entrevistas se abarcaron temas de finanzas, gestión e infraestructura del
centro, personal y práctica docente, clima escolar, participación comunitaria, uso de
datos, tutorías y las expectativas sobre los estudiantes que tienen las autoridades del
centro. Todas estas variables fueron seleccionadas con base en la literatura sobre las
características de escuelas con mejor desempeño académico.
Lo primero que podemos notar de las escuelas seleccionadas es que el puntaje promedio
de sus estudiantes en la prueba de desempeño es mayor que el promedio de 300 para
todas las escuelas. Si separamos las escuelas en el grupo de escuelas efectivas y las
no efectivas, es posible observar grandes diferencias en el puntaje promedio de sus
estudiantes.
En términos de condiciones sociodemográficas, las escuelas efectivas seleccionadas
tienen ingresos relativamente mayores que las escuelas no efectivas (Gráfico 3).
Asimismo, podemos ver que existen algunas diferencias, aunque más pequeñas
(no estadísticamente significativas) sobre las demás variables sociodemográficas que
fueron tomadas en consideración en el estudio empírico (Tablas 14-17).
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
69
Tabla 12. Puntaje promedio en Prueba Diagnósticade escuelas efectivas seleccionadas
Tabla 13. Puntaje promedio en escuelas efectivas vs. no efectivas
Gráfico 3. Quintil de ingreso de las escuelas
Tabla 14. Edad en estudiantes de escuelas efectivas vs. no efectivas
Mínimo
Máximo
Media (ds)
base_datos_Escuelas1 (N = 33)
242.125
392.9653
330.66 ± 41.25
Mínimo
Máximo
Media (ds)
Mínimo
Máximo
Media (ds)
Efectivas: FALSO (N = 7)
242.125
295.8391
259.15 ± 20.62
Efectivas: FALSO (N = 7)
9.199090
10.01756
9.52 ± 0.30
Efectivas: VERDADERO (N = 26)
331.225
392.9653
349.91 ± 16.07
Efectivas: VERDADERO (N = 26)
8.800927
11.19971
9.43 ± 0.53
2 3 4 5 60.0
0.3
0.6
0.9
No efectivas
Efectivas
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
70
Tabla 15. Proporción de estudiantes de sexo femeninoen escuelas efectivas vs. no efectivas
Tabla 16. Educación promedio de madres en escuelas efectivas vs. no efectivas
Tabla 17. Educación promedio de padres en escuelas efectivas vs. no efectivas
Tabla 18. Años de inicial promedio de estudiantes efectivas vs. no efectivas
Mínimo
Máximo
Media (ds)
Mínimo
Máximo
Media (ds)
Mínimo
Máximo
Media (ds)
Mínimo
Máximo
Media (ds)
Efectivas: FALSO (N = 7)
0.2307692
0.5714286
0.44 ± 0.13
Efectivas: FALSO (N = 7)
2.8
4.904348
4.06 ± 0.77
Efectivas: FALSO (N = 7)
2.8
4.573913
3.80 ± 0.58
Efectivas: FALSO (N = 7)
0.3217391
2.250000
0.98 ± 0.62
Efectivas: VERDADERO (N = 26)
0.3000000
0.6666667
0.49 ± 0.08
Efectivas: VERDADERO (N = 26)
3.5
7.283582
5.11 ± 0.91
Efectivas: VERDADERO (N = 26)
3.0
6.776119
4.89 ± 0.88
Efectivas: VERDADERO (N = 26)
0.2564103
2.923077
1.26 ± 0.68
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
71
De estas diferencias, las más sustanciales son las del nivel de educación de los
padres, donde las escuelas efectivas tienen niveles promedio relativamente más altos
que las escuelas no efectivas. De cualquier manera, ninguna de estas diferencias
es suficiente para explicar la brecha de desempeño entre las escuelas efectivas
y las no efectivas. Para poder explorar otras posibles causas en la brecha de
desempeño, procedemos a analizar algunas de las características cualitativas
de gestión administrativa, prácticas docentes, el uso de datos, clima escolar y
las expectativas en términos de futura trayectoria socioeducativa que se tiene de los
estudiantes.
9.1 Gestión de las escuelas
La importancia de la calidad de la gestión de centros educativos en el desempeño
escolar constituye uno de los supuestos que más genera debates entre investigadores y
formuladores de políticas educativas (MacNeil, Prater & Busch; 2009). Por tanto, para
este estudio es importante examinar la gestión de las escuelas, agregando al análisis
empírico la perspectiva subjetiva de los actores. Uno de los puntos que resaltó más
durante el proceso de entrevistas fue las diferencias en las prácticas de gestión de las
escuelas.
Esto es de mucha importancia, dado que todas las escuelas enfrentaban problemas
muy similares, especialmente en el ámbito de la recepción de recursos descentralizados
provenientes del MINERD. De acuerdo con los resultados de esta fase de entrevistas,
encontramos que de las 37 escuelas en la muestra, 34 reportaron retrasos en la recepción
de recursos desde el MINERD/Distrito escolar (ver Gráfico 4). Además, dichos retrasos
no aparentan afectar las escuelas no efectivas de forma desproporcional.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
72
Según los directores entrevistados, los retrasos en la transferencia de recursos pueden ir desde un mes hasta más de dos años, convirtiéndose en retos sustanciales para la gestión efectiva de las escuelas. Para continuar las operaciones, los directores y docentes recurren a mecanismos diversos para sortear la situación, dado que losgastos en diferentes rubros que conlleva la gestión de un centro educativo (eje., la compra del agua en botellón hasta el pago de la factura del teléfono) no pueden esperar. Uno de los mecanismos más comunes que encontramos fue la utilización de recursos propios y de crédito a nombre propio (del director/a), siendo esta última una práctica no aprobada por el MINERD.
Este problema de transferencia de recursos también se veía reflejado en las necesidades de reparación de las escuelas. Muchos directores de las escuelas nos indicaban que hacían requerimientos de reparaciones mayores a sus centros, pero nunca recibían respuesta. Tenemos un caso que la persona inclusive viajaba al Distrito Nacional para hacer el requerimiento en persona, pero no lograba obtener resultados.
El impacto que tienen los retrasos en las transferencias en la gestión de los centros no puede ser estimado cuantitativamente mediante la metodología que empleamos en el presente estudio. Sin embargo, las respuestas de los directores proveen una
Sí
Gráfico 4. Retrasos en la recepción de transferencias descentralizadas
No
0.00 0.25 0.50 0.75 1
No efectivas Efectivas
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
73
panorámica del tipo de áreas en las escuelas que son negativamente afectadas por la tardanza de los fondos. De los 37 directores/as encuestados, 34 de ellos afirmaron que sus centros reciben los fondos con retrasos. Como se puede apreciar en elGráfico 5, de los que respondieron afirmativamente, el 41 % indicó que el mayor impacto de los retrasos de las transferencias era en la compra de materiales, que incluye materiales didácticos utilizados a diario en la escuela. Por su parte, un 35 % dijo que su principal problema con la tardanza de las transferencias era el pago de los servicios, un capítulo importante para la gestión, dado que el rango de servicios utilizados en una escuela varía de una zona a otra, pero en general incluye servicios de telefonía e internet.
Otro caso interesante estuvo relacionado al cambio hacia la tanda extendida.El director de esta escuela explicó a los investigadores que aunque su escuela es oficialmente de tanda extendida, debe enviar a sus estudiantes a almorzar a sus casas a la 1:00 p. m., dado que no tienen los recursos ni la infraestructura (comedor) para suplir el almuerzo en la escuela. Como resultado, en la tarde solo asistían los estudiantes que presentaban debilidades puntuales y requerían de tutoría. Casos como este descrito no son aislados. El retraso en los pagos a los suplidores de alimentos fue reportado por varios directores y docentes, y los reclamos de esta naturaleza aparecen en los medios de comunicación.
Gráfico 5. Impacto de los retrasos transferencias MINERD
41 % 35 %
8 %3 %
14 %
Compramateriales
Pago deservicios
Reparaciones Actividadesextracurriculares
No responde
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
74
Las estrategias para mantener el centro funcionando se reducen a recurrir al crédito a
nombre del director/a, al uso de fondos propios y las donaciones, según la muestra
de directores entrevistados para este estudio. De los que respondieron no recibir
transferencias a tiempo (34), el 65 % de ellos afirmó recurrir a solicitar crédito a
su nombre (ver Gráfico 6). Al indagar en el tipo de garantía que ellos tenían para
endeudarse, bajo la expectativa de los fondos del MINERD, algunos directores
informaron a los investigadores que pese a su retraso, las transferencias son seguras y
en algunos casos, los acreedores saben la situación y confían en que una vez lleguen
los fondos, se le pagarán sus cuentas.
Aunque solo el 3 % de los encuestados respondió que las donaciones eran la fuente
principal alterna al problema de los retrasos, durante las entrevistas se evidenció que
un porcentaje mayor tiene, de una forma u otra, alguna fuente de donde gestionan
donaciones. No en todos los casos estas donaciones son en dinero, es frecuente que
sean en especie, como materiales para una reparación menor, equipos informáticos,
artículos deportivos, etc. La diferencia más significativa entre las escuelas efectivas y no
efectivas era la cantidad de recursos que podían conseguir fuera de las transferencias
del MINERD.
Muchas de las escuelas efectivas tenían acceso a donaciones, sea de padres o de
organizaciones terceras, las cuales les ayudaba a cubrir costos de operación y
materiales gastables para la docencia. Las escuelas altamente efectivas reciben algún
tipo de donación y una parte significativa de ellas las recibe de forma frecuente. Este
no es el caso para las escuelas no efectivas, las cuales en su mayoría afirmaron no
conseguir donaciones de terceros. Claramente, el acceso a recursos emerge como un
factor limitante, en tanto tener un flujo continuo de fondos es de mucha importancia
para la gestión adecuada de las escuelas.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
75
Gráfico 6. Alternativas recurridas ante retrasos transferencias MINERD
Gráfico 7. Apoyo de comerciantes a las finanzas escolares
Gráfico 8. Frecuencia de donaciones recibidas
65 %29 %Fondos propios
3 %DonacionesFondos docentes
Crédito propio
3 %
M
Den
sidad
Den
sidad
Donaciones
No Sí0.0
0.2
0.4
0.6
No efectivas
Efectivas
No efectivas
Efectivas
0.0
0.1
0.2
0.3
Frecuente No Raro
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
76
La posibilidad de obtener donaciones sugiere diversas explicaciones a cómo opera el
mecanismo de gestión del financiamiento de las actividades de la escuela: primero, es
posible asumir que el hecho de que los directores de las escuelas puedan conseguir
estas donaciones demuestra proactividad y capital social, y por tanto, constituye una
evidencia de que ellos tienen mejores habilidades para la gestión que directores que
no consiguen donaciones. De hecho, en algunos de los centros donde se condujeron
las entrevistas, al terminar la visita hubo directores y/o miembros del equipo de gestión
que se acercaron a los investigadores para indagar si les era posible ayudar al centro
a suplir algunas necesidades. Situaciones como la descrita ocurrieron tanto en escuelas
efectivas como no efectivas, por lo que dicha observación nos lleva a formular una
segunda hipótesis.
Las donaciones pueden tener un efecto de rendimientos de escala creciente. El hecho
que un/a director/a pueda conseguir donaciones le permite hacer una gestión mejor
de la escuela, ya que ha podido resolver uno de los mayores problemas que enfrenta.
Este flujo de recursos incide en que la escuela tenga buenos resultados, atrayendo
más donantes que buscan que su «inversión» tenga los retornos esperados, y creando
efectivamente un círculo positivo de donaciones (buenos resultados = más donaciones).
Por tanto, estos directores tienen aún más recursos a su disposición para poder
implementar una gestión correcta de la escuela.
Según lo que hemos citado acerca del rol importante de los directores en la gestión de
los procesos académicos, la preocupación por el dinero y el sostenimiento del centro
puede sustraer mentalmente a los directores de estar enfocados en la gestión y en el
seguimiento a la calidad del desempeño de cada docente. Poder innovar, mejorar
procesos, hacer más eficiente el tiempo, pedagogía y desempeños de los estudiantes
en riesgo, aun cuando los recursos son escasos, es un privilegio para quienes esa
responsabilidad es su sola preocupación.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
77
Por ello, es importante enfocar las soluciones hacia el problema de la tardanza en la
llegada de fondos, dado que el caso toca otros aspectos de la gestión.
Por la metodología utilizada para nuestro estudio, el análisis solo nos permite
plantear hipótesis acerca de los posibles factores que intervienen en la diferencia
entre las escuelas efectivas y las no efectivas. Por ello, es de mucha importancia
seguir con más estudios que ayuden a determinar cuál es la causalidad en estas
discrepancias en los resultados de desempeño entre ambos grupos de escuelas.
Más estudios en esta dirección pueden ayudar al MINERD a entender mejor las
características que tienen los directores y el equipo de gestión de una escuela
altamente efectiva y establecer patrones de buenas prácticas para la formación
de otros directores. Desafortunadamente, es difícil recomendar una política para
mejorar el desempeño de centros, como sugerir que los directores de escuelas
busquen más donaciones. Primero, tal recomendación no es factible para todos
los directores; segundo, en términos institucionales, el Estado dominicano hace
un extraordinario esfuerzo fiscal al asignar el 4 % del PIB a la educación
preuniversitaria, y es por tanto responsabilidad del MINERD, de las Regionales y de
las Distritales, asegurarse que las escuelas reciban sus recursos a tiempo para su buen
funcionamiento.
Los tipos y montos de las donaciones pueden ser muy variadas. Por ejemplo, durante
el trabajo de campo los investigadores encontraron que algunas escuelas pedían
donaciones hasta de RD$5 pesos semanales de parte de los padres para poder cubrir
las necesidades del consumo de agua. En otras, puede ser una donación de parte
de un comercio local, como se muestra en el Gráfico 7. Si bien esta práctica no es
aprobada por el MINERD, las condiciones en las cuales se encuentran estas escuelas y
la necesidad imperiosa de mantener el centro funcionando aunque sea precariamente,
fuerzan a los directores a adoptar medidas al margen de la normativa institucional.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
78
La escuela es un lugar dinámico; durante cinco días por semana un plantel escolar está bajo uso intensivo por maestros/as, gestores y una cantidad variada de niños, niñas y adolescentes que ocupan entre cinco (5) y ocho (8) horas al día los espacios construidos. Así, el desgaste constante de los centros educativos es inevitable y la necesidad de reparación es permanente. Además de la gran inversión en edificaciones que ha supuesto la reforma educativa del 4 %, dar mantenimiento a la infraestructura es uno de los mayores escollos que reportaron los directores entrevistados. Al ser preguntados sobre su mayor desafío al asumir la dirección del centro, las respuestas fueron muy variadas. Para construir un patrón y analizar sus respuestas, agrupamos los retos citados en cinco categorías, que se muestran en el Gráfico 9.
Como puede observarse, encontramos un vínculo considerable entre el factor de los retrasos en la llegada de fondos y los principales retos identificados. En mayor proporción, los directores respondieron que su mayor desafío era la infraestructura y equipamiento de la escuela, que en efecto depende de los recursos. Si bien las reparaciones mayores se canalizan a través de la regional o del distrito escolar,de acuerdo a lo informado por los directores, en cada inicio de año escolar, ya lo largo de todo el año académico, la escuela está en constante uso y requiere reparaciones, mantenimiento y según la cantidad de estudiantes que entren al inicio del año escolar, de espacios ampliados, nuevos pupitres, baños, etc.
Gráfico 9. Principales problemas y desafíos como director/a de centro
0 2 4 6 8 10 12 14
Infraesturctura y equipamiento
Comunidad y entorno
Recursos humanos
Desempeño académico
Pobreza y limitaciones socioeconómicas
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
79
Una segunda categoría de retos señalados por los directores es concerniente a
la comunidad donde se ubica la escuela (ver Gráfico 9). Entre las respuestas más
frecuentes se indican la «poca participación comunitaria» en la escuela, los conflictos
entre padres y docentes y la violencia. Si bien el involucramiento parental en la
educación es una práctica que todavía está en sus etapas iniciales en la República
Dominicana, de acuerdo con directores y docentes, el empoderamiento hacia los
padres y madres de los estudiantes que desde el MINERD se empuja, puede tener
un efecto adverso si las actitudes hacia la gestión de la escuela son conflictivas.
No obstante, a pesar de que este fue el segundo reto más importante, los directores
de escuelas efectivas aparentan tener un manejo adecuado de las relaciones padres-
escuela y logran balancear la participación de los padres en las actividades educativas,
a la vez que establecen las esferas de autoridad y responsabilidad que le toca a cada
actor en la gestión del centro.
Otro punto importante con respecto a la gestión era el nivel de conocimiento que
tenían los directores del Manual Operativo de Centro Educativo Público. Este manual
describe en detalle las pautas para el manejo correcto de un centro escolar. El manual
instruye en cómo llevar los planes de clase, la elaboración del plan operativo y del
proyecto educativo del centro, además de servir como guía oficial del MINERD a los
directores y docentes sobre sus funciones en las escuelas. Por tanto, el conocimiento y
aplicación de dichos planes puede tener un efecto positivo sobre la gestión del centro,
y como consecuencia, en el desempeño académico de los estudiantes. En efecto, los
resultados de nuestras entrevistas indican que los directores de las escuelas efectivas
parecen conocer este documento en mucho mayor proporción que aquellos directores
de las escuelas no efectivas (ver Gráfico 10). No obstante, dado el tamaño de
la muestra y el hecho de que es no representativa, es imposible determinar si esto
es cierto a nivel nacional, pero el hallazgo sí apunta a una línea de investigación
de mucho interés, tanto para la comunidad académica como para educadores
y formuladores de política educativa, con la cual se pudiera evaluar
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
80
el impacto que tiene conocer a cabalidad y poner en práctica dicho manual. También
este hallazgo sirve como insumo en el tamizaje de la efectividad de la formación que
provee la Escuela de Directores del MINERD.
9.2 Prácticas docentes
Fuera de la gestión administrativa, las demás características cualitativas antes
mencionadas no parecen tener el mismo nivel de diferenciación entre escuelas
efectivas y no efectivas. Con respecto a la práctica docente, encontramos que
todas las escuelas dan retroalimentación a sus profesores de forma recurrente,
que puede ir desde una frecuencia bimensual hasta una rutina diaria. Además, las
escuelas tanto efectivas como no efectivas ofrecen tutorías a sus estudiantes en igual
proporción y de acuerdo a las necesidades de los estudiantes. Por ello, esto no parece
diferenciar el nivel de desempeño de los estudiantes (ver Gráfico 11).
Aunque en los resultados del presente estudio no emergió una relación entre desempeño
académico y las tutorías, algunos directores aparentan ser más proactivos que otros en
Gráfico 10. Conocimiento del Manual Operativo del Centro Educativo Público
Incompleto Ninguno Todos0
5
10
15
20
Conte
o
Conocimiento
No efectivas
Efectivas
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
81
el seguimiento a sus estudiantes con dificultades. En todo caso, si en un estudio más
exhaustivo fuera a examinarse esta relación, suponemos que en las tutorías que se
ofrecen en todos los casos examinados por los investigadores, pueden encontrarse
matices diferenciadores de la gestión personal del director/a de centro. Es decir,
en algunos casos percibimos que algunos directores de escuelas efectivas no solo
se involucran personalmente en las tutorías de los casos de estudiantes de bajo
rendimiento, sino que con los escasos recursos, estrechez de aulas y en ocasiones
con un número de docentes por debajo de lo necesario para cubrir la demanda
de la escuela, estos directores reorganizan horarios y mueven profesores que ellos
entienden tienen una fortaleza en la pedagogía de un área específica, para lograr que
los estudiantes mejoren sus calificaciones. Por ello, sería importante para el sistema
educativo identificar directores que con pocos recursos tratan de hacer mucho.
Otro aspecto de la gestión de centros en los que se encontraron matices sugerentes
de futuras investigaciones, es si la gestión del centro está afiliada a una comunidad
religiosa. En particular, las escuelas dentro de la muestra que estaban en esa condición,
todas pertenecían a alguna orden o comunidad dentro de la Iglesia Católica.
Gráfico 11. Se ofrecen tutorías en la escuela
Conte
o No efectivas
Efectivas
No Sí0
5
10
15
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
82
Entre las diferencias notables que se encontraron está primordialmente la seguridad de
los fondos para gestionar la escuela y el tiempo de espera para que lleguen, que es mucho
menor. Algunas escuelas cuentan con financiamiento externo vía la congregación que
patrocina la escuela, y otras procesan sus necesidades vía una oficina coordinadora
de escuelas de la iglesia, en lugar de tener que negociar directamente con el distrito o
la regional. Dado que la tardanza en la entrega de los fondos desde el MINERD, así
como en los montos decrecientes que se les asignan, son el principal problema para
gestionar un centro, es importante establecer que, como sistema público de educación,
no conduce a la equidad en la educación que algunos centros estén mejor que otros
según la red de apoyo externo que tengan.
La educación católica tiene buena reputación internacionalmente y en la República
Dominicana esa reputación está por igual muy bien establecida. Un breve examen a
la literatura internacional sobre el desempeño académico en escuelas católicas, indica
que este fenómeno ha generado un debate entre los investigadores de la educación,
dado que si la educación católica es simplemente mejor que la educación pública, lo
lógico es que los padres traten de inscribir a sus hijos en estas escuelas. Sin embargo,
pese a que existe evidencia empírica de que el denominado «efecto católico» tiene sus
ventajas frente a la educación laica en algunas áreas como mejor nivel de lectoescritura,
de motivación hacia la participación cívica, y en la disciplina y clima escolar, la
evidencia parece sugerir que hay sesgos de selección de los estudiantes, y por tanto,
es posible que los estudiantes que asisten a las escuelas católicas ya traen un perfil que
se ajusta al modelo, y por otro lado, las escuelas católicas son selectivas y estrictas, lo
que no da espacio a los estudiantes que no tienen interés en la educación, no hacen
sus tareas o no les gusta la escuela (Mocan & Tekin, 2006; Miksic, 2014, Buck, 2016).
Algunas de nuestras entrevistas dejan entrever que puede haber aspectos de la gestión
escolar católica que las tipifica como buenas escuelas a priori. En efecto, una de las
preguntas que se hicieron a los directores y docentes en las 37 escuelas, fue mencionar
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
83
las que ellos consideraban las mejores escuelas de su zona, sin incluir la suya. Varias
de las escuelas mencionadas son regenteadas por una orden o comunidad de la
iglesia católica. Al respecto, una directora de centro en la región Sur comentó que una
diferencia notable entre las escuelas del sistema público y las de gestión católica era
que en el sistema público no se podía expulsar o cerrarle el ingreso a estudiantes que 1)
Eran indisciplinados y de bajo rendimiento, lo que bajaba el promedio de desempeño
a la escuela; y 2) La escuela no tenía ni la potestad de expulsarlos ni podía negarles
el ingreso. A diferencia de la escuela pública, esta directora indicó que las escuelas
dirigidas por una comunidad de religiosas les iban mejor porque tenían la facultad de
ser más selectivas; dijo que tenían la autoridad de expulsar a un estudiante que no se
ajustara a la disciplina. Por tanto, contar con estudiantes alineados a la directriz de los
principios de la escuela puede ser una ventaja muy particular con lo que no cuentan
los centros educativos el sistema público.
9.3 Otras características cualitativas
Con respecto al uso de datos del sistema, clima escolar, participación de padres y
expectativas que se tiene sobre los estudiantes, no podemos encontrar diferencias
sustanciales entre las escuelas efectivas y no efectivas. Tanto los docentes como los
directores tienen expectativas altamente optimistas sobre sus estudiantes, esperando
que más de un 75 % de ellos completen estudios universitarios. Estas expectativas están
lejos de la realidad dominicana, por lo que fuera interesante estudiar si expectativas
no reales tienen un efecto adverso/neutro sobre los estudiantes. Esto es algo que se ha
presentado en otros países, donde por ejemplo vemos la realización de un experimento
en el Instituto Colombiano para la Evaluación de la Educación que busca entender
este fenómeno. Con respecto al clima escolar y la participación de los padres, vemos
que los docentes y directores no consideran que el involucramiento de los padres sea
suficiente. Esto se da tanto en escuelas efectivas como no efectivas.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
84
Si bien los resultados cualitativos no nos permiten generalizar, algunas de las
experiencias narradas por los directores entrevistados pueden ampliar el contexto en el
cual se circunscriben las escuelas y las dinámicas socioculturales de las comunidades
en las que se encuentran. Por ejemplo, aunque el clima escolar no demostró tener un
efecto entre las escuelas efectivas y no efectivas, nuestro estudio utilizó una base de
datos de la prueba diagnóstica para estudiantes de tercer grado, lo que sugiere que
niños y niñas en el rango de edad de ese nivel estén bajo el cuidado más estrecho de
los docentes y de los padres/madres. Habría que indagar el efecto del clima escolar
en edades como la adolescencia, en el que el lenguaje y la lucha por el estatus y/o
reconocimiento son dos características típicas en esa población estudiantil. Lo que
esto implica es que en edades mayores puede haber más oportunidad para el acoso,
el bullying y otros aspectos del clima escolar que tienden a afectar mayormente a
adolescentes. Así, lo que podemos afirmar es que para niños en edades para tercer
grado, no encontramos una relación entre clima escolar y desempeño en la prueba
diagnóstica, pero que ese hallazgo podría no ser cierto si se investigan edades mayores.
Otro punto para reflexionar acerca del clima escolar y el contexto social de las escuelas
donde se hizo trabajo de campo, es que a la mayoría de estas escuelas les fue bien
en la prueba diagnóstica, a pesar de sus entornos no favorables. Por ejemplo, se suele
asumir que las escuelas que están ubicadas en zonas marginales (barrios urbano-
periféricos), están expuestas a que los niveles de crimen, violencia y otras conductas
desviadas, entren al plantel de la escuela vía los estudiantes que provienen de esas
mismas comunidades. Pero, aunque este fenómeno se da en algunas escuelas del
país, la gestión ejerce un rol importantísimo en mantener el clima escolar en buenas
condiciones y maniobrar para que lo que sucede en el sector donde está la escuela no
entre al recinto escolar ni afecte el ritmo pedagógico. Esto requiere de estudios futuros
que profundicen aún más, dado que estudios como los de PISA han especulado acerca
de los estudiantes resilientes, aquellos que les va bien a pesar de que al resto en su
entorno escolar les va mal.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
85
Por último, no encontramos una diferencia en cuanto al involucramiento de la
Asociación de Padres, Madres y Amigos de la Escuela (APMAE) en las actividades
de la escuela. Tanto las escuelas efectivas como no efectivas reportaron que cuentan
con una participación activa de la APMAE, usualmente representado por uno o dos
padres/madres. En algunos casos que sobresale la gestión del director/a, se informó
durante las entrevistas que hay escuelas que cuando un/a estudiante está rindiendo
por debajo de lo esperado, o tiene alguna conducta inadecuada, agresiva o poco
colaboradora, se convoca a los padres y se hace un acuerdo entre la escuela y ellos
para tomar acciones concretas de intervención. Según le explicó a los investigadores
una directora, esto se hace porque si los padres no cumplen, la escuela no puede
asumir toda la responsabilidad. Además, ella indicó que esos acuerdos eran una de
sus estrategias para intervenir a tiempo casos de estudiantes problemáticos.
En la misma dirección del argumento anterior, este estudio no exploró a profundidad el
tipo de involucramiento parental. Las respuestas a esta pregunta presentan uno de los
enigmas del involucramiento de los padres en países como la República Dominicana,
con sistemas de educación en proceso de transición hacia una escuela de gestión
Gráfico 12. ¿Se involucran los padres en la educación de sus hijos?
Mucho Ninguno Regular0
5
10
15Conte
o
Frecuencia
No efectivas
Efectivas
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
86
compartida cuando la tradición ha sido que la escuela y la familia son dos espacios
apartes. De los 37 directores, 14 respondieron que los padres están interesados pero no
se involucran; esto es, el nivel de interés se queda en aspectos como enviar a los niños
a las escuela, suplir materiales y asistir a una que otra reunión. Pero en términos de
involucramiento tal y como lo han planteado los teóricos, desde Coleman (1988) hasta
Epstein (1990), donde los padres forman alianzas de apoyo económico, emocional
y/o psicoafectivo, y de veeduría de la escuela, por lo visto ese no es el nivel que en
el sistema dominicano se ha alcanzado. Así, este elemento plantea cuestiones para el
MINERD y para la comunidad de educadores acerca de cuál ha de ser la vía para
transformar patrones culturales de parcelamiento entre la familia y la escuela, y de qué
manera estos patrones se muestran diferenciados por el estrato socioeconómico y las
distinciones territoriales urbano versus rural, así como urbano-central versus urbano-
periférico.
Gráfico 13. ¿Participa activamente la APMAE en las actividades de la escuela?
Conte
o
Activa Limitada No0
5
10
15
20
No efectivas
Efectivas
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 9. Descripción de los centros entrevistados
87
10Conclusión
88
Con base en la evidencia resultante tanto del trabajo empírico-estadístico como del
trabajo cualitativo, la conclusión de los investigadores es que la traba principal
a la efectividad de las escuelas, en términos de resultados académicos de sus
estudiantes, es la disponibilidad de recursos y el tiempo que toma su llegada a las
escuelas. Para la muestra de escuelas que investigamos, cómo sortear este desafío
constituye una característica distintiva de la gestión de centros, si bien no es la única.
Las trabas presentadas por la recepción de los recursos desde el MINERD/Distrito,
constituyen problemas sustanciales a las escuelas públicas aquí estudiadas. De las
escuelas entrevistadas, solamente dos (2) no reportaron retrasos en la llegada de
recursos desde el MINERD. Del resto que reportaron retrasos, las demoras van desde
2 meses hasta más de 2 años, según lo indicaron los directores, lo cual claramente
afecta las operaciones de las escuelas.
Lo que ha hecho la diferencia entre escuelas efectivas y las no efectivas, a pesar de que
ambas clasificaciones comparten similares contextos socioeconómicos y demográficos,
es la gestión proactiva de los directores, particularmente en la búsqueda de patrocinios
y de otras fuentes de recursos alternativos. Esto es, las escuelas investigadas en su
mayoría no se detienen en sus procesos clave (docencia, tutorías, mantenimiento
general del centro, etc.), si bien los ejecutan en condiciones de austeridad y en algunos
casos en forma muy precaria. Aquellos equipos de gestión que logran adquirir recursos
de forma externa logran tener un mejor desempeño que las que no pueden conseguir.
Sin embargo, en este hallazgo se contraponen dos situaciones. Por una parte, está el
mandato que tienen las escuelas públicas de no gestionar fondos por medios como el
crédito personal. No obstante, en nuestras entrevistas ha surgido de manera reiterada
la disyuntiva de algunos directores ante la tardanza en los recursos (y en la reducción
del monto, según ellos), en tener que continuar la docencia o cerrar la escuela.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 10. Conclusión
89
Por lo constatado en esta investigación, cerrar el centro no es una opción, sino que las
escuelas aparentan haber aprendido a sortear el inconveniente y a trabajar en base
a donaciones, préstamos y/o crédito hasta la llegada de las transferencias. En suma,
la disyuntiva es operar con lo posible, aun si esto implica hacerlo al margen de la
normativa.
Para fines de recomendación, no se considera que la búsqueda de recursos debe
ser una directiva propuesta para los directores y docentes de escuelas públicas, en
tanto el financiamiento de la escolaridad pública es rol del Gobierno Central, el cual
debe asegurar que los recursos para la educación pública y su uso correcto y efectivo
lleguen a tiempo, y en los montos previstos en el presupuesto sectorial. Sin embargo,
es un indicativo de que el MINERD, ejecutor de los recursos asignados a la educación
pública, debe poner en marcha políticas que hagan eficiente la recepción de recursos
descentralizados y estudiar cuáles bienes en especie reciben las escuelas efectivas que
no pueden ser suplidos por los canales de distribución del MINERD. Un punto inicial
pudiera ser reducir los retrasos en la recepción de los recursos descentralizados.
A modo de sugerencia general, consideramos importante revisar el modelo de
co-gestión que se promueve entre comunidad y escuela. Como indicamos en el acápite
anterior, la mayoría de las escuelas donde realizamos entrevistas, los directores indicaron
no contar con la participación efectiva de los padres/madres de la comunidad escolar,
si bien algunos reconocen que hay interés de parte de los padres en estar involucrados
de una forma u otra. Ante la precariedad que enfrenta una escuela (dados los retrasos
de las transferencias), la unidad y colaboración, aunque sea mínima, de la comunidad
de padres/madres puede servir como soporte para el equipo de gestión.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 10. Conclusión
90
En cuanto al proceso de legalización, hemos encontrado que formalizar las juntas de
gestión del centro es una tarea compleja y tediosa, cuando no tiene que serlo. Una
hipótesis que derivamos de este hallazgo es que si la vinculación escuela-comunidad
no es fuerte, difícilmente pueda generarse el consenso para la formalización de la
junta y por consiguiente, de dar los pasos administrativos para que la escuela reciba
los fondos directamente. De ahí que el segundo problema más mencionado por
los directores entrevistados sea el conflicto comunitario y la falta de interés entre la
comunidad de padres/madres. La otra hipótesis es que en las zonas del país donde es
más fácil construir capital social, los vínculos entre la escuela y la comunidad son más
fuertes, y por tanto, lograr consenso para formalizar la junta y recibir los fondos es un
proceso más expedito.
Dado el alcance exploratorio de este estudio, consideramos que es de extrema
importancia profundizar en los temas planteados en esta investigación.
Este estudio exploratorio nos ha mostrado evidencia preliminar de que la obtención
de donaciones y/o recursos externos es el diferenciador principal entre escuelas
efectivas y no efectivas. Esto puede apuntar a diferentes hipótesis del efecto que
estamos viendo, entre las cuales proponemos dos principales: 1) Los directores
que consiguen donaciones tienen mayores recursos y tiempo que pueden dedicarles a
otras actividades de gestión de las escuelas, las cuales son claves para la mejora del
desempeño estudiantil; 2) Las donaciones son evidencia de la proactividad y buena
gestión de los directores, es decir, son un síntoma de las habilidades de los directores.
Los desafíos de la educación preuniversitaria en la República Dominicana son
variados y, desafortunadamente, algunos de los más complejos tienen una raíz
estructural. Una premisa importante de la cual sugerimos partir para analizar
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 10. Conclusión
91
el avance de la reforma educativa es que los resultados de mejoría cualitativa de
la educación básica y media necesita tiempo; esto es, las inversiones del 4 %
en educación difícilmente pueden verse en una década si partimos del año 2013,
al considerar que países con sistemas educativos robustos han realizado procesos
que han tomado desarrollarse entre 30 y 50 años (eje., Finlandia, Singapur,
Corea del Sur).
Pero por otro lado, lo que señala el presente estudio es que hay evidencia que sugiere
la necesidad de explorar aún más el locus de la brecha de logros, en un contexto
de educación por debajo de la media latinoamericana. Precisamente porque la
República Dominicana ha quedado detrás en las pruebas internacionales de LLECE
y en PISA (UNESCO, 2015; OECD, 2015), es que se hace imprescindible que las
acciones del MINERD y de la política educativa como un todo, lleven la impronta de la
evidencia empírica en todo el proceso de reforma y en la asignación del presupuesto
al sector educación. Si el costo fiscal es tan alto para un país con múltiples necesidades
pendientes, la sociedad dominicana espera que cada centavo invertido apunte a una
transformación del sistema.
Es de mucha importancia que la comunidad académica pueda continuar estudiando
qué es lo que lleva a que las escuelas sean más efectivas, ya que esto tiene impactos
multiplicadores en el crecimiento y el desarrollo de una nación. El premio Nobel de
Economía del 2018, Paul Romer, nos explica que «Mientras más sabemos, más fácil
es descubrir». Y tal como muestra su teoría, y todo el cuerpo académico sobre el
crecimiento económico, los descubrimientos tecnológicos y el capital humano son los
dos determinantes principales del desarrollo a largo plazo de una nación.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 10. Conclusión
92
93
11Referencias
94
Atkin, M. & Lonford, N. (1986). Statistical modelling issues in school effectiveness
studies. The Journal of the Royal Statistical Society Series A (general), 149, 1,
pp. 1-43.
Boyd, Donald, Hamilton Lankford, Susanna Loeb, and James Wyckoff. 2005. The
Draw of Home: How Teachers' Preferences for Proximity Disadvantage Urban Schools.
Journal of Policy Analysis and Management 24:113-132.
Branch, Gregory F., Eric A. Hanushek, and Steven G. Rivkin. 2008. Principal Turnover
and Effectiveness. Paper presented at the annual meeting of the American Economics
Association, San Francisco, January.
Brookover, W. & Lezotte,L. (1979). Changes in School Characteristic Coincident with
Changes in Student Achievement. East Lansing, MI, College of Urban Development,
Michigan State University.
Brophy, J. E. (1983). Research on the self-fulfilling prophecy and teacher expectations.
Journal of Educational Psychology, 75(5), 631-661.
Buck, B. (2016). Culturally Responsive Peace Education: A Case Study at
One Urban Latino K-8 Catholic School. Journal of Catholic Education, 20 (1).
http://dx.doi .org/10.15365/joce.2001022016
Coleman, J. S. (1966). Equality of Educational Opportunity. National Center for
Educational Statistics. Report oe-38001.
Coleman, J. S. (1988). Social Capital in the Creation of Human Capital.
The American Journal of Sociology 94, S95-S120.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 11. Referencias
95
Creemers, B.P.M & Kyriakides, L. (2008). The Dynamics of Educational Effectiveness:
A Contribution to Policy, Practice and Theory in Contemporary Schools, Abingdon:
Routledge.
Creemers, B., Peters, T. & Reynolds, D. (Eds) (1990). School Effectiveness and School
Improvement, Amsterdam, Swets and Zeit.
Darling-Hammond, Linda, Michelle LaPointe, Debra Meyerson, Margaret Terry Orr,
and Carol Cohen. 2007. Preparing School Leaders for a Changing World: Lessons
from Exemplary Leadership Development Programs. Report, Stanford Educational
Leadership Institute, Stanford University.
Downer, D. (1991). Review of Research on Effective Schools. Memorial University of
Newfoundland, Sir Wilfred Grenfell College.
Edmonds, R. (1979). Effective schools for the urban poor. Educational Leadership, 37,
pp, 15-24.
EDUCA. (2016). Calidad del Gasto Educativo en la República Dominicana:
Un análisis exploratorio desde la vigencia del 4 %. Recuperado de
http://www.educa.org.do/2016/10/27/calidad-del-gasto-educativo-en-la-republica-
dominicana/
Epstein, J. L. (1990). School and family connections: Theory, research, and implications
for integrating sociologies of education and family. Marriage & Family Review, 15(1-
2), 99-126. http://dx.doi.org/10.1300/J002v15n01_06
Fuller, A. (1998). From Surviving to Thriving: Promoting Mental Health in Young People,
Melbourne: ACER Press.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 11. Referencias
96
Goldstein, H. (1987). Multilevel models in Educational and Social Research,
New York, Oxford University Press.
Souers, K., & Hall, P. A. (2016). Fostering resilient learners: Strategies for creating a
trauma-sensitive classroom. Alexandria, VA: ASCD Publications.
Hoff, D. L., & Mitchell, S. N., (2009). Cyberbullying: Causes, effects, and remedies.
Journal of Educational Administration, Vol. 47, Issue: 5, pp. 652-665, https://doi.
org/10.1108/09578230910981107
Lai Horng, E., Klasik, D. & Loeb S. (2010). Principal’s Time Use and School Effectiveness.
American Journal of Education.
Las Normas del Sistema Educativo Dominicano para la Convivencia Armoniosa en los
Centros Educativos Públicos y Privados (MINERD, 2015) Santo Domingo, R.D.
Lankford, Hamilton, Susanna Loeb, and James Wyckoff. 2002. Teacher Sorting and
the Plight of Urban Schools: A Descriptive Analysis. Educational Evaluation and Policy
Analysis 24:37-62.
Levin, H. & Lockheed, M., (2012). Effective Schools in Developing Countries.
World Bank.
Loeb, S., Kalogrides, D. & Béteille, T (2011). Effective Schools: Teacher Hiring,
Assignment, Development, and Retention. National Bureau of Economic Research.
MacNeil A. J., Prater, D. L., & Busch, S. (2009). The effects of school culture and
climate on student achievement, International Journal of Leadership in Education, 12:1,
73-84, DOI: 10.1080/13603120701576241.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 11. Referencias
97
Maxwell, T.W. & Thomas, A. R. (1991). School Climate and School
Culture, Journal of Educational Administration, Vol. 29 Issue: 2, https://doi.
org/10.1108/09578239110003309
Miksic, M. (2014). Is the “Catholic School Effect” Real? New Research Challenges the
Catholic Primary School Advantage, publicado por Johns Hopkins School of Education
en http://edpolicy.education.jhu.edu
Mocan, N. H., & Tekin, E. (2006). Catholic Schools and Bad Behavior: A Propensity
Score Matching Analysis, The B.E. Journal of Economic Analysis & Policy, Volume 5,
Issue 1, DOI: https://doi.org/10.1515/1538-0645.1403.
Mortimore, P (1998). The Road to Improvement: Reflections on School Effectiveness,
Lisse: Swets & Zeitlinger.
Murillo, J. & Martínez-Garrido, C. (2015). Factores de eficacia escolar en la República
Dominicana. Universidad Autónoma de Madrid.
OECD, 2018. Programme for International Student Assessment. PISA results in focus
2015. Recuperado de: https://www.oecd.org/pisa/pisa-2015-results-in-focus.pdf
Oficina Nacional de Planificación y Desarrollo Educativo, (2013). Instructivo para
el Manejo de Fondos Transferidos a las Juntas Regionales, de Distrito y de Centro
Educativo.
Oficina Nacional de Planificación y Desarrollo Educativo (2013). Manual Operativo
de Centro Educativo Público.
Oficina Nacional de Planificación y Desarrollo Educativo (2016). Memoria Institucional
del Ministerio de Educación 2016.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 11. Referencias
98
Oficina de Planificación y Desarrollo (2017). Informe sobre la situación y evolución de
la ejecución presupuestaria 2017.
Purkey, S. & Smith, M. (1983). Effective schools: A review. The Elementary School
Journal, 83 (4), 427-452.
Raudenbush, S. & Bryk, A. (1986). A Hierarchical Model for Studying School
Effects. Sociology of Education. American Sociological Association. Vol. 59, N.º 1
(Jan, 1986), pp. 1-17.
Reynolds, D. (1995). The effective school: An inaugural Lecture. Evaluation & Research
in Education, C.9, S.2, ss.57-73.
Reynolds, D., Teddlie, C. Chapman, C. & Stringfield, S (2015). Effective school
processes. The Routledge International Handbook of Educational Effectiveness and
Improvement.
Rockoff, Jonah (2004). The impact of individual teachers on student achievement:
Evidence from panel data. American Economic Review 94:247-252.
Rutter, M., Maughan, B., Mortimore, P. & Ouston, J. (1979). Fifteen Thousand Hours:
Secondary Schools and Their Effects on Children, London: Open Books.
Sammons, P. (2007). School Effectiveness and Equity: Making Connections.
Scafidi, Benjamin, David L. Sjoquist, and Todd R. Stinebrickner (2008). Race, Poverty,
and Teacher Mobility. Economics of Education Review 26:145-159.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 11. Referencias
99
Seigner, R. (1983). Parents’ Educational Expectations and Children’s Academic
Achievements: A Literature Review. Merill-Palmer Quaterly Vol. 29, No.1 (January
1983), pp. 1-23.
Teddlie, C. & Reynolds, D. (2000). The International Handbook of School Effectiveness
Research, London: Falmer.
Tubbs, E. & Garner, M. (2008). The impact of school climate on school outcomes.
Journal of College Teaching & Learning, v.5, nº9, p.17-26.
UNESCO, (2015). Informe de resultados TERCE. Laboratorio Latinoamericano de
Evaluación de la Calidad de la Educación. Recuperado de: http://unesdoc.unesco.
org/images/0024/002435/243532S.pdf
West, M.; Gabrieli, C.; Finn, A.; Kraft, M.; Gabrieli, J. (2014). What Effective Schools
Do. Education Next, v14 n4 p72-79 Fall 2014.
Wang, C., Berry, B., & Swearer, S. M. (2013). The Critical Role of School
Climate in Effective Bullying Prevention. Theory Into Practice, 52 (4): 296 DOI:
10.1080/00405841.2013.829735.
Una aplicación de escuelas efectivas en República Dominicana: un estudio exploratorio. 11. Referencias
100
Una aplicación de escuelas efectivas en laRepública Dominicana: un estudio exploratorio
VIC
EPR E
SID
ENCIA DE LA REPÚBLICA D
OM
INI CA
NA
ISBN: 978-9945-494-53-2