-
1
Fundacin IQ Matrix - Iniciativas para la
sociedad del conocimiento
Alcances e inconsistencias
del Indice Sintetico de
Calidad Educativa
( ISCE ) , diseado y aplicado por el
Ministerio de Educacin de
Colombia en el ao 2015
Working Paper Serie: Educacin
Marco Fidel Zambrano M.
Bogot Colombia - Abril de 2015 Correo electrnico:
[email protected]
-
2
Alcances e inconsistencias del Indice Sintetico de Calidad
Educativa ( ISCE ) , diseado y aplicado por el Ministerio de
Educacin de Colombia en el ao
2015 Scope and inconsistencies Synthetic Index of Educational
Quality ( ISCE ) ,
designed and implemented by the Ministry of Education of
Colombia in 2015
Resumen Generar herramientas de medicin en el sector educativo
es una prioridad y un requisito para desarrollar polticas
educativas con la capacidad de transformar tanto la educacin como
la sociedad. An as, se debe ser en extremo cuidadoso en lo
relacionado a la calidad de dichas mediciones. Las mediciones
correctas tienen la capacidad de favorecer el cambio educativo bajo
parmetros racionales y democrticos. Asunto contrario cuando por
diversas circunstancias las mediciones presentan importantes
inconsistencias y sesgos aumentando los niveles de confusin y
generando una prdida crtica de recursos y esfuerzos. El presente
documento de discusin se da a la tarea de analizar el ndice
Sinttico de Calidad Educativa (ISCE) recientemente generado por el
Ministerio de Educacin (MEN) de Colombia, el cual muestra
importantes limitaciones en cuanto a su conceptualizacin y
alcances. Palabras claves: educacin, calidad, rankings, mediciones,
principios de Berln, metodologas.
Abstract
The creation of measuring tools in the education sector is a
priority and a requirement to develop educational policies with the
ability to transform both education and society. Still, one must be
extremely careful in regard to the quality of such measurements.
The correct measurements have the ability to promote educational
change under rational and democratic parameters. Subject otherwise
when for various reasons the measurements show significant
inconsistencies and biases increasing levels of confusion and
generating a critical loss of resources and efforts. This working
paper is given the task of analyzing the Synthetic Index of
Educational Quality ( ISCE ) recently created by the Ministry of
Education ( MEN) of Colombia , which shows significant limitations
in their conceptualization and scope.
Key words: education, quality , rankings , measurements , Berlin
principles , methodologies .
-
3
Marco Fidel Zambrano Muril lo
Socilogo de la Universidad Nacional de Colombia. Especializado
en medios de
comunicacin de la Universidad de los Andes. Magister en
sociologa de la Universidad
Nacional de Colombia. Experto en calidad educativa. Experiencia
internacional en
medios de comunicacin y nuevas tecnologas aplicados a la
educacin. Experiencia en
formacin de redes sociales y profesor universitario a nivel
universitario (pregrado y
posgrado) y poblacin adulta. Asesor de Naciones Unidas,
Presidencia de la Repblica,
Servicio Nacional de Aprendizaje (SENA), Despacho Ministro,
Ministerio de Educacin.
Co-editor revista Va Libre. Autor de diversas publicaciones en
el tema educativo.
Ganador del tercer premio (1.993), Primer Premio Nacional de
Ensayo: Cultura y
Sociedad en Colombia, Instituto Colombiano de Cultura
(COLCULTURA). Ganador
premio a la excelencia estudiantil (1.991), Galardn al mejor
trabajo de grado estudiantil,
relacin Universidad Cultura, Federacin Nacional de Cafeteros -
Universidad Nacional
de Colombia.
-
4
Alcances e inconsistencias del Indice Sintetico de Calidad
Educativa ( ISCE ) , diseado y aplicado por el Ministerio de
Educacin de
Colombia en el ao 2015
Contenido
I . Antecedentes.
I I . Resultados de la aplicacin del ISCE .
I I I . La importancia de los rankings educativos.
IV. Los principios de Berl n.
V. Discusin.
VI. Conclusiones.
VII . Referencias.
-
5
I . Antecedentes.
1.1. El 25 de Marzo de 2015, el Ministerio de Educacin Nacional
present el ndice Sinttico de Calidad Educativa (ISCE) como un nuevo
instrumento de medicin de
la calidad educativa en el pas.
1.2. Para la Construccin del ISCE, el MEN manifiesta que se
revisaron diferentes casos de ndices de calidad educativa, tales
como: i) el ndice de Desarrollo de
Educacin Bsica (IDEB) de Brasil, ii) el Sistema Nacional de
Evaluacin del
Desempeo (SNIED) de Chile, iii) el Sistema de Medicin de la
Calidad de las
Instituciones Educativas de la ciudad de Medelln SIMCIE, iv) el
Indicador
Multidimensional de la Calidad de la Educacin IMCE, ndice bsico
de calidad
de la Secretaria de Educacin de Bogot, y v) el ndice de Derecho
a la
Educacin. En concreto se menciona que el ISCE fue construido por
el Instituto
Colombiano para la Evaluacin de la Educacin (ICFES) en
desarrollo de su
responsabilidad misional.
1.3. En desarrollo de este proceso se seleccionaron 4
componentes del ISCE: i) desempeo, ii) progreso, iii) eficiencia y
iv) ambiente escolar. Estos componentes
recogen el mejoramiento continuo, y aquellos aspectos escolares
que el MEN
considera relevantes para un adecuado desempeo estudiantil y de
los cuales se
cuenta con suficiente informacin.
1.4. El MEN manifiesta que se apoy principalmente en el ndice de
Desarrollo de la Educacin Bsica (IDEB), creado en el 2007 por el
Ministerio de Educacin de
Brasil, mediante el cual se mide cada dos aos el desempeo y
progreso de cada
escuela de dicho pas, en este ndice al igual que en el caso del
ndice Sinttico
de la Calidad Educativa (ICSE), se utilizan medidas de calidad y
eficiencia basadas
en pruebas de conocimiento estandarizadas de los alumnos, el
clculo de las tasas
aprobacin, desaprobacin y desercin en cada escuela. Adems del
IDEB la
construccin del ISCE recoge la experiencia del Estado de Minas
Gerais, en
donde la aplicacin del ndice da lugar a una estrategia integrada
de formacin
docente, produccin de material de apoyo pedaggico y una accin
de
seguimiento constante en el objetivo de cumplir unas metas
nacionales,
territoriales y por establecimiento educativo.
1.5. El MEN menciona que los asesores o expertos que acompaaron
el proceso de
-
6
construccin e implementacin del ndice, son principalmente la
Sra. Ana Lucia
Gazzola, ex secretaria de educacin del estado brasilero de Minas
Gerais, Estado
de cuyo modelo de evaluacin se tom la inspiracin para la
implementacin de
acciones en torno al ISCE, siendo un aval de su aporte los
grandes avances que el
estado de Minas Gerais muestra en trminos de educacin; igual se
mencionan
acercamientos con el INEP, entidad que en el Brasil cumple las
funciones que en
nuestro pas cumple el ICFES, esto en virtud a que fue desde
dicha entidad que se
dio la construccin del INEB, el cual tal y como se dijo
anteriormente, fue el punto
de partida para la construccin del ISCE.
1.6. El ndice Sinttico de Calidad Educativa otorga una
calificacin en una escala de 1 a 10 (siendo 10 la mayor nota), por
cada nivel educativo, es decir bsica primaria
(de grado los 1o a 5o) , bsica secundaria (de los grados 6o a
9o) y media (grados
10o y 11o). La calificacin corresponde a la suma de los cuatro
componentes que
hacen parte de l.
1.7. Los componentes que hacen parte del ISCE, son:
1.7.1. Progreso: Este componente busca medir qu tanto ha
mejorado el establecimiento educativo en relacin con los resultados
que obtuvo el ao
anterior. Es decir, se trata de una comparacin consigo mismo,
independiente
del promedio o desempeo obtenido. Considera el cambio en el
porcentaje
de estudiantes ubicados en el quintil inferior de la prueba
Saber 11o o en el
nivel de desempeo insuficiente en Saber 3o, 5o y 9o. Esto quiere
decir que a
medida que el porcentaje de estudiantes en el quintil 1 y en el
nivel de
desempeo insuficiente disminuye, la excelencia aumenta. Este
componente
da un mximo de 4 puntos de los 10 posibles que un
establecimiento
educativo puede obtener en el ISCE.
1.7.2. Desempeo: Con este componente se busca incentivar mejores
resultados promedios en las pruebas SABER. La calificacin de este
componente
depende directamente del puntaje promedio del establecimiento
educativo
en los grados y reas tenidos en cuenta en cada ciclo escolar. Se
tienen en
cuenta los resultados de las pruebas Saber en Matemticas y
Lenguaje. Entre
mayor sea el puntaje promedio obtenido por el establecimiento
educativo en
estas pruebas, mayor ser la calificacin obtenida en Desempeo,
dando un
mximo de 4 puntos de los 10 posibles que un establecimiento
educativo
puede obtener en el ISCE.
-
7
1.7.3. Eficiencia: mediante este componente se busca balancear
el puntaje obtenido en Desempeo, pues si bien tenemos como propsito
obtener
mejores puntajes promedio, tambin debemos buscar que la mayora
de los
estudiantes alcancen los logros propuestos para cada grado
escolar. El valor
asignado en este componente corresponde a la tasa de aprobacin,
es decir
al nmero de estudiantes que aprueban el ao y son promovidos al
siguiente
grado. Para primaria y secundaria el valor de eficiencia
corresponde al valor
reportado por cada colegio en SIMAT sobre su tasa de aprobacin
(es decir
dara mximo 1 punto en el ISCE). Para el caso de la Media, el
valor de este
componente se duplica, la tasa de aprobacin por dos ( dando
mximo 2
puntos en el ISCE), dado que en la educacin no se cuenta con
datos de
ambiente escolar. Por lo tanto, para todos los colegios el
componente
ambiente escolar en la media aparecer N.R. se debe tener
presente que los
establecimientos educativos que no reportan tasa de aprobacin,
tendrn un
cero en el aporte de este componente al ndice.
1.7.4. Ambiente escolar: Este componente busca caracterizar el
ambiente escolar en el que se desarrollan las clases recibidas por
los estudiantes. Este
componente se divide en dos criterios: Seguimiento al
aprendizaje de los
estudiantes en el aula y el segundo, al ambiente de aula. El
valor de ambiente
escolar resulta de hacer anlisis factoriales (que el MEN no hace
explcitos) a
la encuesta de factores asociados que aplica el ICFES junto con
las pruebas
SABER de grados 5o y 9o, para identificar que ocurre con los dos
criterios que
lo componen en los establecimientos educativos, esto con base en
las
respuestas que los estudiantes dan en estas encuestas. Los
establecimientos
educativos que no entreguen los cuadernillos de la encuesta de
factores
asociados, tendrn un cero en el aporte de este componente al
ndice,
componente que mximo dara 1 punto de los 10 posibles que un
establecimiento educativo puede obtener en el ISCE.
1.8. Con relacin al ranking de establecimientos educativos como
producto del ISCE, el MEN menciona que su propsito no es hacer
rankings sino ofrecer insumos
objetivos de anlisis para que las instituciones educativas
puedan mejorar la
calidad de la educacin, sin embargo, es del todo factible, segn
su criterio, el
generar un ranking de establecimientos educativos con base en
los resultados que
-
8
se tengan a la luz de los diferentes componente del ISCE. En
otras palabras, no es
un Ranking, pero es el insumo para un Ranking.
1.9. En criterio del MEN la aplicacin del ndice busca poner en
prctica los principios de transparencia y rendicin de cuentas de
tal manera que todos los miembros de
la comunidad educativa y la opinin pblica en general puedan
tener acceso a la
informacin de cmo se encuentran los establecimientos educativos
en trminos
de calidad educativa.
I I . Resultados de la aplicacin del ISCE.
2.1. Los valores agregados que reporta el MEN como resultado de
la aplicacin del ISCE son:
2.2. A nivel territorial la clasificacin arroja a municipios
como Zipaquir (1), Tunja (2), Mosquera (3) y Cha (4), por encima de
ciudades como Bogot (10), Cundinamarca
(18) y Medelln (41).
2.3. En instituciones privadas la clasificacin arroja 1 en los
primeros lugares a instituciones como los Nogales, Gimnasio
Colombo-Britnico y Liceo Navarra de
Bogot. En cuarto lugar el Colegio de la Compaa de Mara de
Medelln, seguido
por el Instituto Alberto Merani de la Capital, el Montessori de
Medelln y el Anglo
Americano, Gimnasio Vermont y Santa Francisca Romana de
Bogot.
2.4. En Instituciones pblicas la clasificacin arroja en los
primeros lugares a instituciones como el Liceo Integrado de
Bachillerato-Universidad de Nario, IE
San Vicente (Valle del Cauca), Colegio Claretiano (Huila),
Colegio Distrital Marie 1 Se replican los resultados slo a modo de
referencia, de ningn modo se pretende validar sus resultados.
Unidad de
anlisis
ndice de Bsica
Primaria
ndice de Bsica
Secundaria
ndice de Educacin
Media
Bogot DC 6,04 6,03 6,84
Colombia 5,13 4,89 5,52
-
9
Poussepin (Atlantico), Colegio Santo ngel (Norte de Santander) y
Colegio
Sagrado Corazn de Jess (Norte de santander).
Estos resultados fueron publicados por el MEN sin realizar
procesos previos de validacin
para corroborar la consistencia de los resultados. Las propias
instituciones, ciudades y
municipios se enteraron por los medios de comunicacin de los
resultados de la
medicin En otras palabras, el ranking publicado no ha sido
validado en la clasificacin
generada. A la fecha se encuentran ausentes por lo menos tres
etapas ms para avanzar
en la validacin: i) Adelantar el trabajo terico que no se ha
adelantado, ii) integrar a las
comunidades acadmicas y educativas en la discusin de la medicin,
iii) ir a las
instituciones y entidades territoriales que aparecieron
liderando en el ranking, y generar
nuevas mediciones en terreno iv) validar en dichas instituciones
los indicadores medidos
e identificar elementos adicionales no tenidos en cuenta en la
medicin del ranking v)
Corregir los pesos iniciales asignados a los indicadores,
integrar factores de correccin en
la formula original e integrar nuevos indicadores. Nos
encontramos entonces ante una
clasificacin que se encuentra en una etapa preliminar pero que
fue publicada como una
medicin terminada. Una suerte de experimento con la educacin del
pas a la vista de
todos. Una labor seria de medicin se puede tomar algunos
aos.
I I I . La importancia de los ranking educativos.
Los rankings educativos han generado un debate global
relacionado con su validez,
intencionalidad y alcances. Sin embargo, la literatura existente
converge en algunos
elementos: i) Son tiles para evaluar el papel que cumplen las
instituciones y
organizaciones en la sociedad, ii) despliega una funcin
implicita de acreditacin, iii)
proporcionan una respuesta concreta a la necesidad de informacin
de los usuarios, iv)
mejoran la toma de decisiones de estudiantes y padres de familia
con relacin la
seleccin de las instituciones educativas, v) pueden servir de
herramienta para
investigaciones y vi) contribuyen a la construccin de reputacin
de las organizaciones
educativas.
Sin embargo, igual se reportan efectos negativos como: i)
distorsionar e incluso pretender
sustituir la realidad, ii) funcionar como instrumento de
manipulacin por parte de aquellos
que disean y aplican el ranking, iii) destruir la diversidad de
las instituciones educativas,
las cuales terminan ajustndose a los parmetros del ranking para
evitarse problemas as
sea claramente una medicin equivocada, iv) invisibilizar y a la
larga destruir todos
aquellos proyectos, iniciativas y concepciones de la educacin
que no se encuentren
-
10
dentro del radar conceptual e institucional generado por el
ranking. Al final se corre un
gran riesgo que este tipo de mediciones que jerarquizan a las
instituciones, se
transformen en una suerte de mquina de guerra burocrtica que
incrementa de manera
desmedida la intromisin del Estado en las instituciones
educativas, empobreciendo la
educacin en funcin de las concepciones educativas de unos
funcionarios que al final de
los procesos no responden por los daos causados. Esta situacin
es ms probable
desde rankings construdos desde el Estado sin procesos
democrticos de construccin y
sin referentes conceptuales realmente vlidos.
Un balance global en cualquier caso establece que es preferible
contar con mediciones a
no contar con ellas. El problema se encuentra en cules son las
mediciones ms
apropiadas para generar procesos de respeto a las instituciones
educativas, valoracin
integral de sus esfuerzos, inclusin de diversas perspectivas
tericas e integracin de la
comunidad educativa en su proceso de construccin. De estas
decisiones depende si los
rankings son parte de la solucin o parte del problema.
IV. Los principios de Berln.
Las discusiones contemporneas indican de manera reiterada que un
ranking debe
cumplir de manera clara con criterios de trasparencia,
relevancia y estrategias de
validacin de los datos. Para limitar los abusos y los impactos
adversos de los rankings la
comunidad europea se dio a la tarea de establecer unos
principios para garantizar niveles
aceptables de responsabilidad en el proceso de construccin y
publicacin de rankings.
A estos principios se los ha denominado Principios de Berln,
elaborados por parte del
International Ranking Expert Group (2006). Si bien estos
principios son pensados para la
educacin superior, son de manera clara un referente importante
para evaluar la
pertinencia y alcance de cualquier ranking educativo.
El desarrollo de los principios de Berln (PB) adaptados a los
propsitos del presente
documento de trabajo arrojan el siguiente resultado inicial:
1. Los rankings no deben convertirse en referentes nicos y
absolutistas de la calidad educativa. Las clasificaciones generadas
por los rankings deben ser slo un
instrumento entre muchos otros enfoques, para la evaluacin de la
educacin. Las
clasificaciones pueden proporcionar informacin comparativa,
encaminada a
mejorar la comprensin de la educacin, pero no debe ser el
principal mtodo
para evaluar la calidad educativa.
-
11
2. Debe existir claridad acerca del propsito y los grupos
poblacionales objetivo del ranking. Los indicadores diseados para
cumplir con un objetivo en particular para
una poblacin especifica, pueden ser contraproducentes para otros
propsitos y
destinatarios. Sobre este aspecto llama la atencin como el ISCE
se encuentra
aparentemente dirigido a las instituciones educativas, pero el
proceso de
comunicacin estuvo dirigido de manera general e indistinta a
toda la sociedad,
con lo cual ya se originaron procesos de sealamiento y
estigmatizacin de las
instituciones
3. El ranking debe reconocer la diversidad en lo referente a las
diferentes misiones y objetivos de las instituciones. Es muy
diferente la condicin de una institucin en
situaciones sociales agudas de marginalidad y violencia a una
institucin que si
bien es tambin pblica, adelanta su labor en lugares urbanos de
estratos 3 y 4.
Estas diferencias deben ser registradas y medidas por el
algoritmo estadstico que
soporta el ranking.
4. Es necesario tener claridad de las fuentes de informacin
utilizadas y buscar combinar diferentes fuentes y perspectivas con
el objeto de obtener una visin
ms completa de cada institucin. En este sentido es importante
obtener
informacin cruzada que integre a los propios maestros y a los
padres de familia.
El ISCE se centra en el tema del desempeo acadmico bajo una
concepcin
productivista de la educacin y reduce la calidad a un problema
de notas y
promociones.
5. Se debe buscar un balance que integre las diferentes
concepciones de calidad a fin de evitar la situacin en donde se
impone una visin de calidad unidireccional
y arbitraria.
6. Se debe ser transparente en cuanto a la metodologa utilizada
para la creacin de la clasificacin. Esta transparencia debe incluir
justificacin de la seleccin de
indicadores, origen y manipulacin de datos y procesos de ajuste
estadstico.
7. La seleccin de los indicadores debe ser en funcin de su
pertinencia y validez. Esta seleccin debe basarse en el
reconocimiento de la capacidad de cada
indicador para representar la funcin de calidad que se pretende
desarrollar. Los
indicadores no deben ser seleccionados por la disponibilidad de
informacin
-
12
existente. Se debe ser claro acerca de las razones y bases
tericas que llevaron a
seleccionar cada indicador que estructura el proceso de
clasificacin.
8. Se debe medir variables de entrada y de salida. No es posible
valorar solamente los resultados sin una valoracin precisa de qu
insumos recibe esa institucin
educativa para cumplir con su misin. No es posible medir
resultados en qumica
de una manera objetiva, si no se tiene en cuenta que esa
institucin no cuenta con
laboratorios. Es esta una de las fallas ms protuberantes del
ISCE al suponer que
todas las instituciones se encuentran en igualdad de condiciones
para cumplir con
las metas educativas del gobierno. Se hace integrar un factor
compuesto que
integre estado de la infraestructura, nivel de la capacitacin
docente, motivacin
de los profesores, corrupcin, estilos de liderazgo de los
directivos. El mundo real
en el cual se encuentran las instituciones educativas.
9. Se debe informar al pblico si los cambios en el ranking a lo
largo del tiempo se deben a variaciones en el desempeo de las
instituciones, cambios en los pesos
asignados a los factores o cambios en la metodologa.
10. Se deben observar normas ticas y recomendaciones de buenas
prcticas en los procesos de obtencin y utilizacin de datos.
11. En lo posible se deben usar datos auditados, verificables y
aceptados por las instituciones.
12. Se debe usar procedimientos cientficos para la recoleccin de
datos.
13. Se deben aplicar medidas de garanta de calidad para el
propio diseo y aplicacin del Ranking.
14. Se deben establecer medidas de garanta de la credibilidad de
los rankings, tales como acompaamiento de rganos asesores
internacionales, entidades
independientes e instituciones internacionales. Este
acompaamiento debe ser
real y el compromiso de dichas instancias y entidades debe ser
pblico, de
ninguna manera secreto o sin posibilidad de comprobacin.
15. Se debe garantizar en la poblacin objetivo una clara
comprensin de todos los factores que se utilizaron para desarrollar
el ranking. Igualmente se deben crear
-
13
los espacios para que los usuarios de la clasificacin ponderen
los indicadores
usados.
16. La clasificacin debe realizarse de manera que se eliminen o
reduzcan los errores en los datos primarios y las instituciones
educativas puedan advertir los errores y
fallas, las cuales deben igualmente ser publicadas.
Estos principios igual han generado un debate que es
crecientemente ms intenso en el
espacio comn europeo y en menor medida en los Estados Unidos. El
gran desorden de
mediciones y acreditaciones en este ltimo pas es hoy un
importante factor de confusin
en el momento de evaluar sus instituciones educativas.
V. Discusin.
EL ndice Sinttico de Calidad Educativa generado por el
Ministerio de Educacin de
Colombia tiene la virtud de recordar la necesidad de establecer
mediciones nacionales
como un instrumento importante dentro de la poltica educativa.
Pero esta
intencionalidad exige el mximo nivel de profesionalismo,
democracia, transparencia y
competencia. El pas viene de ocho aos de oscuridad en su poltica
educativa en donde
bajo las banderas neoliberales se arras con la comunidad
educativa del pas, originando
un grave retraso con relacin a metas estratgicas en el propsito
de construir un nuevo
modelo de desarrollo basado en conceptos como el de sociedad del
conocimiento.
Parece que los vientos para la educacin no cambian en Colombia y
que los procesos de
exclusin, marginalidad y empobrecimiento desde la propia
educacin es una realidad
dificilmente negable. Las condiciones en las cuales ha surgido
el ISCE parece confirmar
esta afirmacin estructural con relacin a la situacin educativa
del pas. Un ejercicio
anlitico sobre el ndicador permite afirmar que:
5.1. El ISCE diseado y aplicado por el MEN no cumple de manera
clara varios parmetros de los principios de Berln. i) se muestra
como el principal parmetro
de evaluacin, ii) no ha sido claro con los grupos poblacionales
haca los cules va
dirigido (se supone que va dirigido a las instituciones
educativas, pero se le
entreg a todo el pas en un ejercicio publicitario que tal vez
buscaba incrementar
la popularidad del MEN), iii) desconoce la diversidad y
condiciones particulares de
las instituciones educativas, iv) no integra diferentes
concepciones de calidad, es
ms un indicador de productividad acadmica con la intencin de
reforzar lgicas
fabriles al interior de la escuela, v) aparece como una medicin
de calidad
-
14
unidireccional y arbitraria, vi) presenta problemas con la
seleccin de los
indicadores, vii) no registra las deficiencias y carencias de
las instituciones como
un insumo de entrada y viii) no presenta acompaamiento de
instituciones
independientes del gobierno y acreditadas por instancias
internacionales, lo cual
deja pendiente el tema de la transparencia.
5.2. Teniendo en cuenta que el MEN afirma que la clasificacin no
es un ranking pero que puede ser insumo para un ranking es
necesario establecer que: i) un ranking
ordena de mejor a peor segn un conjunto ponderado de indicadores
de
desempeo y que una ii) clasificacin agrupa instituciones por
tipos homogneos
o por semejanzas a la luz de ciertos atributos significativos.
Con la retrica del
MEN de negar que el ranking, es efectivamente un ranking, se
termina en una
situacin en donde se publica un ranking negando su condicin de
ranking pero
que tampoco cumple con las condiciones de una clasificacin. Si
se acepta que es
un ranking, se evidencian serios problemas metodolgicos y si es
una
clasificacin, la situacin es an ms dificil.
5.3. Es incomprensible como en un tema tan delicado que afecta
la percepcin del sistema educativo en Colombia y que es sensible
para la reputacin de sus
instituciones educativas, no exista un solo centro de
investigacin, universidad ni
expertos nacionales que hayan sido convocado para su
conceptualizacin, diseo
y aplicacin. Esta situacin origina un serio problema de validez,
consistencia y
transparencia. A esta problemtica se aade el problema del
tiempo. Parece que
el ISCE se elabor de manera express en pocas semanas, cuando en
los pases
desarrollados el tiempo de diseo y validacin para los rankings
se toma incluso
aos (ver la experiencia de Multi-Rank en Europa).
5.4. Los referentes institucionales para la elaboracin del
ranking son esencialmente regionales, tomndo a Brasil como
referente. Los referentes son de pases
subdesarrollados para otro pas subdesarrrollado. Para solamente
citar un ejemplo
de la inconsistencia de tomar estas experiencias como referente,
en una medicin
donde se integran mediciones educativas globales, denominada
ndice Global de
habilidades cognitivas y logros educacionales, elaborada por la
Unidad de
Inteligencia de The Economist y Pearson, Brasil ocupa el puesto
38 y Colombia el
puesto 36 entre 40 pases.
(http://thelearningcurve.pearson.com/index/index-
ranking). No existe ninguna justificacin razonable para
seleccionar a Brasil como
referente de mediciones educativas.
5.5. Con relacin a Mina de Gerais, de tiempo atrs se viene
referenciando una experiencia que no es tan significativa como se
quiere hacer parecer. Mina de
Gerais es un Estado subdesarrollado dentro de un pas
subdesarrollado el cual se
-
15
encuentra a su vez dentro de un continente subdesarrollado. Si
bien pueden
realizar sus esfuerzos respectivos, nada de especial importancia
sucede all para
ser replicado. Si bien se reportan algunas experiencias
interesantes en cuanto a
polticas pblicas en educacin, no se tienen evidencias de que en
este lugar se
haya desarrollado un indicador de calidad educativa que
soportara la construccin
de un ranking de calidad en educacin. Si se tomar un referente
serio, debera
estar por los lados de los nuevos paises industrializados (NPI).
Tal vez sea el
criterio de la facilidad el que nos lleve a las mismas
coordenadas de manera
reiterada.
5.6. No es claro que los atributos seleccionados, satisfagan los
criterios de evaluacin de la calidad educativa como igual no es
claro que la distribucin de clase
resultante refleje la distribucin de clase original (Ruiz,
Ruiz-Aguliar y Riquelme,
2001). En otras palabras, no existen evidencias tericas ni
procesos estadisticos a
la vista que permitan afirmar que los atributos seleccionados
reflejen de manera
ptima una funcin de calidad educativa como tampoco que esa
funcin se
corresponda con la realidad.
Para que esto fuera posible sera necesario como primer paso
hacer explicito y
transparente los criterios y las metodologias con las cuales se
construy el
algoritmo de seleccin de atributos que permitan un grado alto de
certeza que
esos atributos reflejan realmente una funcin de calidad
educativa. Un elemento
problemtico es que se toman datos ya existentes como atributos
relevantes lo
que induce un serio problema de validez de la totalidad del
instrumento de
medicin. Se podra pensar que se tomaron estos atributos porqu
existan datos
previos ms que por su relevancia para el proceso de medicin de
la calidad
educativa. Esto sin abordar el problema de la validez de las
mediciones previas y
de sus resultados.
5.7. Con la informacin proporcionada, el ranking no posee una
base terica que lo respalde. No se presentan referentes tericos que
permitan integrar esos factores
como la expresin de una configuracin de calidad educativa, como
tampoco que
respalden los pesos que fueron asignados a esos factores. No se
evidencian
procesos de realizacin de anlisis multivariante como estrategia
para establecer
los factores y sus correspondientes pesos. Se observa al
contrario una estrategia
para establecer factores y pesos a priori, lo cual le resta de
manera sera validez al
intento de clasificacin de las instituciones educativas.
5.8. No se evidencian procesos de normalizacin que permitan
mayor claridad en el proceso de medicin. Al comparar ciudades de
diferente tamao, instituciones
-
16
educativas de diferente tamao y salones de clase de diferente
tamao, las
mediciones necesariamente tienden a generar un sesgo que debe
ser
debidamente corregido. Por esta razn los resultados nos llevan a
Zipaquir, Tunja
y Mosquera como un descubrimiento importante.
Con la informacin disponible se puede asegurar que nada
excepcional sucede
all y que el hallazgo se encuentra ms en el instrumento de
medicin que en la
realidad. Esta debilidad terica y este problema metodolgico
genera
expectativas en estos municipios y afecta innecesariamente la
reputacin de las
instituciones educativas que han quedado en los ltimos lugares
del ranking. Si
tomamos como criterio vlido que una buena medicin de
clasificacin es aquella
que coloca en las primeras posiciones los mejores atributos para
clasificar el
conjunto de datos, es altamente problemtico que las primeras
posiciones en la
medicin tengan serios indicios de ser altamente inconsistentes,
ya que no se
evidencia ningn esfuerzo ni intencionalidad claramente especial
de polticas
pblicas en estos municipios. Las revoluciones silenciosas o los
milagros
educativos tienen escasa probabilidad de que sucedan de manera
expontnea.
5.9. Los resultados no son significativos en cuanto no se sabe
con exactitud cuales son los factores que los producen. A lo sumo
es una hipotesis de trabajo que no
tendra que ser publicada como una medicin gubernamental y
oficial de calidad
educativa.
5.10. Finalmente, no se evidencian mediciones de la exactitud de
la clasificacin generada, la consistencia de la informacin
producida por el ranking, como
tampoco el grado de exactitud del algoritmo utilizado para
realizar la clasificacin.
Es critica la falta de transparencia en este tema.
VI. Conclusiones.
6.1. Generar mediciones en la educacin es un aspecto positivo,
sin dudas. El problema es cuando las mediciones se adelantan sin
los trabajos tericos previos
y sin un criterio democrtico que posibilite la participacin
integral de
investigadores, universidades y centros de investigacin.
6.2. observando a lo lejos, el ISCE es una medida foranea que ha
sido construida de manera unilateral por unos funcionarios que han
tomado unas experiencias
internacionales que no son relevantes. Un ejercicio positivo si,
pero apenas como
ejercicio, no como un indicador confiable.
-
17
6.3. Tal y como se presenta, el ISCE es una medida de
productividad academica inscrito dentro de una concepcin fabril de
la escuela, ms no un indicador de
calidad educativa.
6.4. Debido a la multitud de problemas enumerados, el MEN debera
retirar el ISCE como una medida oficial de la calidad educativa y
abrir el espacio para realizar las
investigaciones y analisis corrrspondientes, buscando cumplir
por lo menos con
los principios de Berln. El ejercicio hasta ahora realizado slo
puede ser
considerado como una hipotesis de trabajo que no tiene por que
generar falsas
expectativas y afectar innecesariamente la reputacin de las
instituciones
educativas.
VII. Referencias.
BRUGGEMANN, Rainer; PATIL, Ganapati P. (2011) Ranking and
Prioritization for Multi-indicator Systems -Introduction to Partial
Order Applications-, , Editorial Springer New
York Dordrecht Heidelberg London.
JOAO E. Steiner. World University Rankings A Principal Component
Analysis, Institute of Advanced Studies of the University of So
Paulo; Institute of Astronomy, Geophysics and
Atmospheric Sciences of the University of So Paulo.
RUIZ, Roberto ; AGUILAR-RUIZ, Jess, RIQUELME, Jos. Evaluacin de
Rankings de Atributos para Clasificacin Departamento de Lenguajes y
Sistemas Informticos
Universidad de Sevilla, Sevilla, Espaa
{rruiz,aguilar,riquelme}@lsi.us.es. disponible en:
http://www.lsi.us.es/redmidas/Capitulos/LMD28.pdf
SANTOS, Lpez Leyva (2012).Los rankings universitarios. bases
teoricas, metodologia y su impacto en la educacion superior global.
revista de la educacin superior issn: 0185-2760
Vol. XLI (1), No. 161 Enero - Marzo de 2012, pp. 141 -149
UNIVERSIDAD DE ANTIOQUIA. Rankins de Universidades,
Autoevaluacin del Sistema Universitario de Investigacin. 2011.
Disponible en:
http://www.udea.edu.co/portal/page/portal/BibliotecaInvestigacion/InformacionGeneral/si
stemaUniversitarioInvestigaci%C3%B3n/autoevaluacion/Rankings_Universidades-
Mar15.pdf
O`LEARY, Kathleen; MORGAN, Scott, (editores) Education State
Rankings 2005-2006 Pre K-12 Education in the 50 United States,
Morgan Quitno Press USA.
VAN VUGHT, Frans A.; ZIEGELE Frank (Editores) (2011)
Multidimensional Ranking -The Design and Development of
U-Multirank-, , Editorial Springer New York Dordrecht
Heidelberg London.
