Diseño metodológico para la elaboración de estadísticas de ... · vo diseño estadístico para...

Las Pruebas de Acceso a la Universidad(PAU) para los estudiantes de Bachillerato dis-ponen de una nueva estructura desde el año2010. En esta convocatoria la prueba de acce-so se hace sobre la base de un nuevo modeloderivado de las implantaciones simultáneas del

Bachillerato LOE y del Espacio Europeo deEducación Superior (EEES). Este novedosoproceso intenta acompasar los distintos siste-mas educativos de la Unión Europea y sumi-nistrar una forma de intercambio eficaz entrelos estudiantes, así como dotar de una nuevadimensión y agilidad al proceso de cambio em-prendido por las universidades europeas. Estareforma afecta a cuestiones tan crucialescomo el acceso a la educación superior. En estesentido se reforma la actual PAU y los nuevos

Diseño metodológico para la elaboración de estadísticasde la Prueba de Acceso a la Universidad

Luis J. Rodríguez-Muñiz, Emilio Torres y Eva Álvarez-MartinoUniversidad de Oviedo (España)

El objetivo principal de este estudio consiste en describir un nuevo diseño metodológico para laelaboración de Estadísticas Oficiales de la Prueba de Acceso a la Universidad española (PAU). Estemodelo proporciona, de cara a la nueva PAU que comenzó en el 2010, una amplia informaciónorientada a los usuarios finales, garantizando la confidencialidad y el secreto estadístico. Tambiénofrece a los centros educativos la posibilidad de cotejar los resultados obtenidos por sus alumnoscon los del conjunto de la población examinada y detecta las desviaciones más significativas. Comoejemplo de aplicación se han analizado, mediante el paquete estadístico R, los datos correspon-dientes a los 4731 alumnos de la PAU asturiana del año 2009. En el presente artículo se utiliza-rán sólo los resultados de 75 estudiantes elegidos al azar de entre toda la población objeto de es-tudio y asignados a un centro hipotético como botón de muestra para describir la nueva metodo-logía.Palabras clave: Diseño metodológico, PAU, orientación educativa, rendimiento académico, tra-tamiento de la información.

Methodological Design for the development of statistics on the University Entrance Examination.The main objective of this study is to describe a new methodological design for the developmentof official statistics based on the Spanish university entrance examination (Prueba de Acceso ala Universidad or PAU). This design provides, with foresight towards the new 2010 PAU, com-prehensive information oriented to end-users, ensuring confidentiality and statistical secrecy. Ad-ditionally, it offers to each educational centre the possibility of comparing exam results from itsstudents with the results from the whole examined population and it detects the most significantdeviations. As an application example, data from 4,731 students of 2009 Asturias’ PAU have beenanalyzed using R statistical package. In the present article, data from only 75 students chosen atrandom from the study population and assigned to a hypothetical center will be used as a samplein order to describe this new methodology.Keywords: Methodological design, PAU, educational guidance, academic performance, data pro-cessing.

Aula Abierta 2012, Vol. 40, núm. 3, pp. 83-96ICE. Universidad de Oviedo

ISSN: 0210-2773

Fecha de recepción: 14/06/2011 • Fecha de aceptación: 12/10/2011Correspondencia: Luis J. Rodríguez-MuñizDpto. de Estadística e I.O. y D.M. Universidad de OviedoE.U.I.T. IndustrialCampus de Viesques, s/n. C.P. 33271, Gijón (España)Correo-e: luisj@uniovi.es.

cambios tienen como objetivo adaptar el tra-dicional examen de selectividad a las nuevasnecesidades de la integración europea y a laorientación del nuevo sistema de títulos.

El Real Decreto 1892/2008 y sus sucesivascorrecciones y ampliaciones, configuran estenuevo marco académico y administrativo queregula el acceso a la universidad española, pú-blica o privada, y la admisión a los estudios degrado en las universidades. Esta normativa sur-ge de la aplicación del nuevo modelo educati-vo nacido al amparo de la LOE y de la reestruc-turación de los estudios universitarios para suadaptación al EEES, articulada en el Real De-creto 1393/2007. El Real Decreto 1892/2008establece en su artículo 16 la creación de unacomisión organizadora de las pruebas en el ám-bito territorial de su competencia. En ésta se in-tegran tanto la Administración educativa comolas Universidades públicas, así como otros ex-pertos. A nivel estatal, la Conferencia Sectorialtiene como misión elaborar un modelo de in-forme sobre el desarrollo y resultados de laspruebas para que el Consejo Escolar del Esta-do pueda hacer público un informe anual de laPAU con el objetivo de elaborar recomendacio-nes para mejorarla.

Pese a la voluntad que se manifiesta en di-cha normativa, la realidad se reduce a un meroestudio descriptivo sin realizar una explotaciónestadística seria y rigurosa, con escasas reco-mendaciones para mejorar el rendimientoacadémico. En el caso de Asturias, la Comi-sión Organizadora de la PAU tiene la funciónde elaborar un informe, que posteriormente setrasladarán al Consejo de Universidades, indi-cando qué se entiende por desviación signifi-cativa y en qué centros y asignaturas se pro-duce (Resolución de 23 de abril de 2009). Enparticular, es de gran interés el artículo 4 («In-forme a la Administración Educativa») en elque se establece que la Comisión elaborará uninforme anual donde se recogerán y evaluaránlos resultados obtenidos por el alumnado de losdistintos centros en relación con las califica-ciones de sus expedientes; dicho informe setrasladará a la Consejería y a cada centro.

Por lo tanto, la Comisión Organizadoraevalúa los resultados en función del centro deprocedencia y los coteja con los obtenidos en

Bachillerato. Además, ha de trasladar esta in-formación a los centros y, en caso de una des-viación significativa entre ambas calificacio-nes, es de obligado cumplimiento una menciónexpresa para que la Consejería competente enmateria educativa arbitre los mecanismosnecesarios para verificar y controlar los pro-cedimientos y criterios de evaluación aplica-dos en dichos centros.

En todas las fases del proceso, la Adminis-tración Educativa ha de evitar establecer com-paraciones entre centros, garantizando el ano-nimato del alumnado (Resolución de 23 de abrilde 2009). De este modo se pretende evitar la po-sible confección de comparaciones basadas úni-camente en el criterio de la nota obtenida en laspruebas, que obviarían otras variables queafectan al proceso educativo, como factores so-ciológicos, económicos, condicionamientosgeográficos o formación del profesorado (Gon-zález-Vallinas, 2006; González-Vallinas, Ote-rino, y San Fabián, 2006).

Sin embargo, esta reserva respecto a losdatos no es compartida en otras comunidadesautónomas. Por ejemplo, en Cantabria se pu-blica, desde hace años, un volumen anual contoda la información de las pruebas de acceso,incluyendo notas medias por centros (Bayod-Bayod, 1992; Pelayo, 2002; Solar-Cayón,2007). Estos informes suelen limitarse a unamera descripción de resultados por asignatu-ras y centros, utilizando como únicas medidasde referencia medias, desviaciones típicas yporcentajes de aprobados.

A la vista de la normativa vigente, que hade cumplir con el mandato de evitar la publi-cación conjunta de datos de centros y asegu-rar el anonimato del alumnado, el problemareside en cómo proporcionar y analizar los re-sultados para que todos los usuarios finales po-sean información adecuada. Tanto la ComisiónOrganizadora de las pruebas, como la Admi-nistración educativa y cada Centro, deben te-ner acceso a esta información para llevar a cabolas tareas de evaluación, control y verificaciónde las pruebas de acceso, así como a los pro-cedimientos llevados a cabo en los centros parala preparación de las mismas.

En este contexto, y bajo la filosofía de evi-tar la publicación conjunta de datos y garan-

LUIS J. RODRÍGUEZ-MUÑIZ, EMILIO TORRES Y EVA ÁLVAREZ-MARTINO84

DISEÑO METODOLÓGICO PAU

tizar el anonimato, la finalidad de este traba-jo consiste en la creación de un nuevo diseñoestadístico para verificar y controlar los pro-cedimientos y criterios evaluativos aplicadospor los centros.

Con el objetivo de verificar la nueva me-todología, se utilizó como población objeto deestudio el conjunto de los 4731 alumnos ma-triculados en la PAU asturiana en 2009. Estealumnado proviene de 152 centros: IES públi-cos, colegios concertados y privados y otras mo-dalidades (alumnos libres de COU, LOGSE, ne-cesidades especiales,..). En el presente artícu-lo se utlizarán los resultados de 75 estudianteselegidos al azar de entre toda la población ob-jeto de estudio como botón de muestra para des-cribir la nueva metodología. Como limitaciónde este ensayo hay que mencionar que el dise-ño está enfocado a la nueva PAU de 2010, enla que no existe una vía de examen obligato-ria que exija la realización de al menos dos exá-menes de materias de modalidad forzosa.

El método de recogida de información parallevar a cabo la investigación fue la explota-ción estadística de los registros administrati-vos del Vicerrectorado de Estudiantes y Em-pleo de la Universidad de Oviedo. En este sen-tido, el equipo de trabajo mantuvo un criteriode independencia profesional buscando unequilibrio entre los requisitos en materia de da-tos y los recursos disponibles, la calidad de lainformación y la confidencialidad estadística,de acuerdo al código de buenas prácticas enmateria estadística (Recomendación de lacomisión relativa a la independencia, la inte-gridad y la responsabilidad de las autoridadesestadísticas de los Estados miembros de la Co-munidad, 2005).

La investigación se basa en que la meto-dología, además de conllevar un bajo costeeconómico, debe ser comparable y homogé-nea con otras fuentes estadísticas publicadas;además, la accesibilidad a la información, hade satisfacer, tanto en tiempo como en forma,las necesidades de los usuarios.

Usuarios y necesidades de información

Un primer paso a la hora de crear el nue-vo diseño estadístico para verificar y contro-

lar los procedimientos y criterios evaluativosaplicados por los centros, consiste en la iden-tificación de usuarios para tal diseño, así comola detección de las distintas necesidades de in-formación que pudiesen tener.

En concreto, se identificaron cuatro usua-rios: la Comisión Organizadora de la PAU, elVicerrectorado de Estudiantes y Empleo, loscoordinadores de las asignaturas de la PAU ypor último, los Centros educativos.

En primer lugar, la Comisión Organizado-ra, como organismo responsable de las prue-bas y de la elaboración y elevación del infor-me sobre los resultados, debe poseer toda lainformación relativa al proceso, incluyendo losresultados del alumnado en general, por ma-terias, por centros y por correctores.

Al segundo actor involucrado, el Vicerrec-torado de Estudiantes y Empleo, como órganogestor de las pruebas, le corresponden las si-guientes tareas: elaboración material de los do-cumentos de examen, matrícula de los estudian-tes, distribución por aulas y sedes de los estu-diantes, recogida y custodia de las pruebas, ges-tión y publicación de las calificaciones y los pro-cesos de revisión, emisión de las certificacio-nes correspondientes y gestión de los trasladosde expediente a otras comunidades, si hubie-ra lugar. Por consiguiente, el Vicerrectorado ne-cesita los resultados de la prueba en general, pormaterias y por correctores.

Un tercer usuario lo configura el colecti-vo de coordinadores. Para cada materia exis-ten dos responsables, especialistas pertenecien-tes uno a la Universidad y otro a la Adminis-tración Educativa; éstos se encargan de la co-ordinación con los centros, de la elaboraciónde las propuestas de examen y redacción delos criterios específicos de corrección y su ex-plicación a los profesores evaluadores. Por ello,los responsables necesitan disponer de los re-sultados de su prueba, así como un control delas calificaciones para cada corrector.

En último lugar, se encuentran los Cen-tros educativos a través de los que se orga-niza el proceso de enseñanza-aprendizaje delalumnado. Éstos tienen, como requisito in-dispensable para la mejora de la educación,la misión de determinar el nivel de cumpli-miento de los objetivos de aprendizaje y de

85

valorar en qué medida contribuyen y facili-tan el logro de los mejores resultados en to-das aquellas dimensiones que definen yconfiguran el currículo; por ello se les debehacer llegar la información sobre los resul-tados obtenidos en las pruebas en general yen cada una de las materias en particular.

Las variables de segmentaciónUn segundo paso importante en el diseño

estadístico consiste en el tratamiento de la in-formación. El estudio de la información dis-ponible conduce a realizar análisis conjuntosy segmentados según las variables centro edu-cativo, asignatura, corrector y las siguientescombinaciones de estos factores: centro edu-cativo y asignatura, y asignatura y corrector.Se repiten estos análisis desagregándolos se-gún sexo, de acuerdo con la actual normati-va vigente que obliga a incluir sistemáticamen-te esta variable en las estadísticas (Ley Orgá-nica 3/2007).

Según el tipo de usuario, se elabora un in-forme utilizando unas variables de segmenta-ción u otras. En el caso de los centros, se re-aliza un análisis global de los resultados delcentro así como un informe detallado por asig-natura; y para los coordinadores, un análisisglobal y desagregado por corrector. La Comi-sión Organizadora y el Vicerrectorado reciben,además de los informes elaborados para cadacentro y para cada corrector, un análisis glo-bal que incluye una comparativa entre centrosy asignaturas.

El diseño de distintos tipos de métodos deanálisis

Dado el gran número de análisis a reali-zar según el tipo de usuario, se diseñaron cua-tro métodos de análisis que se aplicaron a to-das las variables de segmentación anteriormen-te descritas. Estos métodos de análisis se de-nominaron: Ejecutivo, Diferencia significati-va, Modalidades escogidas y Detallado. Sedescriben brevemente a continuación.

Análisis EjecutivoEn una página se resume esquemática-

mente la información más relevante del es-tudio. El esquema incluye estadísticos des-

criptivos, categorías de segmentación (cole-gios, correctores, asignaturas) con más y me-nos aprobados, calificaciones más altas y másbajas, categorías con diferencias significati-vas, categorías más escogidas y duplicaciónde vías de acceso.

Análisis de Diferencias significativasSe presenta una tabla-resumen de los

principales estadísticos de las categorías ana-lizadas: número de personas presentadas,porcentaje de aprobados, nota media, desvia-ción típica, nota media del Bachillerato de laspersonas que se han presentado en dicha ca-tegoría, diferencia entre las notas del Bachi-llerato y de la PAU y tasa de variación porcen-tual de la nota del Bachillerato respecto a lade la PAU. La tabla se acompaña de dos grá-ficos que representan visualmente el conteni-do de la tabla. El primero relaciona las cali-ficaciones medias en la PAU con las del Ba-chillerato. En el segundo, se muestra la rela-ción entre la nota de la PAU y la tasa de va-riación. En la Figura 1 se identifican de unaforma visual las asignaturas con una diferen-cia significativa entre la calificación de la PAUy la del Bachillerato. Se ha definido como «di-ferencia significativa» al conjunto de las ca-tegorías que alcanzan los valores extremos dela tasa de variación. Para evitar problemas derepresentatividad sólo se han consideradocategorías con al menos diez alumnos.

Análisis de Modalidades escogidasDado que el alumno dispone de la opción

de escoger entre distintas modalidades paraexaminarse, este análisis proporciona la infor-mación detallada al respecto.

Análisis DetalladoEl estudio detallado de cada categoría de

segmentación empieza con un análisis descrip-tivo básico: número de asistentes, porcentajede presentados, porcentaje de aprobados, ca-lificación media, desviación típica y mediana.Se incorpora también una tabla de frecuenciascon calificaciones agrupadas en intervalos.Igualmente se representan dos gráficos. Enellos se realiza una comparativa de los resul-tados obtenidos en la categoría de interés con

LUIS J. RODRÍGUEZ-MUÑIZ, EMILIO TORRES Y EVA ÁLVAREZ-MARTINO86

DISEÑO METODOLÓGICO PAU

su equivalente a nivel asturiano, se muestranambos perfiles y visualmente se detectan lasdiferencias o similitudes existentes. De esta for-ma pueden cotejarse los resultados obtenidosen el grupo de interés con las calificaciones deAsturias (ver Figura 2).

Dado el interés de los usuarios por cono-cer los resultados de la PAU en contraste conlos del Bachillerato, y por determinar su po-sición relativa en relación con el resto de alum-nos, pero respetando en todo momento el ar-tículo 4.4 de la Resolución de 23 de abril de2009, se diseña un gráfico, denominado po-pularmente «araña», que relaciona las califi-caciones obtenidas en la PAU y en el Bachi-llerato. Esta figura muestra los resultados ob-tenidos por el alumnado de la categoría de in-terés y de todos los alumnos de Asturias. La«araña» enlaza el valor medio de la categoría

con los valores individuales e incorpora unapoligonal convexa que delimita el 90% de losresultados centrales de Asturias. Así, los pun-tos exteriores a dicha poligonal pueden con-siderarse atípicos en el sentido de que los re-sultados de la PAU y del Bachillerato se en-cuentran entre el 10% de resultados extremos.Con el fin de garantizar la confidencialidad,en la representación gráfica se ha introduci-do un error aleatorio de 0.25 puntos, de for-ma que la información visual es completamen-te válida y al mismo tiempo no se presentandatos reales (ver Figura 3).

La explotación estadística

Una vez diseñados los métodos de análi-sis, se procede a la explotación estadística delos registros administrativos. Dado el gran vo-

87

Figura 1. Representación gráfica de la relación entre la calificación de la PAU y la tasa de variación delBachillerato respecto a la PAU. (PAU = Prueba de Acceso a la Universidad; Bach = Bachillerato; BI =Biología; CT = Ciencias de la Tierra; EC = Economía de la Empresa; FI = Física; GF = Geografía; GR= Griego II; HI = Historia de España; HA = Historia del Arte; I = Inglés; L2 = Latín II; MS = Matemá-ticas CC.SS. II; M2 = Matemáticas II; QU = Química).

LUIS J. RODRÍGUEZ-MUÑIZ, EMILIO TORRES Y EVA ÁLVAREZ-MARTINO88

Figura 2. Densidad que compara los resultados obtenidos en la PAU del colectivo considerado (todos losalumnos matriculados en Matemáticas CC.SSII –Ciencias Sociales II- del Centro) con las respectivas ca-lificaciones en Asturias (todos los alumnos matriculados en esa asignatura).

Figura 3. Comparación de los resultados obtenidos en la PAU y en el Bachillerato del colectivo conside-rado con las respectivas calificaciones en Asturias. La poligonal delimita el 90% de los casos centrales.

DISEÑO METODOLÓGICO PAU

lumen de centros, de asignaturas y de alum-nos, se decide utilizar el paquete estadísticoR (Elosua, 2009; R Development Core Team,2007) para el análisis. Este software, gratui-to y de libre distribución, permite automati-zar en un ordenador personal las tareas de en-lace de datos con el servidor central, analizary realizar los informes, generarlos en forma-to pdf y realizar su envío por correo electrónico(ver Figura 4).

La elaboración de informes en función del usuario

Los cuatro modelos de informes elabora-dos para cada usuario siguen el mismo esque-ma: portada personalizada, índice de conteni-dos y de figuras, nota metodológica, resumenejecutivo y, posteriormente, análisis detalla-dos requeridos para cada uno. Estos análisisse hicieron en conjunto para todos los alum-nos y posteriormente diferenciados por sexo.La nota metodológica detalla los conceptos es-tadísticos utilizados (media, mediana, desvia-ción típica, tasa de variación) y se presentangráficos explicativos de los resultados.

En primer lugar, para cada centro se ana-lizan los resultados obtenidos en la PAU y enBachillerato. Asimismo se facilita a cadacentro un estudio comparativo de los resulta-dos obtenidos por el alumnado del Centro enrelación con el resto. Este estudio preserva ladebida confidencialidad de los resultados ob-tenidos en otros centros.

En segundo lugar, para el coordinador decada materia se plantea un estudio de los re-sultados a nivel asturiano y desagregado porcorrector, ya que en la corrección intervienenvarios profesores de Universidad y de Bachi-llerato. Aproximadamente participan dos-cientos cincuenta correctores distribuidos en-tre distintas materias: Alemán (A), LenguaCastellana y Literatura (AT), Biología (BI),Ciencias de la Tierra y Medio Ambientales(CT), Dibujo Artístico II (DA), Fundamentosde Diseño (DI), Dibujo Técnico (DT), Econo-mía y Organización de Empresas (EC), Elec-trotecnia (EL), Francés (F), Física II (FI), Fi-losofía (FL), Geografía (GF), Griego II (GR),Historia del Arte (HA), Historia de la Filoso-fía (HF), Historia (HI), Historia de la Músi-ca (HM), Inglés (I), Imagen (IM), Latín II (L2),

89

Figura 4. Flujo de la información durante el proceso de elaboración de informes sobre la PAU.

Matemáticas II (M2), Mecánica (ME), Mate-máticas para las Ciencias Sociales II (MS),Música (MU), Portugués (P), Química (QU),Italiano (T), Técnicas de Expresión GráficoPlástica (TE) y Tecnología Industrial (TI).

Por último, a la Comisión y al Vicerrec-torado de la Universidad se les proporciona,además de todo lo anterior, un estudio com-parativo de los resultados en las distintas ma-terias y según centros.

En el caso de los informes para los Cen-tros y para la Comisión, se analizan tambiénlos datos obtenidos en cada materia por losalumnos de cada centro y de Asturias, respec-tivamente.

Se detalla a continuación el diseño del in-forme elaborado para cada Centro, ya que elresto de informes diseñado para la Comisióny para los coordinadores, sigue un esquema si-milar. El centro IES San Martín del Sella esficticio y las 75 personas que lo componen sehan seleccionado al azar de entre toda la po-blación.

En primer lugar, el informe destinado a loscentros consta de una portada personalizaday de un índice que facilita la lectura del do-cumento. Los apartados del índice están uni-dos a sus correspondientes secciones median-te hiperenlaces. El informe comienza con unanota metodológica que detalla las principalescaracterísticas técnicas empleadas en él y cons-ta de ejemplos detallados para facilitar la in-terpretación de los resultados y de los gráfi-cos. Seguidamente se resume en una páginala información más relevante. En particular,se explicitan el número de alumnos matricu-lados, los presentados, el tanto por ciento deaprobados y la calificación media obtenida enla PAU. Además se detallan las tres asignatu-ras con más y con menos aprobados, así comolas asignaturas con una nota media más altay las tres con las peores calificaciones medias.Igualmente, se destacan aquellas materias enlas que las calificaciones del Bachillerato sonsensiblemente diferentes de las obtenidas enla PAU (ver Figura 5).

LUIS J. RODRÍGUEZ-MUÑIZ, EMILIO TORRES Y EVA ÁLVAREZ-MARTINO90

Figura 5. Resumen de la información más relevante de todo el informe en una página.

DISEÑO METODOLÓGICO PAU

En una tabla se especifican los resultadosobtenidos para cada materia examinada en laPAU. Se muestra el número de presentados,el tanto por ciento de aprobados, la califica-ción media y la desviación típica de los resul-tados obtenidos en la PAU, la nota media glo-bal del Bachillerato de los alumnos que se hanpresentado a la correspondiente materia, la di-ferencia entre dicha nota y la obtenida en laPAU, así como la tasa de variación de la notadel Bachillerato respecto a la calificación dela materia en la PAU (ver Figura 6).

Con el fin de facilitar la lectura de los da-tos, se elaboran dos gráficos relacionando lascalificaciones obtenidas en las distintas asig-naturas tanto en el Bachillerato como en laPAU. El primero relaciona la nota media dela PAU para cada materia con las notas glo-bales obtenidas en el Bachillerato (ver Figu-ra 7). El segundo muestra la tasa de variaciónde la nota del Bachillerato respecto a la de laPAU. Las asignaturas que aparecen en los ex-tremos son las que presentan mayor variación,tanto en exceso como en defecto. Ambos grá-ficos están acompañados por una tabla con lasleyendas de las asignaturas y el número dealumnos presentados. Para evitar escalas en-

gañosas, sólo se han representado las asigna-turas con diez o más alumnos (ver Figura 1).

El siguiente apartado detalla las asignatu-ras optativas escogidas por los alumnos paraexaminarse (ver Figura 8).

Por último, se realiza un análisis porme-norizado de los resultados de cada asignatu-ra. En cada asignatura aparece el número dealumnos presentados, el tanto por ciento deaprobados, la desviación típica y la media. Sepresenta una tabla de frecuencias de los resul-tados obtenidos y dos gráficos comparando lascalificaciones obtenidas con el resto de alum-nos de Asturias y con las calificaciones del Ba-chillerato (ver Figura 9).

El informe para cada centro ocupa menosde dos megabytes y unas ochenta páginas demedia. El informe completo de todo el estu-dio consta de más de doce mil páginas. La cap-tura de datos y la elaboración de todos los in-formes llevaron menos de tres horas en un or-denador personal; el único cuello de botella sepuede producir en el envío por correo electró-nico de los informes, ya que depende del trá-fico de la red. En condiciones normales el pro-ceso está finalizado antes de 3 horas y está pro-gramado para efectuar el envío electrónico en

91

Figura 6: Tabla-resumen con los principales estadísticos del estudio.

LUIS J. RODRÍGUEZ-MUÑIZ, EMILIO TORRES Y EVA ÁLVAREZ-MARTINO92

Figura 7. Representación de las calificaciones medias en la PAU y en el Bachillerato de las asignaturas.

Figura 8. Combinaciones de asignaturas escogidas para examinarse en la PAU.

DISEÑO METODOLÓGICO PAU

horario valle. La programación de todo el sis-tema llevó menos de cuarenta horas de traba-jo de un profesor experto en el paquete esta-dístico R (R Devolpment Core Team, 2007).

Conclusiones

Diversos estudios publicados durante losúltimos años han alertado sobre la precaria si-tuación de la educación española no univer-sitaria, denunciando su bajo índice de resul-tados (OECD, 2007, 2008, 2009). Frente a loscontinuos cambios que se han producido en lalegislación educativa española a lo largo de es-tos años, el denominador común de las refor-mas educativas europeas se concentra en im-pulsar aspectos trascendentales para la mejo-ra educativa.

Ante este nuevo reto, la prueba de acce-so a la educación superior cumple un papel pri-

mordial. Si la función de la PAU consiste, en-tre otras cosas, en garantizar la homogeneidadde criterios de evaluación entre centros, seránecesario asegurar de alguna forma que losalumnos que accedan a la universidad recibanuna formación adecuada, que ésta sea valora-da con criterios equivalentes y que el rendi-miento académico medido con ecuanimidadpueda resolver qué alumno tiene prioridad pararealizar determinados estudios (Muñoz-Repi-so et al., 1997).

La importancia de poner en contacto a lasdistintas redes de actores implicadas en la edu-cación para reforzar sus capacidades de utili-zación provechosa de la información es inne-gable; para ello es substancial favorecer el usode metodologías rigurosas en la investigacióneducativa y propiciar el aprovechamiento delos distintos informes generados para la tomade importantes decisiones.

93

Figura 9. Modelo de informe para el análisis de las asignatura, centros, correctores, sexo y en las combi-naciones de estas variables.

Consideramos que la nueva metodologíaaquí descrita puede ser utilizada como una ex-celente herramienta para favorecer la creaciónde un sistema de información útil y colaborarasí en la mejora educativa. Esta metodologíapermite garantizar que tanto la Comisión Or-ganizadora de las pruebas como la propia Ad-ministración y cada uno de los centros educa-tivos así como los distintos coordinadores delas asignaturas, posean información necesariay provechosa, siempre cumpliendo con el man-dato de evitar la publicación conjunta de da-tos de centros y asegurando así la confiden-cialidad, sin quebrantar las normas de secre-to estadístico.

Entre otras cosas, permite analizar la aso-ciación entre las notas medias individuales delBachillerato y de la PAU, así como la varia-ción de esta asociación entre los distintos cen-tros, y, por lo tanto, tiene una capacidad po-tencial a la hora detectar posibles desviacio-nes significativas entre las medias de las ca-lificaciones de los expedientes académicos delalumnado y las calificaciones otorgadas porel tribunal. También ofrece datos importan-tes a la hora de investigar la calidad de la co-rrección en estas pruebas, pues permite eva-luar el impacto de los correctores y así detec-tar posibles puntos débiles en el proceso decorrección. Por otro lado, ofrece la capacidadde estudiar la relación a nivel estudiante y anivel centro del conjunto de materias de la

PAU, lo que permite descubrir el papel de cadauna de ellas.

La potencia de esta metodología se hacefactible también en su capacidad para detec-tar diferencias significativas desde el puntode vista estadístico tan importantes como lassiguientes: conocer cuál es la magnitud de ladiferencia entre centros e identificar aquellosque en un sentido u otro se alejan del com-portamiento medio; analizar si existe una aso-ciación positiva entre la notas de Bachillera-to y de la PAU de cada centro; analizar la ca-lidad del proceso de corrección de las prue-bas... Los modelos de informe permitenprofundizar en un análisis mucho más exhaus-tivo en torno a la gran cantidad de datos re-cogida y, por lo tanto, a partir de ellos, se pue-den elaborar importantes conclusiones o re-comendaciones para mejorar las pruebas. Di-cho diseño ofrece, en definitiva, una ampliainformación destinada a los diferentes usua-rios que incluye desviaciones significativasy la posibilidad de cotejar los resultados desus alumnos con el conjunto de los estudian-tes examinados.

En último lugar, es necesario tener en cuen-ta que los resultados sólo se refieren a un añoy que, para establecer conclusiones taxativas yfructíferas, sería necesario elaborar una revisiónhistórica de las calificaciones obtenidas, tareaque podría ser llevada a cabo sin muchas difi-cultades utilizando esta metodología.

LUIS J. RODRÍGUEZ-MUÑIZ, EMILIO TORRES Y EVA ÁLVAREZ-MARTINO94

Referencias

Bayod-Bayod, J. (1992). Coordinación del COU ypruebas de acceso a universidad: 1992–1993.Santander: Universidad de Cantabria.

Corrección de errores del Real Decreto 1892/2008,de 14 de noviembre, por el que se regulan lascondiciones para el acceso a las enseñanzas uni-versitarias oficiales de grado y los procedimien-tos de admisión a las universidades públicas es-pañolas (BOE de 28 de marzo de 2009).

Corrección de errores del Real Decreto 1892/2008,de 14 de noviembre, por el que se regulan lascondiciones para el acceso a las enseñanzas uni-versitarias oficiales de grado y los procedimien-tos de admisión a las universidades públicas es-pañolas. (BOE de 21 de julio de 2009).

Elosua, P. (2009). ¿Existe vida más allá del SPSS?Descubre R. Psicothema, 21(4), 652–655.

González-Vallinas, P. (2006). La formación perma-nente del profesorado de Educación Secunda-ria en Asturias: su relación con las caracterís-ticas del profesorado y de los I.E.S. y con losresultados de la P.A.U. Oviedo: Universidad deOviedo.

González-Vallinas, P., Oterino, D., y San Fabián, J. L.(2006). El Impacto de la Formación Permanen-te del Profesorado de Educación Secundaria enlos Resultados Escolares. Archivos Analíticosde Políticas Educativas, 14(19). Recuperado el18/12/2009 de http://epaa.asu.edu/epaa/v14n19.

Ley Orgánica 2/2006, de 3 de mayo, de Educación(BOE de 4 de mayo de 2006).

Ley Orgánica 3/2007, de 22 de marzo, para la igual-dad efectiva de mujeres y hombres (BOE de 23de marzo de 2007).

DISEÑO METODOLÓGICO PAU

Muñoz-Repiso, M., Murillo, F., Arrimadas, I., Na-varro, R., Díaz-Caneja, P., y Martín, A. (1997).El sistema de acceso a la universidad en Es-paña: tres estudios para aclarar el debate. Ma-drid: CIDE.

Orden EDU/1434/2009, de 29 de mayo, por la quese actualizan los anexos del Real Decreto1892/2008, de 14 de noviembre, por el que seregulan las condiciones para el acceso a las en-señanzas universitarias oficiales de grado y losprocedimientos de admisión a las universida-des públicas españolas (BOE de 4 de junio de2009).

Orden EDU/268/2010, de 11 de febrero, por la quese modifica la Orden EDU/1434/2009, de 29de mayo, por la que se actualizan los anexos delReal Decreto 1892/2008, de 14 de noviembre,por el que se regulan las condiciones para el ac-ceso a las enseñanzas universitarias oficiales degrado y los procedimientos de admisión a lasuniversidades públicas españolas (BOE de 13de febrero de 2010).

Organization for Economic Cooperation and Devel-opment (2007). Education at a glance 2007,OECD indicators. Paris: OECD.

Organization for Economic Cooperation and Devel-opment (2008). Education at a glance 2008,OECD indicators. Paris: OECD.

Organization for Economic Cooperation and Devel-opment (2009). Education at a glance 2009,OECD indicators. Paris: OECD.

Pelayo, A. (2002). Pruebas de Acceso a la Univer-sidad. Bachillerato LOGSE, 2001-2002. San-tander: Universidad de Cantabria.

R Development Core Team. (2007). R: A languageand environment for statistical computing.Vienna, Austria.

Real Decreto 558/2010, de 7 de mayo, por el quese modifica el Real Decreto 1892/2008, de 14de noviembre, por el que se regulan las condi-ciones para el acceso a las enseñanzas univer-sitarias oficiales de grado y los procedimien-tos de admisión a las universidades públicas es-pañolas (BOE de 8 de mayo de 2010).

Real Decreto 1892/2008, de 14 de noviembre, porel que se regulan las condiciones para el acce-so a las enseñanzas universitarias oficiales degrado y los procedimientos de admisión a lasuniversidades públicas españolas (BOE de 24de noviembre de 2008).

Real Decreto 1393/2007, de 29 de octubre, por elque se establece la ordenación de las enseñan-zas universitarias oficiales (BOE de 30 de oc-tubre de 2007).

Recomendación de la comisión relativa a la inde-pendencia, la integridad y la responsabilidad delas autoridades estadísticas de los Estadosmiembros y de la Comunidad. Comunicaciónde la Comisión al Parlamento Europeo y alConsejo relativa a la independencia, la integri-dad y la responsabilidad de las autoridades es-tadísticas de los Estados miembros y de la Co-munidad, 217, 1–23, 25 de mayo de 2005.

Resolución de 23 de abril de 2009, de la Conseje-ría de Educación y Ciencia, por la que se cons-tituye la comisión organizadora de las pruebasde acceso a la Universidad de Oviedo y se re-gula su funcionamiento (BOE de 11 de mayode 2009).

Solar-Cayón, J. (2007). Pruebas de Acceso a la Uni-versidad. Bachillerato LOGSE, 2008-2009. San-tander: Universidad de Cantabria.

95