Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
ECPEMS
Examen de Certificación para Profesores
de Educación Media Superior
GUÍA DE INTERPRETACIÓN DEL
REPORTE TÉCNICO PARA LA
INSTITUCIÓN
(2005)
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
1
GUÍA DE INTERPRETACIÓN DEL
REPORTE TÉCNICO PARA LA
INSTITUCIÓN
Presentación
El Reporte Técnico del ECPEMS (Examen de Certificación para Profesores de Educación Media Superior) presenta
los resultados institucionales provenientes de la aplicación de las pruebas objetivas, portafolio de evidencias y
cuestionarios de opinión de los alumnos. El contenido de esta carpeta puede variar dependiendo de los instrumentos
que se hayan aplicado en la Institución.
En esta Guía se explican los elementos que integran el reporte y sugerencias para la interpretación de los resultados.
1. Diseño de los instrumentos
Las pruebas objetivas utilizadas en el ECPEMS responden a un Perfil del Profesor definido en función de una
auscultación entre profesores y con la colaboración de los miembros de los Consejos Técnicos Nacional e
Internacional. El perfil puede consultarse en el Manual Técnico del ECPEMS, aquí se reproducen los temarios
generales y detallados que se emplean en las pruebas.
1.1 Temarios generales
Examen de Habilidades y Conocimientos Generales
Mide habilidades y conocimientos básicos que debe poseer un profesor del Nivel Medio Superior, con los cuales
puede cumplir mejor sus funciones docentes, atendiendo a aspectos formales, de razonamiento, información del
estado actual de México y del mundo, así como aspectos mínimos esenciales de tecnología educativa. Los temas o
áreas que explora el Examen de Habilidades y Conocimientos Generales son los siguientes:
Áreas Temas
Matemáticas Aritmética/ Álgebra/ Geometría/ Geometría analítica.
Español Sintaxis/ Ortografía/ Lectura de comprensión/ Redacción de textos.
Razonamiento Verbal,
numérico y lógico
Análisis de relaciones/ Análisis de textos/ Series numéricas/ Razonamiento numérico-
espacial/ Relaciones geométricas/ Silogismos/ Razonamiento espacial e instrumental/
Relaciones y analogías/ Series gráficas.
Metodología
Consulta en biblioteca e Internet/ Elementos del proceso de investigación/
Procesamiento de información/ Presentación de documentos y reportes/ Técnicas de
estudio y de aprendizaje.
Mundo actual México contemporáneo (política, educación, ciencia y tecnología)/ Mundo actual
(política, educación, ciencia tecnología)
Inglés Estructura gramatical/ Conjugación de verbos/ Comprensión del texto escrito.
Computación Manejo del ambiente Windows/ Procesador de textos/ Hoja de cálculo/ Base de datos/
Presentadores (Power Point).
Tecnología Educativa Métodos de enseñanza/ Materiales educativos/ Didáctica general/ Evaluación del
aprendizaje/ Teorías de aprendizaje.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
2
Exámenes de conocimientos específicos
Dedicados a evaluar conocimientos y habilidades propios de un área educativa, distribuidos de esta forma:
Áreas de
especialidad Campos temáticos Subtemas
MATEMÁTICAS
Álgebra y funciones
Álgebra. Relaciones, funciones y gráficas / Sistemas de ecuaciones y
lineales, matrices y determinantes / Funciones cuadráticas,
polinomios y expresiones racionales / Funciones exponencial y
logarítmica
Geometría,
Trigonometría y
Analítica
Ángulos, triángulos y propiedades/ Congruencia, paralelismo,
lugares geométricos y áreas/ Polígonos, poliedros, áreas y
volúmenes/ Funciones e identidades trigonométricas, problemas y
solución de triángulos/ Geometría analítica (punto, distancia, recta y
cónicas)
Probabilidad y
estadística
Estadística y método científico/ Probabilidad, conceptos y teoremas/
Recopilación de datos/ Tablas de frecuencias/ Representaciones
gráficas/ Medidas de tendencia central y de dispersión/ Regresión y
medidas de correlación/ Estimación y pruebas de hipótesis
Cálculo diferencial e
integral
Sucesiones, series, límites, continuidad / Definición de derivada y
concepto geométrico. Aplicaciones (razón de cambio, máximos y
mínimos) / Diferencial / Definición de integral, límite de una suma /
Aplicaciones de la integral (área bajo una curva) / Métodos de
integración y antiderivada
Didáctica de la
especialidad
Didáctica de las matemáticas/ Aprendizaje reflexivo/ Planteamiento
y solución de problemas/ Análisis de errores en el aprendizaje de los
alumnos/ Planeación educativa y evaluación del aprendizaje
CIENCIAS
NATURALES
Física
Fundamentos, experimentación, medición, vectores (análisis e
interpretación de datos) / Energía, calor y temperatura. Movimiento
y cinemática / Leyes de Newton, trabajo y energía / Estructura de la
materia y fluidos (hidrostática e hidrodinámica) / Electricidad y
magnetismo / Ondas, vibraciones y comportamiento de la luz /
Didáctica de la física
Química
La química y nuestro entorno / Propiedades de la materia /
Estructura atómica y tabla periódica / Enlace químico, energético,
cinética, química y reacciones / Estequiometría / Mezclas,
disoluciones y suspensiones / Química orgánica y macromoléculas /
Didáctica de la química
Biología
Teorías sobre el origen de la vida y evolución de los seres vivos /
Biología celular / Organismos vivos / Ecología y evolución,
biodiversidad / Reproducción, herencia y el código genético /
Botánica y zoología / Didáctica de la biología.
Geografía
La ciencia geográfica, conceptos y generalidades / La Tierra en el
Universo / La Tierra: forma, movimientos y representación. / La
Tierra, nuestro planeta / Hidrosfera y atmósfera, clima, aguas /
Geografía humana (socioeconomía y política) / Didáctica de la
geografía
Ecología
Introducción al estudio de la ecología / Estructura, factores y
procesos del ecosistema / Ecología, ambiente y sociedad /
Tecnología ambiental y eco tecnología / Didáctica de la ecología
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
3
Áreas de
especialidad Campos temáticos Subtemas
CIENCIAS
HISTÓRICO-
SOCIALES
Ciencias Sociales
La construcción del conocimiento en las ciencias sociales / Las
disciplinas sociales y el enfoque interdisciplinario / Interpretaciones
científicas de la sociedad / La investigación en ciencias sociales /
Didáctica de las Ciencias Sociales.
Historia de México
Conocimientos y habilidades analíticas para el estudio de la Historia
de México / Periodo Prehispánico, la Conquista y el Virreinato / La
Independencia de México / Construcción del estado y la nación / El
Porfiriato / La revolución mexicana, la constitución de 1917 y el
estado constitucional / La reconstrucción nacional y el régimen
posrevolucionario / Didáctica de la Historia de México
Estructura
socioeconómica de
México
La industrialización con estabilidad 1940 – 1970 / Desarrollo
económico 1970 – 1982 / Crisis económica y condiciones de vida de
la población / El nuevo orden económico / Política de Derechos
humanos y medio ambiente / Reforma política, reforma educativa y
política social / Didáctica del estudio socio económico de México
Historia Universal
Conocimientos y habilidades analíticas para el estudio de la Historia
Universal / Crisis de los estados en el siglo XX. La Primera Guerra
Mundial / La Segunda Guerra Mundial, antecedentes y
consecuencias / El mundo después de la 2º guerra mundial (1945 –
1989) / El nuevo orden internacional (caída del bloque socialista,
guerra del Golfo Pérsico, la globalización) / Didáctica de la Historia
Universal
Filosofía, Lógica y
Ética
Objeto de estudio y métodos de la filosofía / La filosofía sobre la
naturaleza / La filosofía sobre la sociedad / La filosofía sobre el ser
humano y la ética / Estructuras lógicas, pensamiento, concepto, idea,
juicio / Didáctica de la Filosofía
LENGUAJE
Taller de Lectura y
Redacción
El manejo de la lengua a través del uso de recursos expresivos /
Generalidades de la redacción / Producción creadora y técnicas de
investigación documental / Propiedades de diferentes tipos de textos
(científicos, periodísticos, recreativos, familiares, anuncio, artículo,
ensayo) / Comunicación oral y escrita / Métodos didácticos para taller
de lectura y redacción
Literatura
Introducción a la Literatura / Géneros literarios / Historia de la
Literatura Universal / Textos narrativos (fábula, leyenda, mito,
epopeya, cuento y novela) / Textos dramáticos y poéticos
(características y elementos de análisis) / Didáctica de la literatura
Etimologías
grecolatinas
Introducción a las etimologías grecolatinas, relación con otras lenguas
y campos / Grafía, alfabeto, acentos y espíritus del griego y fonética
latina / Declinaciones griegas y latinas (uso de sustantivos y adjetivos)
/ Palabras griegas compuestas y derivadas / Elementos y locuciones de
la gramática latina / Métodos didácticos para las etimologías
grecolatinas
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
4
Áreas de
especialidad Campos temáticos Subtemas
INGLÉS
Uso del lenguaje
Artículos. Sustantivos, plural, sustantivos tomados de verbos, fechas,
números/ Adjetivos posesivos, demostrativos, calificativos,
comparativos, vocablos como adjetivos o pronombres / Pronombres
personales, posesivos, objetivos, demostrativos, reflexivos,
indefinidos, compuestos / Preposiciones. [PREFIJO]s y sufijos /
Adverbios, uso de terminaciones, frases adverbiales
Formas y
expresiones
Comparativo, superlativo, how much/ how many / Uso de cláusulas
independientes, cuantificadores / Estructuras con cambio de orden en
los complementos / Formas interrogativas / Uso de get, there + be,
which + one/ones, let’s, ‘s. Uso de that, whether, whoever, all,
whole, both, so, etc.
Uso de los verbos
Presente (simple, progresivo, perfecto) / Pasado (simple, progresivo,
perfecto) / Futuro / Imperativo, infinitivo, gerundio / Verbos
compuestos / Auxiliares (can, could, be able, may, should, etc.) /
Infinitivo y gerundio (sujetos y complemento directo) / Voz pasiva /
Verbos especiales o con problemas de comprensión
Didáctica de la
lengua inglesa
Enfoques metodológicos / Producción oral y escrita / Comprensión
lectora y auditiva / Riqueza de vocabulario y aplicación fonética /
Referencias al Contexto cultural
INFORMÁTICA
Fundamentos de la
Informática
Desarrollo y significado de la computación/ Historia de la
computación/ Sistemas operativos/ Matemáticas y computación/
Métodos numéricos/ Aproximaciones y errores/ Programación
estructurada y algoritmos/ Lenguajes de programación
Aplicaciones
modernas de la
Informática
Aplicaciones prácticas de las herramientas computacionales/
Aplicaciones modernas de la programación/ Graficación y CAD/
Redes informáticas/ Bases de datos/ Sistemas expertos e inteligencia
artificial / Uso de programas / Aplicaciones didácticas. Internet /
Aplicaciones modernas de la programación / Sistemas expertos.
Inteligencia artificial. Robótica. Realidad virtual / Didáctica de los
paquetes informáticos.
Didáctica de la
especialidad
Didáctica de la informática/ uso de los equipos y del software/
Didáctica de los paquetes informáticos y aplicaciones/ Didáctica de
las herramientas de comunicación y de tecnologías actuales de
cómputo/ Planeación educativa y evaluación del aprendizaje
Para la evaluación de estas áreas se diseñaron tablas de validez de contenido de doble entrada (Campos-Niveles de
complejidad), habiéndose establecido tres niveles de complejidad o profundidad: Básico, Intermedio y Avanzado,
conservando una equivalencia aproximada con niveles taxonómicos tradicionales.
Se trata de una equivalencia aproximada porque el ECPEMS no se fundamenta en la taxonomía de Bloom o en
objetivos conductuales. Se hace uso de la taxonomía por motivos de claridad, atendiendo a que tiene la virtud de ser
completa y ordenada.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
5
1.2 Elaboración, calibración y mantenimiento de los reactivos
Los reactivos que integran las pruebas del ECPEMS fueron elaborados por profesores procedentes de varias
instituciones, públicas y privadas, así como de diversos planteles ubicados en varios puntos de la República
Mexicana. Todos los redactores de reactivos recibieron capacitación con el curso "Elaboración de Reactivos
Objetivos”, impartido por el Instituto de Evaluación e Ingeniería Avanzada, S.C. (con registro en la Dirección
General de Derecho de Autor de México). Los reactivos son revisados por otros profesores y se hace una revisión
final por parte del propio IEIA.
Para la administración de los reactivos se emplea el software "Sistema de Gestión de Banco de Reactivos ®", de la
Familia de Programas KALT®, habiéndose adoptado la presentación de reactivos de opción múltiple en sus diversas
formas (simple, alterna, necesidad de datos, suficiencia de datos, etc.), detallados en las Guías de Examen que
forman parte del paquete para el sustentante. Todos los reactivos son validados contra materiales de referencia, se
revisa detalladamente la respuesta correcta y la pertinencia de los distractores, sé indica la fecha y el autor o revisor
responsable.
Se utilizan varias opciones de piloteo para este proyecto y sistemáticamente se hace la calibración de los reactivos en
cada aplicación, con objeto de verificar la estabilidad de los parámetros de los reactivos.
Todos los reactivos son calibrados con los siguientes parámetros:
a) Modelo clásico: Grado de dificultad, poder de discriminación y correlación punto-biserial
b) Modelo Teoría de la Respuesta al Ítem (TRI): Dificultad y discriminación logísticas, con un modelo
biparamétrico, previa verificación del ajuste al modelo (FIT) de acuerdo con el esquema de Hosmer y
Lemeshow.
c) Modelo de Rasch: análisis de medida y ajuste
El instrumento en su conjunto es analizado desde el punto de vista de la estadística descriptiva, debiéndose cumplir
con un juego de valores de aceptación para la media y la desviación estándar de la distribución de respuestas. Los
instrumentos están diseñados con el compromiso de que se obtenga la máxima confiabilidad posible una vez
garantizada su validez. Se utiliza el coeficiente "alfa" de Cronbach, cuyos límites de aceptación se obtienen por el
modelo de máxima confiabilidad-máxima validez diseñado especialmente para este proyecto. En todas las
aplicaciones se obtienen y reportan los errores de medida, con objeto de garantizar al usuario que se está trabajando
con pruebas confiables, que tienen un nivel de error controlado en los valores mínimos posibles.
1.3 Escala e interpretación de resultados
El ECPEMS consiste de instrumentos estandarizados que se califican en una escala de 70 a 130 puntos, de tal modo
que el "Maestro Medio" se encuentre en 100 puntos. La identificación del puntaje en esta escala NO SE OBTIENE a
partir de cuántos reactivos fueron contestados correctamente, sino de la combinación de cuántos y cuáles
desempeños muestran evidencia de competencia. El patrón de ajuste y el valor de medida se obtienen con el
programa Winsteps de la Universidad de Chicago.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
6
La medida de la persona no se obtiene en función del número de aciertos, por lo que dos sustentantes que contestan
un número de reactivos distinto, pueden obtener una misma medida X. El procedimiento del modelo de Rasch
consiste en realizar un centrado del instrumento por medio de un corrimiento en términos de la dificultad global de la
prueba y para obtener las puntuaciones de los sustentantes se hace un cambio de escala del estimador más probable
en función de la prueba centrada en 100 puntos, para cada una de las secciones del examen y para el conjunto de
reactivos. La calificación global se asigna en términos del total de reactivos y no como promedio de promedios.
Es importante advertir que la calificación no está normalizada con la población sustentante, por ello representa
dominios reales en la escala transformada de 70 a 130 y no hace referencia a los sustentantes sino al criterio externo
asociado con el Perfil Profesional que sirve de diseño al ECPEMS. Los puntos de corte que establezca la Institución
se pueden definir en forma absoluta dependiendo de las necesidades docentes y no se tiene el problema de que refleje
deficiencias o aciertos grupales, que serían variables entre instituciones o entornos educativos.
2.0 Paquetes de resultados del ECPEMS
El ECPEMS entrega varios juegos de información:
I) Para el sustentante. El paquete incluye dos documentos:
a) Certificado de resultados.
b) Cédula de retroalimentación para el sustentante, pudiendo ser una o más páginas dependiendo de los
módulos que haya presentado la persona
II) Para la institución. El paquete incluye:
a) Lista de entrega de materiales para los sustentantes. Esta lista se adjunta a los documentos descritos en la
sección [2.1]
b) Esta Guía de Interpretación
c) Cédula personal para el expediente institucional, pudiendo ser una o más páginas por sustentante
dependiendo de los módulos que haya presentado la persona
d) Diagramas de prioridades para capacitación y desarrollo profesional
e) Reportes de desempeño descendente por plantel y por área
f) Reportes de desempeño descendente por sustentante y por área
g) Gráficas de estadísticas procedentes de los programas de calificación utilizados (Kalt y Winsteps)
h) Disco compacto con archivos para consulta y explotación de datos en computadora
El presente reporte describe el contenido de los elementos [c] a [h] citados, con objeto de que el personal responsable
de la Institución pueda interpretar correctamente la información proporcionada.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
7
3.0 Interpretación de los paquetes que entrega el IEIA.
3.1 Cédula personal para el expediente institucional.
Esta cédula es complementaria de la cédula de retroalimentación que se entrega al sustentante y tiene por objeto que
la institución la conserve en el expediente del profesor para consulta futura o como referencia de los resultados
obtenidos en el ECPEMS. Se entrega una o más hojas dependiendo de los módulos en los cuales intervino el maestro
(por ejemplo una cédula sería para el cuestionario de habilidades y conocimientos generales y otra hoja sería para el
de conocimientos generales).
Presenta los resultados del sustentante en
cada uno de los temas o áreas evaluadas,
junto con las recomendaciones de
retroalimentación en forma detallada.
Descripción:
1. Datos de la persona (fotografía,
nombre, folio, plantel y área
evaluada)
2. Identificación de la hoja en número
secuencia], fecha de identificación
(para uso de registro del ECPEMS)
3. Gráfica de resultados por área. Se
presentan los temas en forma gráfica,
señalándose con una barra horizontal
el rango de puntuaciones de los
sustentantes que participaron en la
misma promoción. Se indica la
media y la puntuación del
sustentante dentro de la misma
gráfica. La escala es de 70 a 130
puntos. Se espera que un maestro
promedio alcance los 100 puntos.
4. Gráfica de reactivos contestados. Se indica el porcentaje de reactivos contestados o marcados en la hoja de
respuesta por el sustentante. Se espera que haya contestado al 100% de reactivos, pero los casos no marcados
reducen la eficiencia de respuesta de la persona. En la parte inferior de las gráficas 3 y 4 se presentan algunas
notas aclaratorias y se indica la velocidad de respuesta estimada para el sustentante en función del tiempo
asignado a la prueba y al número de reactivos contestados.
5. Gráfica de posición percentilar en la distribución normal ajustada. Las personas de mayor puntuación en el
grupo se ubicarán en los valores percentilares altos. La media y la mediana coinciden en la distribución normal
ajustada en el percentil 50. Esta distribución normal ajustada es la distribución teórica de una curva normal cuya
media y desviación estándar coinciden con los parámetros obtenidos de la población que presentó la prueba.
6. Comentarios. Se hace un comentario sobre la gráfica [51, para identificar sí el sustentante se ubica sobre la
media, por debajo de ella o no tiene un patrón claro en los diferentes temas evaluados.
7. Temas sugeridos en la Cédula de Retroalimentación individual. Se trata de las recomendaciones de prioridad 1,
que deben ser atendidas de inmediato por el sustentante por tratarse de los temas donde se presentó el mayor
número de fallas (del orden del 75% de fallas en el subtema) o se detectó posible respuesta por azar.
8. Temas adicionales a mejorar o profundizar. Se clasifican en prioridad 2 (del orden de 60e% de fallas) y prioridad
3 (del orden del 50% de fallas).
Los temas señalados en los puntos 7 y 8 deben permitir a la institución definir los programas de desarrollo
profesional o de capacitación a corto plazo.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
8
3.2) Diagramas de Prioridades para Capacitación y Desarrollo Profesional
Presentan un concentrado de los temas en los cuales se presentó la mayor incidencia de fallas en el conjunto de
personas que participaron en el ECPEMS. El diagrama se muestra en orden descendente, de tal modo que en primer
lugar aparecen los temas que corresponden a la mayor prioridad para que la institución defina sus programas de
capacitación o desarrollo profesional.
El número de fallas se estima en función del número de personas y del tipo de prioridad (1, 2 ó 3) en la cual se ubica
el tema. Estas prioridades se presentaron en los puntos [71 y [8] de la Cédula Personal descrita en (3.1).
Descripción:
1. Identificación del reporte. Se presenta el área
dictaminada
2. Identificación de la Institución y fecha de
aplicación
3. Lista de áreas o temas analizados
4. Escala en número de fallas, se señala el
número medio de fallas y se establecen dos
columnas: número de fallas y proporción en
porcentaje de fallas dentro del conjunto de
áreas analizadas.
5. En la. lista de proporción o porcentaje de
fallas se señalan con un triángulo pequeño las
áreas o temas que conforman más del 51% de
los casos de falla. Obsérvese que los temas
marcados son lo que tuvieron la mayor
cantidad de fallas, de tal modo que
representan los temas que posiblemente sean
prioritarios para que la Institución diseñe su
plan de capacitación.
6. Diagrama de barras del número dé fallas. Se trata de un diagrama de tipo Pareto, donde se aprecian fácilmente
los casos más desfavorables que deben ser atendidos de inmediato.
7. Zona de notas. Se presentan algunos comentarios o explicaciones relacionadas con el diagrama.
8. Zona de totales. Presenta el total de fallas acumuladas, que representan el 100% de este diagrama.
El número de fallas depende, desde luego, del número de temas y del número de personas que contestan la prueba.
No se trata, por lo tanto, de un número absoluto, por lo que conviene utilizar el porcentaje de fallas, que indica la
proporción de cada tema dentro del conjunto de elementos que requieren atención. .
No todos los temas aparecen en este diagrama, solamente se reportan los que tuvieron una incidencia de fallas no
nula.
La Institución recibe los siguientes Diagramas de Prioridades para Capacitación y Desarrollo Profesional
A) Examen de Habilidades y Conocimientos Generales (1 hoja)
B) Áreas del Examen de Habilidades y Conocimientos Generales (1 por área evaluada, en total 8 hojas)
C) Exámenes de Conocimientos Específicos (1 hoja por área evaluada)
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
9
3.3) Reportes de desempeño descendente por plantel y por área
Se trata de un reporte gráfico donde se compara en desempeño de los diferentes planteles que forman la Institución,
ordenado en forma descendente, donde se puede identificar fácilmente el plantel que tiene mejores resultados y el
que los tiene peores, la posición media, entre otras características.
Descripción:
1. Identificación del reporte, área e
Institución
2. Datos principales del conjunto de
valores obtenidos en todos los
sustentantes: mínimo, máximo y
media
3. Lista de planteles
4. Puntajes de los planteles
ordenados en forma descendente.
La escala es de 70 a 130 puntos.
Si un plantel no intervino en la
aplicación del tema se indica
"SIN CALIF", para indicar que
no fue calificado
5. Gráfica donde se muestra el
rango de valores por medio de
una barra doble, la media se
ubica con un símbolo circular y
el puntaje del plantel con un
pequeño cuadro negro.
6. Zona de notas. Se presentan
algunas aclaraciones sobre la
gráfica. Se indica el número de casos.
7. Datos particulares del conjunto de planteles (media, mínimo y máximo). Estos datos pueden o no coincidir con
los del conjunto de sustentantes, señalados en [2], debido a que los valores por plantel corresponden a valores
promedio de los profesores que integran al plantel en estudio.
8. Temario del área de la cual se presenta el diagrama.
La Institución recibe los siguientes Reportes de desempeño descendente por plantel:
A) Examen de Habilidades y Conocimientos Generales (1 hoja)
B) Áreas del Examen de Habilidades y Conocimientos Generales (1 por área evaluada, en total 8 hojas)
C) Exámenes de Conocimientos Específicos (1 hoja por área evaluada)
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
10
3.4) Reportes de desempeño descendente por sustentante y por área
Este reporte tiene la misma descripción para la página descrita en [3.3], pero en lugar de tratarse de planteles se trata
del conjunto de personas. La única diferencia se tiene en la zona (3) donde aparecen los nombres de las personas
ordenadas de la que obtuvo mejor puntuación a la que salió peor.
La Institución recibe los siguientes Reportes de desempeño descendente por sustentante:
A) Examen de Habilidades y Conocimientos Generales (1 hoja)
B) Áreas del Examen de Habilidades y Conocimientos Generales (1 por área evaluada, en total 8 hojas)
C) Exámenes de Conocimientos Específicos (1 hoja por área evaluada)
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
11
3.5) Gráficas de estadísticas procedentes de los programas de calificación utilizados (Kalt y Winsteps)
Se presentan dos gráficas de Kalt y otras dos de Winsteps. El propósito de este reporte no es presentar todas las
salidas de los programas utilizados, pero sí mostrar algunos ejemplos que proporcionen al responsable institucional
una herramienta de juicio respecto a la calidad de los análisis que respaldan al ECPEMS.
Estos resultados se obtienen en cada aplicación, en los piloteos y en el proceso de calibración que continuamente se
realiza con los reactivos del banco.
A) Histograma y diagrama de frecuencias
acumuladas
En esta hoja se presenta el diagrama de frecuencias
observadas (barras) y la curva normal ajustada a los
parámetros observados (círculos pequeños).
La curva inferior proporciona la curva de
frecuencias acumulada observada (cuadros negros)
y la curva ajustada normal acumulada (círculos).
Estas distribuciones se presentan en porcentajes de
aciertos en escala 0-100 y se verifica con cada
aplicación que se comportan de acuerdo con las
consideraciones de diseño.
B) Tabla de valores estadísticos.
Se presentan los parámetros estadísticos descriptivos
del área evaluada, se incluyen la media, la mediana, la
desviación estándar, rangos, parámetros de sesgo y de
curtosis.
En cada aplicación se verifica que los parámetros
obtenidos correspondan con lo planeado de manera de
tener una prueba centrada y de rango amplio.
C)
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
12
C) Gráfica de frecuencias del modelo de Rasch.
Se presenta en el plano de medida de Rasch
la distribución de frecuencias de las
personas y de los reactives. La unidad de
medida en este modelo es el lógito.
En cada aplicación se verifica la calidad de
la prueba en cuanto a ubicación centrada y
rango amplio, así como en comportamiento
de la contraparte en los sujetos evaluados.
Asimismo se verifica la calidad del ajuste
de los datos a las especificaciones que dicta
el modelo de Rasch.
D) Ojiva de equivalencia medida-reactivos
De la calidad del ajuste se deriva la curva
característica de la prueba y su equivalencia
en número de reactivos. Con ayuda de esta
curva se obtiene la transformación de la
medida en lógitos a la puntuación en la
escala 70 -130 utilizada en el ECPEMS para
reportar los resultados de los sustentantes.
En cada aplicación se verifica la calidad del
ajuste de esta ojiva.
En la parte inferior de la curva se presenta el
rango de medidas de los sujetos y de los
reactivos.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
13
3.6) Disco compacto con archivos para consulta y explotación de datos en computadora
La Institución recibe un disco compacto conteniendo archivos de resultados tipo base de datos. Se trata de archivos
en formato texto, separados por coma, que pueden ser leídos por cualquier programa manejador de datos o de hojas
de cálculo (Access, Excel, dBase, etc.), así como cualquier editor de texto en formato no documento (EDIT de MS-
DOS, Bloc de Notas).
Todos los archivos están identificados con un [PREFIJO] de 4 letras y un nombre alusivo al contenido o a los
datos.
Los archivos que se entregan a la institución son los siguientes:
Nombre del
archivo Descripción Definición de los campos separados por coma
[PREFIJO]Medi.csv Medidas de las personas
1-Folio (inicia con una F para obligar a su lectura como
carácter)
2-Nombre de la persona
3-Nombre del plantel
4-Área en la cual participa
Para el examen de habilidades y conocimientos generales
5-Global
6-Matemáticas
7-Español
......
l5-Tecnología educativa
Para el examen de conocimientos específicos
16-Global
17-Tema 1
18-Tema 2
......
21-Tema 5
(los nombres de los temas difieren de acuerdo con el área
evaluada, pero se maneja un máximo de 5 temas)
[PREFIJO]Porc.csv
Estimado de dominio de
las personas en función
del porcentaje de
aciertos
Misma organización que [PREFIJO]Medi.txt
[PREFIJO]PlanG.csv
Promedio de las medidas
de las personas,
agrupadas por plantel
1-Plantel
2-Número de personas
Para el examen de habilidades y conocimientos generales
3-Global
4-Matemáticas
5-Español
....
11- Tecnología educativa
[PREFIJO]PlanE.csv
Promedio de las medidas
de las personas,
agrupadas por plantel
1-Plantel.
2-Número de personas
Para el examen de conocimiento específicos
Área 1
3-Global
4-Tema 1
5-Tema 2
.....
8-Tema6
Área 2
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
14
Nombre del
archivo Descripción Definición de los campos separados por coma
9 – Global
10-Tema 1
....
14-Tema 6
Área 3
....
continua hasta terminar con 6 áreas cada una formada por un
resultado global y 6 temas
[PREFIJO]TernG.csv
Archivo de prioridades
de retroalimentación por
persona
Las prioridades se
marcan: 1 =muy
importante,
2=importante,
3=deseable
ÚSESE EN
COMBINACION CON
TEMASING.TXT
Para el examen de habilidades y conocimientos generales
1-Folio, inicia (inicia con F para garantizar que el campo se
lee como alfanumérico)
2-Nombre
3-Plantel
4-Letrero
5-Suma de prioridades
6-Prioridad (1,2,3) por cada uno de los subtemas evaluados
[PREFIJO]TemE.csv
Archivo de prioridades
de retroalimentación por
persona
Las prioridades se
marcan: 1 =muy
importante,
12=importante,
3=deseable
ÚSESE EN
COMBINACION CON
TEMASINE.TXT
Para el examen de conocimiento específicos
1-Folio, inicia (inicia con F para garantizar que el campo se
lee como alfanumérico)
2-Nombre
3-Plantel
4-Letrero
5-Suma de prioridades
6-Prioridad (1,2,3) por cada uno de los subtemas evaluados
misma organización que [PREFIJO]TemE.txt
TemasInG.txt
Archivo con los temas
usados en el archivo de
prioridades
1-La primera línea contiene tres campos:
*Área/Versión (titulo fijo)
Número del área (en este caso 1)
Número de subtemas analizados (NSA)
2-en adelante (tantas líneas como indicado en el campo NSA
Nombre del tema
TemaslnE.txt
Archivo con los temas
usados en el archivo de
prioridades
1-La primera línea contiene tres campos:
*Área/Versión (titulo fijo)
Número del área (de 1 a 6)
Número de subtemas analizados (NSA)
2-en adelante (tantas líneas como indicado en el campo NSA
Nombre del tema
Se repite la secuencia para la siguiente área
Con estos archivos el responsable de la Institución puede realizar búsquedas, ordenamientos, selección de casos,
utilizando herramientas como EXCEL.
INSTITUTO DE EVALUACIÓN E INGENIERÍA AVANZADA
15
Se entregan también los documentos de reportes en formato RTF (compatibles con cualquier editor de texto, por
ejemplo Word, AmiPro, WordPerfect, etc.).
Nombre del archivo Descripción general
[PREFIJO]ENTREGA.RTF Lista de entrega por plantel para firma de los sustentantes
(Doc. IEIA-1)
[PREFIJO]-2[Tema].RTF Reporte descendente de los sustentantes por área del Examen
de Conocimientos y Habilidades Generales (Doc. IEIA-2)
[PREFIJO]-3.RTF Reporte descendente de los sustentantes por área de los
Exámenes Específicos (Doc. IEIA-3)
[PREFIJO]-4.RTF Reporte descendente de los planteles por área del Examen de
Conocimientos y Habilidades Generales (Doc. IEIA-4)
[PREFIJO]-40.RTF Reporte descendente de los planteles por área y por sus
sustentantes, del Examen de Conocimientos y Habilidades
Generales (Doc. IEIA-40)
[PREFIJO]-5.RTF Reporte descendente de los planteles por área de los Exámenes
Específicos (Doc. IEIA-5)
[PREFIJO]-50.RTF Reporte descendente de los planteles por área y por sus
sustentantes de los Exámenes Específicos (Doc. IEIA-50)
TemasrepG.RTF Reporte de prioridades para formación continua del Examen
de Conocimientos y Habilidades Generales. (Doc.IEIA-6)
TemasrepE.RTF Reporte de prioridades para formación continua de los
Exámenes Específicos. (Doc.IEIA-6)
[PREFIJO]RESTEC.RTF Reporte Técnico de la aplicación (Doc. IEIA-7)