Upload
hoangnhan
View
223
Download
0
Embed Size (px)
Citation preview
1
ESCUELA POLITÉCNICA NACIONAL
FACULTAD DE INGENIERÍA DE SISTEMAS
DESARROLLO DE UN MÓDULO DE EVALUACIÓN DE CONOCIMIENTOS MEDIANTE EL USO DE ALGORITMOS
ADAPTATIVOS, PARA LA GENERACIÓN DE CUESTIONARIOS DINÁMICOS.
PROYECTO PREVIO A LA OBTENCIÓN DEL TÍTULO DE INGENIERO EN
SISTEMAS INFORMÁTICOS Y DE COMPUTACIÓN
CEVALLOS VENEGAS DANIEL RENÉ
IBARRA RUANO JOSÉ DIEGO
DIRECTOR: ING. CARLOS MONTENEGRO
Quito, Mayo 2012
II
DECLARACIÓN
Nosotros Cevallos Venegas Daniel René e Ibarra Ruano José Diego declaramos
bajo juramento que el trabajo aquí descrito es de nuestra autoría; que no ha sido
previamente presentada para ningún grado o calificación profesional; y, que
hemos consultado las referencias bibliográficas que se incluyen en este
documento.
A través de la presente declaración cedemos nuestros derechos de propiedad
intelectual correspondientes a este trabajo, a la Escuela Politécnica Nacional,
según lo establecido por la Ley de Propiedad Intelectual, por su Reglamento y por
la normatividad institucional vigente.
Cevallos Venegas Daniel René Ibarra Ruano José Diego
III
CERTIFICACIÓN
Certifico que el presente trabajo fue desarrollado por Cevallos Venegas Daniel
René e Ibarra Ruano José Diego bajo mi supervisión.
Ing. Carlos Montenegro
DIRECTOR DE PROYECTO
IV
AGRADECIMIENTO
Quiero agradecer primeramente a Dios, ya que
sin Él y sin su guía y dirección no hubiera
podido llegar a donde estoy. A mi familia por
todo el apoyo que me supieron brindar en todo
momento y de todas las formas.
Muchas gracias Señor tú eres el autor y el
responsable de que este aquí, gracias por tu
fuerza y tu ánimo sin ellos no lo hubiera logrado.
Gracias mamita, gracias papito, gracias ñañito,
gracias porque juntamente con Dios siempre
creyeron en mí y me enseñaron a creer en mí.
Daniel
V
AGRADECIMIENTO
En el camino hacia la cumbre se han presentado
muchos obstáculos pero gracias a la fortaleza de todos
quienes han estado junto a mí, se han superado.
Primero que todo agradezco a Dios por permitirme
escribir estas líneas, y por la bendición de llegar a la
finalización de este gran sueño.
A mis padres José y Elisa, por su ejemplo de
humildad, trabajo y esfuerzo.
A mis hermanos David y Daniel, por su paciencia,
alegría y fuerza.
A mi Rosita por su apoyo, cariño y confianza.
A mi amigo e incondicional compañero de las batallas
Daniel C. por su nobleza y temple.
A todos los integrantes de mi familia ya que siempre
su consejo me ha impulsado a conseguir las metas
propuestas.
A todos mis amigos de la AEIS 2007.
Y a todos mis panas guerreros buena nota, con los que
hemos pasado inolvidables momentos, en aquellos
geniales lugares que han sido testigo de nuestros
triunfos y fracasos, algunos de ellos siguen la lucha
hasta el día de hoy, otros ya no están.
Ah y a los ñoños sin ellos faltaría motivación.
Diego
VI
DEDICATORIA
Quiero dedicar este trabajo a Dios quien hizo
todo esto posible. Todo lo que he logrado lo
rindo hoy a Ti eres lo más importante de mi
vida.
A mi mamita por ser siempre la mejor mamá del
mundo, por todos los detalles que hizo por mí y
que muchos no pueden ver y que me
permitieron ser lo que soy.
A mi papito por siempre ver en mí lo grande que
Dios puso en mi interior, por ayudarme, por
darme y enseñarme lo necesario para ser un
buen hombre y seguir adelante y no rendirme.
A mi ñañito por cuidarme desde siempre, por
motivarme, por tenerme paciencia y ser siempre
en quien puedo confiar, por dejar de ver por sí
mismo y ver primero por mi y mi familia.
A todos que aquellos que creyeron en mí y me
impulsaron a seguir adelante y a continuar.
Daniel
VII
DEDICATORIA
Al maestro Jesús y mí amada Stma. Virgencita de
“El Quinche”, a quienes estoy encomendado desde
siempre, los mismos que me han permitido saltar
cada barrera en mi vida.
Va para mi madre Rosa Elisenia Ruano Bravo, por
todo su amor, apoyo y entrega en toda mi vida,
para ti este logro. ¡Madrecita de mi vida!
Va para mi Padre José Ibarra, y mis hermanos,
porque siempre me alentaron y jamás dudaron que
podría lograrlo. ¡Dioslespague!
A ti mijita Rosita, por brindarme, tu cariño, tu
estímulo comprensión y paciencia, para que
pudiera terminar este sueño los mismos que son
evidencia de tu gran amor. ¡Gracias!
Diego
VIII
TABLA DE CONTENIDO
DECLARACIÓN ...................................................................................................... 2
CERTIFICACIÓN .................................................................................................... 3
AGRADECIMIENTO ............................................................................................... 4
AGRADECIMIENTO ............................................................................................... 5
DEDICATORIA ....................................................................................................... 7
TABLA DE CONTENIDO ........................................................................................ 8
ÍNDICE DE TABLAS ............................................................................................. 13
RESUMEN ............................................................................................................ 14
INTRODUCCIÓN .................................................................................................. 15
CAPITULO I. PROCESO DE EVALUACIÓN AUTOMÁTICA ................................. 1
1.1 MÉTODOS DE EVALUACIÓN ................................................................ 1
1.2 DESCRIPCIÓN DE METODOLOGÍAS ...................................................... 4
1.3 TEORÍA DE RESPUESTA AL ÍTEM (TRI) ................................................. 5
1.3.1 Fundamentos ........................................................................................ 6
1.3.2 Curva característica del ítem (CCI) ...................................................... 7
1.4 TEST ADAPTATIVOS INFORMATIZADOS (TAI) .................................... 10
1.5 VENTAJAS E INCONVENIENTES DE LOS TAI...................................... 14
1.6 VENTAJAS DE LA TRI RESPECTO CON LA TEORÍA CLÁSICA ............ 15
CAPITULO II. DESCRIPCIÓN DEL ALGORITMO ............................................. 22
2.1 MODELO LOGÍSTICO DE UN PARÁMETRO (MODELO DE RASCH) .... 23
2.2 MODELO LOGÍSTICO DE DOS PARÁMETROS. ................................... 25
2.3 MODELO LOGÍSTICO DE TRES PARÁMETROS ................................... 26
2.4 ESTIMACIÓN DE PARÁMETROS............................................................ 27
2.5 FUNCIÓN DE INFORMACIÓN ................................................................. 33
2.6 PROCEDIMIENTOS DE ARRANQUE ...................................................... 37
2.7 MÉTODO DE SELECCIÓN DE PREGUNTA ............................................ 37
IX
2.8 MÉTODO DE PARADA ............................................................................ 38
CAPITULO III DESARROLLO Y PRUEBAS ....................................................... 40
3.1 HERRAMIENTAS DE SOFTWARE .......................................................... 40
3.2 EXPLICACIÓN DE LA ARQUITECTURA DEL APLICATIVO ................... 42
3.3 IMPLEMENTACIÓN DEL ALGORITMO AL APLICATIVO TAI-WEB ........ 43
3.3.1 Algoritmo adaptativo de evaluación .................................................... 43
3.3.2 Incorporación del algoritmo adaptativo al código fuente. .................... 46
3.3.3 Aplicación de algoritmo....................................................................... 49
3.4 PANTALLAS DESCRIPTIVAS DEL PROCESO DE EVALUACIÓN. ........ 54
3.4.1 Como administrador ........................................................................... 54
3.4.1.1 Descripción de los archivos necesarios para el aplicativo .... 61
3.4.2 Para la sesión usuario ........................................................................ 67
3.5 PRUEBAS DE CAJA NEGRA ................................................................... 72
3.6 PRUEBAS DE CAJA BLANCA ................................................................. 78
3.7 PRUEBAS DE RENDIMIENTO ................................................................. 82
CAPITULO IV. CONCLUSIONES Y RECOMENDACIONES .............................. 86
4.1 CONCLUSIONES ..................................................................................... 86
4.2 RECOMENDACIONES ............................................................................. 89
BIBLIOGRAFÍA .................................................................................................... 91
ANEXOS ............................................................................................................. 933
GLOSARIO DE TÉRMINOS ................................................................................. 93
X
ÍNDICE DE FIGURAS
Figura 1.1 Curva característica de un Ítem. ................................................................................... 8
Figura 1.2 Parámetros de la curva característica de un Ítem. ......................................................... 9
Figura 1.3 Modelo del algoritmo de un TAI .................................................................................. 11
Figura 2.1 Datos de ejemplo. ...................................................................................................... 22
Figura 2.2 Curva de Probabilidad contra nivel de rasgo ............................................................... 24
Figura 2.3 Modelo logístico de dos parámetros. .......................................................................... 26
Figura 2.4 Modelo logístico de tres parámetros ........................................................................... 27
Figura 2.5 Probabilidad de acertar el primer Ítem ......................................................................... 29
Figura 2.6 Probabilidad de acertar el segundo Ítem ...................................................................... 30
Figura 2.7 Curva de verosimilitud ................................................................................................ 31
Figura 2.8 Curva función de información de dos Ítems ................................................................. 35
Figura 2.9 Curva función de información ...................................................................................... 36
Figura 3.1 Diagrama de la arquitectura del aplicativo................................................................... 41
Figura 3.2 Formato del archivo Preguntas. ................................................................................. 43
Figura 3.3 Formato del archivo Respuestas. ............................................................................... 44
Figura 3.4 Formato del archivo Parámetros. ................................................................................ 44
Figura 3.5 Modelo de adaptación al código fuente I ...................................................................... 45
Figura 3.6 Modelo de adaptación al código fuente II ..................................................................... 46
Figura 3.7 Modelo de adaptación al código fuente III .................................................................... 47
Figura 3.8 Modelo de adaptación al código fuente IV ................................................................... 48
Figura 3.9 Diseño del algoritmo .................................................................................................... 49
Figura 3.10 Diseño de la interfaz de presentación. ...................................................................... 52
Figura 3.11 Diseño interfaz de login. ............................................................................................ 54
Figura 3.12 Validación de campos............................................................................................... 55
Figura 3.13 Diseño interfaz de menú. .......................................................................................... 55
Figura 3.14 Diseño de interfaz Inicio. ........................................................................................... 56
Figura 3.15 Diseño de cuadro consulta de Banco de preguntas.................................................. 56
Figura 3.16 Diseño de consulta banco de preguntas total. ........................................................... 57
XI
Figura 3.17 Diseño de interfaz Creación de bancos de preguntas. .............................................. 57
Figura 3.18 Validación de campos............................................................................................... 58
Figura 3.19 Validación de ingreso de creación de bancos de preguntas. ..................................... 58
Figura 3.20 Creación satisfactoria del banco. .............................................................................. 59
Figura 3.21 Consulta de bancos creados..................................................................................... 59
Figura 3.22 Consulta de carga de preguntas al banco seleccionado. ........................................... 60
Figura 3.23 Modelo de carga de archivos de preguntas. .............................................................. 60
Figura 3.24 Características de los archivos de carga. .................................................................. 61
Figura 3.25 Ejemplo de archivos cargados al aplicativo. .............................................................. 62
Figura 3.26 Validación de carga. ................................................................................................. 63
Figura 3.27 Confirmación de carga al aplicativo .......................................................................... 63
Figura 3.28 Consulta de carga de preguntas. .............................................................................. 64
Figura 3. 29 Creación de cuestionarios. ...................................................................................... 64
Figura 3.30 Parametrización de cuestionario. .............................................................................. 65
Figura 3.31 Ejemplo de validación del cuestionario. .................................................................... 65
Figura 3.32 Selección de cuestionario .......................................................................................... 66
Figura 3.33 Login Usuario. .......................................................................................................... 67
Figura 3. 34 Selección de cuestionario. ...................................................................................... 67
Figura 3. 35 Respuestas al cuestionario seleccionado por el usuario. .......................................... 68
Figura 3.36 Validación de respuestas. ......................................................................................... 69
Figura 3.37 Diseño de reporte final con resultados. ..................................................................... 69
Figura 3. 38 Mensajes de recomendaciones. ............................................................................... 71
Figura 3.39 Validación de cuestionario ya contestado. ................................................................ 71
Figura 3. 40 Pruebas funcionales I. ............................................................................................. 72
Figura 3. 41 Pruebas funcionales II. ............................................................................................ 78
Figura 3.42 Pruebas funcionales III. ............................................................................................ 79
Figura 3.43 Pruebas funcionales IV. ........................................................................................... 80
Figura 3.44 Pruebas de rendimiento ............................................................................................ 81
Figura 3.45 Pruebas de rendimiento II ........................................................................................ 83
Figura 3.46 Pruebas de rendimiento III ....................................................................................... 84
XII
Figura 3.47 Pruebas de rendimiento III ....................................................................................... 85
XIII
ÍNDICE DE TABLAS
Tabla 1.1 Comparativas Teoría clásica y Teoría de respuesta al Ítem……………………………21
Tabla 2.1 Valores del número de Ítems y valor de theta para un parámetro…………………...32
Tabla 3.1 Formato archivo de preguntas……………………………………………………………..61
Tabla 3.2 Formato archivo respuestas………………………………………………………………..62
Tabla 3.3 Formato archivo parámetros………………………………………………………………..62
Tabla 3.4 Representación formato de presentación de datos finales…………………………...70
Tabla 3.5 Resultados pruebas con respuestas aleatorias………………………………………….. 73
Tabla 3.6 Resultados pruebas con respuestas incorrectas……………………………………….74
Tabla 3.7 Resultados pruebas con respuestas verdaderas………………………………………75
Tabla 3.8 Resultados con las respuestas falsas……………………………………………………76
Tabla 3.9 Resultados pruebas con respuestas correctas…………………………………………77
XIV
RESUMEN
En este trabajo se implementa un Test Adaptativo Informatizado (TAI) para
evaluar conocimientos. Este modelo de evaluación se apega a estándares
internacionales para ingreso a escuelas militares, de tecnología y sociología.
De acuerdo a las respuestas que el estudiante presente en cada pregunta, el TAI
debe inferir el nivel de conocimiento del evaluado; de esta manera, si el
estudiante evaluado es sobresaliente el número de preguntas será menor que el
número de preguntas que deberá contestar un estudiante de nivel medio o bajo.
Además, la aplicación le brinda la oportunidad a un estudiante de nivel medio o
bajo, mediante la contestación de un mayor número preguntas mejorar su
puntaje en la calificación final.
De esta forma, el proceso de evaluación se puede realizar en su totalidad con
ayuda del computador, dejando para el profesor o el administrador, la creación y
calibración de los bancos de preguntas y la interpretación y uso de los resultados
obtenidos. Además, los test adaptativos administrados por ordenador reducen
significativamente la longitud de los test, a la vez que proporcionan estimaciones
del nivel de conocimiento cuya precisión es al menos tan buena como las
obtenidas con los test tradicionales.
XV
INTRODUCCIÓN
En la actualidad las evaluaciones en los distintos tópicos de las materias que
forman parte de las carreras de ingeniería, no aprovechan todo el potencial de los
estudiantes debido a que la calificación obtenida por un estudiante en una
determinada área del conocimiento no puede demostrar toda la capacidad del
mismo.
Por tal razón se ha construido una herramienta que evalué de una manera
diferente.
En el primer capítulo se describe toda la teoría que se debe aplicar para lograr la
construcción del test adaptativo informatizado.
En el segundo capítulo se hace un análisis de los modelos de algoritmos
existentes y se toma el modelo de tres parámetros para realizar la implementación
del nuevo algoritmo.
En el tercer capítulo se implementa la construcción del algoritmo adaptativo
haciendo uso de la arquitectura de modelo vista controlador, la cual es más
eficiente para la implementación del algoritmo diseñado, luego de realizar la
calibración se exponen una serie de pruebas que abalizan el correcto
funcionamiento del mismo.
En el cuarto capítulo se presentan las distintas conclusiones y recomendaciones
que fueron el resultado de la realización del presente trabajo.
1
CAPITULO I. PROCESO DE EVALUACIÓN AUTOMÁTICA
1.1 MÉTODOS DE EVALUACIÓN
En la actualidad la evaluación es un tema de trascendental importancia en la
educación a todo nivel. Es un proceso que involucra no solo al evaluado sino a
todo el conjunto de actores que intervienen en el proceso educativo, esto implica
la obtención e interpretación de la información para ser posible la emisión de un
juicio de valor que permita la orientar la toma de decisiones, es por ello que se
requiere alcanzar determinados niveles de calidad para aprovechar así recursos,
tiempos y esfuerzos de todos los participantes.
Por esta razón la evaluación ha permitido hoy en día modificar procesos y
programas en la educación. No obstante el proceso de evaluación de estudiantes
es una tarea aun compleja principalmente debido a la subjetividad de la misma.
Evaluación del aprendizaje
La evaluación del aprendizaje, consiste en el mejoramiento de la calidad de la
enseñanza, razón por la cual se ha podido modificar sensiblemente aspectos
como los programas de enseñanza, los procesos de selección además de la
propia definición del concepto de evaluación.
Actualmente varias definiciones coinciden en reconocer, como procesos básicos
de la evaluación, a la recogida de información y a la emisión de un juicio
valorativo.
No obstante, existen discrepancias en la extensión del concepto, y por tanto del
proceso evaluativo en su totalidad, en lo que se refiere a la inclusión o no del
juicio valorativo y de la toma de decisiones derivadas de la información y
valoración que se realizan, así como de la ejecución de esas decisiones y sus
resultados.
2
Existe una característica importante en la evaluación del estudiante la misma que
consiste en la interrelación que se establece entre el evaluador y el evaluado.
Por esto el objeto sobre quien recae la evaluación es otra persona ya sea
individual o en grupo la misma que pasa a formar parte de la acción y co-participa
en mayor o menor medida con el proceso de evaluación de aquí que el evaluado
tenga la capacidad de devenir a su propio evaluador.
La evaluación constituye un proceso de comunicación interpersonal cumpliendo
todas las características y presentando diversos problemas propios de la
comunicación humana.
La comprensión de la evaluación del aprendizaje como comunicación es vital
para entender por qué sus resultados no dependen sólo de las características del
"objeto" que se evalúa, sino, además, de las peculiaridades de quien(es)
realiza(n) la evaluación y, de los vínculos que establezcan entre sí. Asimismo, de
las características de los mediadores de esa relación y de las condiciones en que
se da la misma.
Instrumentos de evaluación
Existen varias técnicas e instrumentos con sus respectivos recursos para verificar
si las competencias y logros propuestos se han alcanzado entre estos se
encuentran dos puntos:
La técnica de observación utiliza:
· Emparejamiento
· Escalas de rango
· Rubrica
La técnica de desempeño utiliza:
· Pregunta objetiva
· Debate
· Ensayo
· Proyecto
· Solución de problemas
3
· Pruebas de múltiple opción
· Selección de alternativas constantes
Las técnicas de observación son auxiliares de las técnicas de desempeño, estas
técnicas se debe tener en cuenta que deben ser objetivas confiables y precisas.
Las tareas de evaluación deben coincidir con lo que se ha ensenado, los criterios
de evaluación deben estar claramente comprendidos por los evaluados, los
evaluados deben saber que sus resultados van a ser comparados con los
requerimientos establecidos.
Se tienen las pruebas de múltiple opción que se componen de un conjunto de
preguntas claras y precisas, en general de limitada elección por parte del
evaluado.
Pruebas de selección simple
Se caracterizan por presentar una sola respuesta correcta.
Pruebas de selección de repuestas con alternativas constantes
Se deben determinar la veracidad o negación de las preguntas propuestas. Y esta
es la selección que se tomado como fundamento para la implementación del
presente algoritmo.
Pruebas de emparejamiento
Son las que están conformadas por dos listas con datos a emparejar entre
premisas y respuestas.
4
1.2 DESCRIPCIÓN DE METODOLOGÍAS
TIPOS DE TEST
El modelo más desarrollado es la Teoría Clásica iniciada por el autor Spearman,
que es un modelo de regresión lineal con dos variables cuyo supuesto
fundamental es que el puntaje x de una persona en un test es la suma del puntaje
verdadero de esta persona más un error:
X = C + e.
El segundo modelo, surgido en los años 60 para complementar el primero, se
debe a el autor Cronbach y otros, y es el llamado de la Generalizabilidad que
gracias al uso especifico del análisis de variancia hace posible analizar las
distintas fuentes de error que se presentan en los puntajes mediante los
conceptos de faceta, que es un término introducido por Cronbach para designar
cada una de las características de la situación de medición que puede modificarse
de una ocasión a otra y por tanto, hacer variar los resultados obtenidos (por
ejemplo los ítems de un test, las formas de codificar las respuestas, las
situaciones de examen, entre otros).
El tercer modelo es la Teoría de Respuesta al Ítem (TRI), inicialmente conocida
como Teoría del Rasgo Latente (TRL) o también como Teoría de Respuesta al
Reactivo (TRR). Su nombre es debido a que se consideran los ítems como las
unidades básicas de los test.
De lo anterior se puede rescatar que una ventaja de considerar otros enfoques es
la oportunidad de estimar mediciones psicológicas adicionales que no pueden ser
proporcionadas por la teoría clásica. Es importante tomar en cuenta, que el
enfoque de la TRI, no contradice ni los supuestos ni las conclusiones
fundamentales de la teoría clásica.
5
Son solo enfoques que dan información adicional, si es que la metodología
empleada y los requisitos adicionales se cumplen. Por ello el carácter de estos
modelos, es complementario a los de la teoría clásica.
En el presente proyecto para la evaluación de cada uno de los capítulos se
aplicará la Teoría de Respuesta al Ítem (TRI) para lo cual es necesario conocer
los modelos logísticos parametrizados, los métodos de estimación del nivel de
aptitud y los métodos de selección de preguntas.
1.3 TEORÍA DE RESPUESTA AL ÍTEM (TRI)
La Teoría de Respuesta al Ítem (TRI) es una conceptualización, que partiendo de
ciertos conceptos básicos de medición y usando las herramientas de la estadística
y la matemática, busca encontrar una descripción teórica para explicar el
comportamiento de los datos empíricos derivados de la aplicación de un
instrumento psicométrico. Los parámetros estimados por el modelo permiten
entonces evaluar la calidad técnica de cada uno de los ítems o reactivos por
separado y del instrumento como un todo y a la vez estimar el nivel que cada
examinado, o evaluado presenta en el tema de estudio a ser calificado.
En un modelo de TRI se asume que hay una variable latente (θ), no observable
directamente y que se desea estimar para cada examinado a partir de las
respuestas suministradas por éste en el instrumento de medición. Además se
asume que para cada ítem o pregunta el comportamiento de las respuestas dadas
por los examinados puede ser modelado mediante una función matemática que se
denomina Curva Característica del Ítem o CCI.
Existen dos aplicaciones informáticas en Psicometría las cuales son los Test
Óptimos (TO) y Test Adaptativos Informatizados (TAIs). Un Test Óptimo es un test
fijo, que se aplica a todos los evaluados, cuyos ítems se seleccionan de un banco
calibrado para que cumpla determinadas condiciones psicométricas o
restricciones respecto a los contenidos que debe incluir. Dependiendo de los
objetivos de la aplicación, en la construcción del TO pueden enfatizarse aspectos
6
diferentes como la precisión global del test, la precisión asociada a un punto
concreto de la escala de habilidad o su validez de contenido.
Por otro lado, un TAI es básicamente un test administrado por computador donde
la presentación de cada ítem y la decisión de finalizar el test se toman de forma
dinámica basándose en la respuesta del alumno y en la estimación de su nivel de
conocimiento. En otros términos, un TAI es un algoritmo iterativo que comienza
con una estimación inicial del nivel de conocimiento del alumno.
* La Teoría de Respuesta al Ítem tiene como objetivo obtener mediciones que no
varíen en función del instrumento utilizado, disponer de instrumentos de medida
que no dependen de los objetos medidos, es decir, que sean invariantes respecto
a los sujetos evaluados y avances técnicos como funciones de información de los
ítems y del test, errores típicos de medida diferentes para cada nivel de la variable
medida y el establecimiento de bancos de ítems con parámetros estrictamente
definidos. *
Por esto la TRI, es un modelo estadístico que relaciona la probabilidad de
respuesta a un reactivo (ítem) en función a un parámetro específico del ítem y el
nivel de rasgo latente que presenta un determinado sujeto.
1.3.1 Fundamentos
El objetivo principal de la TRI es “conseguir medidas invariantes respecto de los
sujetos medidos y de los instrumentos utilizados” (Muñiz, 1997, p.17). En la
unificación de estos dos conceptos, separación de parámetros e in-varianza de los
mismos, está la clave del éxito de esta teoría. Para conseguir estos objetivos, la
TRI desarrolla un conjunto de modelos matemáticos que comparten esta idea
central, es decir, todos asumen que la probabilidad de que una persona emita una
determinada respuesta ante un ítem puede ser descrita en función de la posición
de la persona en el rasgo o aptitud latente (variable que suele denominarse
genéricamente con la letra griega θ) y de una o más características de ítem
(índice de dificultad, de discriminación, probabilidad de acertar por azar). Es por
ello, que los principales supuestos de esta teoría son proposiciones referidas a la
naturaleza del rasgo que se pretende medir (supuesto de unidimensionalidad del
7
espacio latente) y a las relaciones que se esperan entre las respuestas de los
ítems (independencia local).
Esta teoría constituye un nuevo enfoque ya que permite superar algunas de las
limitaciones de la antigua Teoría clásica de los test.
Se pretende obtener la puntuación que corresponda a una persona en una
determinada dimensión del conocimiento, basándose en aspectos como su
inteligencia, su nivel en un cierto rasgo de personalidad, su dominio en cierta
materia, entre otros.
La ventaja de la TRI, es que mide la habilidad del examinado y la dificultad de los
ítems en la escala, lo que facilita su comparación. Se trata del intervalo de valores
(-∞, + ∞), con el valor de 0 como punto medio. Si se considera representado en
una recta horizontal, los ítems más fáciles aparecerán a la izquierda del eje y los
más difíciles a la derecha. De igual manera, los sujetos con menor habilidad se
situarían más a la izquierda que aquellos con mayor destreza.
1.3.2 Curva característica del ítem (CCI)
Como ya se ha señalado, existe una relación funcional entre los valores de la
variable que miden los ítems y la probabilidad de acertar éstos, y de ahí que un
objetivo de la TRI sea establecer la mejor función que ajuste esta relación, es
decir, una función que dé cuenta de la relación entre la probabilidad de acertar el
ítem con la localización en el rasgo de los sujetos; en concreto, esa relación
puede ser expresada mediante una función (ver figura 1.1) de regresión no lineal
que une cada valor en el rasgo con la puntuación medida condicionada en el ítem,
que, en el caso de ítems dicotómicos, coincide con la probabilidad condicionada al
nivel de θ de acertar el ítem.
Esta función de enlace recibe el nombre de Curva Característica del ítem (CCI),
Huella del ítem o Función de Respuesta al Ítem (Lord y Stocking, 1988, Fischer,
1995). Cada ítem está caracterizado por una CCI particular y propia, es decir, las
CCI de los ítems que miden una determinada variable θ no son iguales, aunque
8
comparten determinadas formas generales como se verá más adelante. La forma
particular de cada CCI depende de los parámetros o características de cada ítem.
Bajo esta teoría las características del ítem son independientes de la distribución
de la aptitud en la población de sujetos. Lo que implica que la CCI también es
igualmente invariante o independiente del objeto medido. Dado que relaciona la
localización de los sujetos en el rasgo con sus respuestas, también es útil para
realizar inferencias en el sentido opuesto, es decir, de las respuestas de los
sujetos a su localización en el rasgo, que es el objetivo del proceso de medida.
En la TRI cada ítem se define por una función matemática que relaciona la
probabilidad de una respuesta correcta y la habilidad del estudiante, la curva
característica del ítem proporciona para cada ítem la probabilidad de que un
alumno, dependiendo de su habilidad responda correctamente.
Figura 1.1 Curva característica de un Ítem
Fuente: http://innoevalua.us.es/files/irt.pdf, Modelos de Medición: Desarrollos actuales, supuestos, ventajas e inconvenientes. Pág.: 9.
9
Aunque las características de los ítems pueden ser numerosas, en particular son
tres los parámetros que se suelen proponer para la obtención de las CCIs, (véase
la figura 1.2):
Figura 1.2 Parámetros de la curva característica de un Ítem Fuente: http://innoevalua.us.es/files/irt.pdf, Modelos de Medición: Desarrollos actuales,
supuestos, ventajas e inconvenientes. Pág.: 9.
Parámetro a
El parámetro a se le denomina índice de discriminación del ítem, y representa la
magnitud del cambio en la probabilidad de acertar el ítem conforme varía el nivel
de habilidad. Su valor es proporcional a la pendiente de la recta tangente a la CCI
en el punto de inflexión de ésta.
Parámetro b
El parámetro b se corresponde con el valor en la abscisa (escala de habilidad (θ))
del punto de máxima pendiente de la CCI. Se le denomina índice de dificultad
del ítem, y es un parámetro de localización del ítem que representa la posición de
la CCI en relación al nivel de habilidad (θ) necesario para obtener una
probabilidad de acierto P (θ)= (1+c)/2.
10
Parámetro c
El parámetro c es el índice de pseudo-azar del ítem, representa la probabilidad de
acertar de los sujetos que desconocen la respuesta correcta, es decir, es el valor
de P(θ) cuando θ tiende a su valor mínimo (- ∞).
Parámetro d
El parámetro d representa la probabilidad de que los sujetos con aptitud alta no
contesten correctamente a la pregunta (por fallos no debidos a la falta de aptitud).
La CCI queda definida cuando se especifican estos tres parámetros y se adopta
una determinada función matemática para conformar la curva.
1.4 TEST ADAPTATIVOS INFORMATIZADOS (TAI)
Un Test Adaptativo Informatizado (TAI), es una prueba construida para fines de
evaluación académica o psicológica, cuyos ítems se presentan y responden a
través del uso del ordenador, siendo su característica fundamental, el irse
adaptando al nivel de competencia / habilidad /dominio, que va manifestado el
sujeto sometido a evaluación, siendo sus elementos básicos:
a) Un banco de ítems con propiedades académicas o psicométricas conocidas.
b) Un procedimiento que establezca la manera de comenzar y finalizar la prueba,
así como la forma en la que se seleccionaran de manera progresiva los mejores
ítems.
c) Un método estadístico de estimación de los niveles de rasgo.
Cualquier tipo de Test se administra siguiendo un algoritmo de aplicación, esto es,
respetando unas reglas que definen cual es el orden en que se le van a presentar
los ítems al evaluando. Aunque existen multitud de algoritmos diferentes, todos
ellos tienen una característica común, y es que se definen en base a respuestas
como ¿Cuál es el primer ítem que se va a administrar?, ¿Qué ítem se va a
administrar después de cada respuesta?, ¿Cuándo se deja de administrar los
ítems?
11
El algoritmo para el caso de un test convencional de lápiz y papel es sencillo,
simplemente se comienza por el primer ítem de la hoja, se continúa respondiendo
el siguiente ítem de la secuencia, y se finaliza cuando no quedan más preguntas
por contestar.
De hecho es en el caso de los TAI cuando la complejidad en los algoritmos de
aplicación se hace patente, porque la secuencia de ítems administrados no se
conoce a priori, sino que depende de las respuestas que el examinado ha dado a
ítems previos.
La ilustración de la figura 1.3, presenta el diagrama de flujo de la aplicación de un
TAI.
ARRANQUE(INICIO)
Presentación del primerÍtem
Respuesta
Estimación Provisional
¿Fin del TAI?
Estimación definitiva
Selección y presentacióndel siguiente Ítem
Figura 1.3 Modelo del algoritmo de un TAI
Fuente:http://aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/tai_aristidesvara.pdf, Pág.: 49.
12
La mayoría de los TAI siguen estrategias de selección de ítems denominados
como estrategias de ramificación variable, lo que significa que se realiza una
estimación del nivel de rasgo tras la respuesta dada a cada uno de los ítems, a
partir de la cual se seleccionará el siguiente ítem a presentar.
Una vez calibrados los ítems, la aplicación de este tipo de test requiere un
algoritmo que incluya:
a) Un procedimiento para determinar el primer ítem a presentar: su elección
dependerá de si se dispone o no de información previa del estudiante o sujeto a
evaluarse. En el caso de que se disponga de la misma, ésta puede considerarse
como predictiva del nivel de rasgo a evaluar y realizar estimaciones mediante
regresión para decidir el primer nivel que se asignará a cada evaluando. Si no se
dispone de información alguna, puede comenzarse con una prueba de acceso,
permitir que el evaluando elija un nivel inicial, o elegir un ítem al azar de dificultad
media.
b) Un método estadístico para estimar después de cada respuesta un nivel de
rasgo provisional y la precisión asociada a dicha estimación, entre los que se
puede mencionar el método de máxima verosimilitud o el de métodos bayesianos.
Ambos métodos presentan una serie de inconvenientes, entre los cuales, se
puede mencionar para el primero de los casos el que no proporciona estimaciones
finitas mientras un evaluando tiene un patrón de respuestas constante, y en caso
del segundo de los métodos, se podría mencionar que la estimación del nivel de
rasgo no depende únicamente del rendimiento del sujeto en particular, sino de los
valores de media y varianza que se asignan a la distribución a priori del rasgo en
la población de estudio.
c) Un algoritmo para la selección sucesiva de ítems: En este caso, para un nivel
de rasgo estimado de forma provisional, se seleccionará el siguiente de los ítems
mediante dos posibles criterios: el criterio de máxima información, consistente en
seleccionar, de un banco de ítems en particular, aquel con mayor nivel de
información para el nivel de rasgo actual estimado, consistente en elegir el ítem
que proporciona una varianza menor de la distribución posterior del nivel de
13
rasgo. Este último criterio se fundamenta en el supuesto de distribución normal a
priori de los niveles de rasgo en la población.
No obstante, ambos criterios presentan un inconveniente común, y no es otro que
el hecho de presentar muchas veces los ítems mas discriminativos, lo cual puede
tener como consecuencia que dichos ítems se difundan entre los evaluados,
poniendo en riesgo la seguridad del mismo test y por tanto, la validez de las
puntuaciones estimadas a partir de los de las respuestas de los evaluados.
d) Un criterio para finalizar la presentación de ítems: esto es, la estimación
definitiva del rasgo estudiado para el evaluando. Las posibilidades existentes son:
Un criterio de longitud variable, el cual detiene la aplicación cuando el error típico
de medida desciende de un valor determinado, un criterio de longitud fija,
consistente en parar el test tras la presentación de un determinado número de
ítems, el tercer criterio seria una combinación de los dos anteriores, y por último,
el cuarto criterio, procedimiento especial de longitud variable, que consiste en
dejar de presentar ítems cuando el nivel de rasgo estimado se aleja
significativamente del punto de corte pre-establecido.
La elección de uno u otro, dependerá de los objetivos de la aplicación en cuestión.
El núcleo fundamental de un algoritmo adaptativo consiste en establecer la
estrategia de selección progresiva de ítems que facilite una estimación precisa del
nivel de rasgo con la presentación de un número reducido de ítems para cada
evaluando.
En resumen, la aplicación se inicia con una determinada estrategia de arranque,
que consiste en establecer de alguna forma el nivel de rasgo inicial que se asigna
al evaluando y que determina de esta manera cual será el primer ítem que se
presentará. Después de que se produzca la primera respuesta al ítem, mediante
procedimientos bayesianos o de máxima verosimilitud, se realiza una primera
estimación del nivel de rasgo evaluado. Aquí también se emplean procedimientos
derivados de la TRI para seleccionar el segundo de los ítems a presentar al
evaluando, considerando que sea apropiado para el primer ítem provisionalmente
aceptado.
14
De todo esto se desprende que, en cada paso del proceso, se procederá a la
selección y presentación sucesiva de ítems, considerando el patrón de
respuestas, aciertos o fallos, que se dan a los ítems precedentes para la
estimación del nivel de rasgo provisional en ese preciso momento de la aplicación
de los TAI.
No obstante, se requiere además, de algún criterio para dar por terminada la
secuencia de presentación de ítems, que normalmente viene establecido por la
consecución de un determinado grado de precisión o el establecimiento de una
determinada longitud del mismo.
1.5 VENTAJAS E INCONVENIENTES DE LOS TAI
La administración de estos test informatizados, presentan varias ventajas técnicas
indiscutibles (Prieto y Clbs. 1993):
Permite el almacenamiento de los datos sin etapas previas de codificación,
escritura, entre otras. Posibilita la calificación inmediata de los sujetos en distintas
variables, modelos de puntuación y compensaciones.
Permite el diseño y el empleo de test adaptados al sujeto.
Facilita el registro de tiempo de latencia de la respuesta a cada ítem y de otras
variables. Este aspecto es de importancia para el desarrollo de los test en base a
la actitud de cada sujeto, a partir del enfoque del procesamiento de la información.
Los efectos negativos que la fatiga del evaluando pueda generar se reduce
considerablemente.
Además se reduce considerable el tiempo de administración.
No obstante, también llevan consigo una serie de inconvenientes, los cuales se
relacionan, en la mayoría de los casos, en lo referente al costo de los mismos,
tanto de la aplicación en si, como lo que ello supone, tales como el mantenimiento
y renovación de bancos de ítems, y sobre todo en determinados ámbitos de la
aplicación, es decir, el empleo de forma adecuada a una amplia muestra de
estudio, no solo a unos pocos sujetos cada un cierto periodo de tiempo, entre
otros, el cual indica que, la aplicación de test adaptativos sólo resulta
auténticamente útil bajo determinadas circunstancias, a saber, cuando el rasgo es
15
difícil de medir sin el uso de un ordenador, cuando el test ha de ofrecerse de
forma continuada y no solo unas pocas veces al año, entre otras.
Los TAIs son las pruebas que aportan mayor precisión en la estimación de la
medida.
Se reduce el número de ítems en la aplicación y en consecuencia el tiempo de
aplicación.
Permiten la incorporación de nuevos contenidos utilizando formatos de ítem
multimedia.
Se reduce el error típico de medida a lo largo del continuo de medida.
Limitaciones
· No es posible revisar ni modificar las respuestas dadas.
· Se precisa disponer de grandes bancos de ítems para mantener la
seguridad de los TAIs.
· Es difícil mantener la seguridad de los tests puesto que los ítems que más
discriminan son aplicados con mayor frecuencia que los otros.
· La selección de los ítems se realiza a partir de sus propiedades
estadísticas, siendo difícil realizarla atendiendo a la validez de contenido.
· Exigen un mayor esfuerzo en la construcción y aplicación que los tests
convencionales.
1.6 VENTAJAS DE LA TRI RESPECTO CON LA TEORÍA CLÁSICA
a) La principal limitación consiste en que las características del test y las
puntuaciones de las personas no pueden ser separados: Se define la puntuación
de una persona como el número de preguntas que acierta, y la dificultad de un
ítem como la proporción de personas que lo responden correctamente en un
determinado grupo. Esto tiene una serie de consecuencias negativas:
b) Las características de los ítems dependen del grupo de personas en el que se
han aplicado. Por ejemplo, en un supuesto caso donde se requiera conocer el
índice de dificultad de un determinado ítem que mida conocimientos de
16
Inteligencia artificial, dicho índice será diferente si se lo aplica en un grupo de
estudiantes de arquitectura o en estudiantes de psicología, es dependiente de
establecer a quién se encuentra dirigido el TAI.
c) La puntuación de una persona depende del conjunto particular de ítems
administrados.
La puntuación que una persona obtenga será diferente si le se aplica dos test que
midan la misma característica pero cuyo nivel de dificultad sea diferente. Esto
hace difícil comparar dichas puntuaciones, que sólo podrán interpretarse en
relación al test en el que fueron obtenidas.
Frente a la TC, una de las propiedades de la TRI es su invarianza, en un doble
sentido:
Invarianza de los ítems respecto a posibles diferentes distribuciones de la
habilidad o del rasgo (en lo sucesivo nivel de habilidad y de rasgo serán
sinónimos), e invarianza de la habilidad medida a partir de diferentes conjuntos de
ítems. Si las condiciones de aplicación de la TRI se cumplen, ha de ocurrir lo
siguiente:
- Sea cual sea la distribución de los niveles de rasgo se obtendrán las mismas
estimaciones de los parámetros de los ítems. Esta propiedad se cumple también
en otros ámbitos.
Por ejemplo, en Estadística, si se cumplen los supuestos de la regresión lineal, se
llega a los mismos parámetros cuando se ajusta la recta de regresión a toda la
población o sólo a parte de ella.
Análogamente, los parámetros de los ítems deberán ser los mismos si éstos se
han aplicado a un grupo de personas con alto nivel de rasgo, o a un grupo con
niveles bajos. Es decir, los parámetros de los ítems serán los mismos sea cual
sea la distribución de los niveles de habilidad de la muestra en los que se han
aplicado.
- El nivel de habilidad de una persona puede ser obtenido a partir de conjuntos de
ítems distintos. Algunas de las aplicaciones de la TRI descansan precisamente en
esta propiedad.
17
b) Una segunda limitación tiene con ver el error de medida. La TC supone que el
error de medida es una propiedad del test y, por lo tanto, igual para todos los
sujetos, independientemente de cuál sea su puntuación. Por el contrario, la TRI
permite obtener la precisión con la que cada persona es medida.
La TRI permite superar estas y otras limitaciones de la TC mediante unos
supuestos fuertes y restrictivos, y una metodología más compleja, que requiere
establecer modelos matemáticos, la estimación de sus parámetros, enjuiciar el
ajuste entre datos y modelos, entre otros.
Las ventajas más destacables de la TRI son las referidas a la invarianza de
parámetros, el tratamiento dado al error de medida, el estatus científico de la
misma, y la interpretación de las puntuaciones y sus aplicaciones prácticas (Fisher
y Molenaar, 1995; Hambleton y Swaminathan, 1985; Martínez-Arias, 1995; Muñiz,
1997b; Lord, 1980; Rasch, 1960):
La invariabilidad de parámetros posibilita que, si el modelo ajusta a los datos, las
características del test no dependan de la muestra en la que es analizado y las
medidas de los sujetos no dependan del test utilizado.
El error de medida varía en los diferentes niveles del rasgo, pudiéndose conocer
dónde se mide con mayor o menor precisión mediante la función de información
que, además, permite evaluar la contribución individual de los ítems.
El mayor estatus científico procede de la posibilidad de contrastar empíricamente
los supuestos en los que se sustenta, y también del nivel de medida alcanzado
que permite construir escalas de intervalo.
La versatilidad para interpretar los resultados hace que se pueda aplicar tanto a
test normativos como a test referidos al criterio. Puesto que la habilidad de los
sujetos y la dificultad de los ítems están en la misma escala, es posible dar una
puntuación en esa escala, describir lo que son capaces de hacer y ofrecer
información diagnostica.
Las aplicaciones prácticas comprenden numerosos aspectos, entre los que
destacan la elaboración de bancos de ítems, la construcción de test con
propiedades conocidas, la generación automática de ítems, los test adaptativos
18
informatizados, el análisis del funcionamiento diferencial de los ítems y la
equiparación de puntuaciones.
Sin embargo, no todo son ventajas, también presenta limitaciones. Entre las más
destacables se señalan las siguientes:
El elevado tamaño muestral. Los modelos de la TRI requieren muestras grandes
para que las estimaciones de los parámetros sean estables (Hambleton y Rogers,
1991). Y el problema es todavía mayor cuando se trabaja con ítems de formato de
respuesta politómica, donde el número de parámetros a estimar se multiplica por
el número de alternativas de respuesta. En casos en que sólo se disponga de
muestras pequeñas lo más recomendable (Lord, 1983) es tratar de ajustar los
modelos más parsimoniosos, que son aquellos que pertenecen a la familia de
modelos de Rasch.
Los supuestos de los modelos son exigentes. La utilización de supuestos más
fuertes restringe su aplicabilidad porque muchas veces no se cumplen o se
cumplen sólo parcialmente (Lord y Stocking, 1988). Uno de los problemas más
inquietantes es la unidimensionalidad, puesto que todos los ítems implican algún
grado de multi-dimensionalidad. La combinación de rasgos adicionales con la
dimensión principal en cantidades o proporciones desconocidas en los ítems
dificulta la interpretación de los parámetros y, en general, de lo que se está
midiendo. Esto puede afectar más a unas aplicaciones que otras, como aquéllas
que usan diferentes ítems para medir a distintos estudiantes o sujetos.
La complejidad de la estimación de los parámetros de los modelos. Este problema
afecta especialmente a los modelos multiparamétricos (2 y 3 parámetros) y a los
modelos multidimensionales. Sin embargo, mientras los métodos de estimación
de máxima verosimilitud marginal y los métodos bayesianos parecen haber
reducido el problema en los modelos multiparamétricos, los modelos
multidimensionales continúan presentando dificultades en este aspecto (Wright y
Stone, 1979; Hambleton, 1994b; Maydeu, 1996).
En resumen, todas estas ventajas, en su conjunto, suponen una clara mejora
respecto a los planteamientos del modelo clásico y son, sin lugar a dudas, las
mejores razones para justificar el carácter hegemónico que actualmente tiene este
19
modelo. La TRI se presenta como un marco ilimitado de referencia para resolver
problemas de medición.
La principal ventaja potencial sobre la TC es la invarianza de los puntajes de la
prueba y de las características de las preguntas.
La posibilidad de construir curvas de información para cada ítem lo que permite la
optimización de la selección de las preguntas para una prueba con objetivos
específicos.
Proporciona métodos alternativos para la detección de sesgos en las preguntas.
Análisis diferenciado, para la presentación de la siguiente pregunta.
Proporciona métodos alternativos para la realización de procesos de equating,
proceso por el cual dos pruebas se hacen comparables.
Sin embargo, todas las ventajas anteriores se pierden cuando no se cumplen los
requisitos y en muchas ocasiones la naturaleza de las disciplinas medidas
impide el cumplimiento de los supuestos lo que hace aconsejable no usar la TRI.
Se dice que la teoría revisada los enunciados de la TC son más bien débiles, en
el sentido que son generales, su fuerza está en su generalidad, se pueden aplicar
a situaciones variadas.
Por su parte, los supuestos de la TRI son más fuertes, más restrictivos, se
sacrifica generalidad para ganar precisión predictiva.
El precio a pagar es la exigencia que los datos cumplan supuestos específicos.
Ante la eterna disyuntiva entre generalidad y precisión, a la que toda
metodología científica se enfrenta, la TC da más peso a la generalidad y la TRI a
la precisión.
En consecuencia, ambos enfoques están obligados a entenderse, en provecho
de los usuarios. Esto implica usar las teorías en forma complementaria.
20
En la presente implementación de un algoritmo adaptativo se referencia
especialmente a la TRI, apoyándose en la TC en forma complementaria. Para ello
se realizan los análisis de cada pregunta. Lo anterior permite contar con mayor
información en el momento de seleccionar las preguntas que formarán parte de
cada una de las pruebas, lo que, a su vez, contribuye a que la medición realizada
sea cada vez más precisa y válida. Esto da sustento al propósito de las
evaluaciones.
En la tabla 1.1 se presenta un resumen comparativo entre las dos teorías base del
algoritmo implementado:
21
Fundamentos Teoría Clásica Teoría de Respuesta al Ítem
Modelo Lineal No Lineal
Énfasis Test Ítem
Invarianza de las
propiedades de los Test No Si
Invarianza de las
mediciones No Si
Relación Ítem-Test Sin Especificar Curva Característica del Ítem
Escala de Puntuaciones
Entre cero y la
máxima puntuación
del Test
Entre - ∞ y + ∞
Descripción de los Ítems Índices de dificultad y
de discriminación Parámetros a, b, c
Errores de medida
Error común de
medida para toda la
muestra
Función de información
(depende del nivel de aptitud)
Fundamentos Débiles (Fácil de
cumplir por los datos)
Fuertes (difíciles de cumplir por
los datos)
Tamaño de la muestra
Funciona
correctamente con
muestras entre 200 y
500 sujetos
aproximadamente
Funciona correctamente hasta
más de 500 sujetos pero
depende del modelo.
Tabla 1.1 Comparativas Teoría clásica y Teoría de respuesta al Ítem
Fuente: Realizado por los autores.
22
CAPITULO II. DESCRIPCIÓN DEL ALGORITMO
En el presente capitulo se ejecutarán los pasos teóricos señalados en el capitulo
anterior apegados a un ejemplo ilustrativo.
Para el ejemplo es necesario iniciar asumiendo que se tiene un test que mide la
inteligencia y que ha sido aplicado a una cantidad de 100.000 personas.
Ahora tomando el supuesto que la menor y mayor puntuación obtenidas en el
test son 50 y 150. Se va a representar el rendimiento en un ítem concreto de la
siguiente forma: Se toma una primera muestra de todas las personas que han
obtenido la puntuación 50 (Se asume que son 132).
Se revisa cuantas personas de las anteriores han acertado el ítem,
(Suponiendo que han sido sólo 5) ahora se calcula la proporción (5/132 = 0.04).
Se realiza lo mismo con los que obtuvieron en el test 51 puntos (y se tiene la
proporción, se supone que es igual a 0.15), con las que obtuvieron en el test 100
(la proporción fue 0.45), con las que se obtuvieron 150 (la proporción fue 0.99). La
figura 2.1 presenta la proporción de aciertos en el grupo de personas que obtuvo
en el test 50 puntos, es decir de 51 a 150.
Figura 2.1 Datos de ejemplo.
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem Pág.: 3.
23
En este ejemplo se puede apreciar que cuanto mayor es el cociente intelectual de
las personas, mayor es la proporción de aciertos en el ítem. A una puntuación de
100 le corresponde una proporción de 0.45; mientras que a una de 150 le
corresponde una proporción de 0.99.
En la figura 2.1 se tiene una curva característica del ítem (CCI) empírica, pero la
TRI necesita resumir la información que contiene cada CCI empírica en una
fórmula o modelo en el que uno, dos o tres valores resuman la información
contenida en la CCI empírica. En la aplicación de la TRI, un paso muy importante
es optar por un modelo (o fórmula) que sea una buena descripción del
rendimiento en los ítems.
A continuación hay que revisar los modelos que podrían dar cuenta de una
distribución como la presentada en la figura 2.1. Los modelos de CCI más
utilizados en la práctica son los logísticos de uno, dos y tres parámetros.
2.1 MODELO LOGÍSTICO DE UN PARÁMETRO (MODELO DE
RASCH)
Este es el modelo más simple de todos. Se le llama también modelo de Rasch. El
mismo que se basa en que la probabilidad de acertar un ítem depende solamente
del nivel de dificultad de dicho ítem y del nivel de la persona en la variable
medida (nivel de rasgo o habilidad). La expresión matemática es:
=
Donde:
P (θ): Probabilidad de acertar el ítem si el nivel de rasgo es θ.
θ: Nivel de habilidad del sujeto.
b: Índice de dificultad del ítem.
e: Base de los logaritmos neperianos (2.718)
D: Constante (D = 1.7 ó 1).
24
El nivel de habilidad del sujeto (θ) puede definirse en cualquier escala (en la figura
2.1 se ha hecho uso de la escala de cociente intelectual). No obstante, en las
mejores prácticas, se utiliza una escala típica, con media cero, varianza uno y un
rango de valores entre -3.0 y 3.0.
El índice de dificultad (b) es aquel valor de θ para el cual P(θ)= 0.5. Por tanto,
cuanto mayor sea "b" más difícil es el ítem. En la figura 2.2, se han representado
dos CCIs. En la primera, la que está más a la izquierda, el valor de θ al que
corresponde P(θ)= 0.5 es aproximadamente -0.95.
Por lo tanto, la dificultad del primer ítem es b1= -0.95. En el segundo ítem, el valor
de θ al que corresponde P(θ)= 0.5 es aproximadamente 0.6. Por lo tanto, la
dificultad del segundo ítem es b2= 0.6. La figura 2.2, representa que la
probabilidad de acertar el ítem es sistemáticamente menor en el ítem 2 que en el
ítem 1. El ítem 2 es más difícil que el uno, y sus índices de dificultad así lo
muestran (b2 > b1).
Figura 2.2 Curva de Probabilidad contra nivel de rasgo
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem Pág.: 4.
25
2.2 MODELO LOGÍSTICO DE DOS PARÁMETROS.
Este modelo presenta un segundo parámetro que indica la capacidad
discriminativa del ítem:
=
Donde “a” es el índice de discriminación del ítem.
El parámetro “a” indica la mayor o menor inclinación o pendiente de la CCI cuando
θ=b. Normalmente los valores de "a" oscilan entre 0,3 y 2.5, y se suelen
considerar ítems "discriminativos" los que tienen valores "a" mayores de uno.
En la figura 2.3, se observa la CCI de dos ítems de igual dificultad (b1= b2= 0.75),
la principal diferencia entre ellos es que el ítem 2 (situado a la derecha), cuando θ
= 0.75, tiene una pendiente mucho mayor (a2 = 2.4) que la del ítem 1 (a1 = 0.4).
Como la pendiente es tan alta, las personas con θ > 0.75 tienen casi todas ellas
una muy alta probabilidad de acertar el ítem 2 (y casi todas estas personas lo
acertarán), y las personas con θ < 0.75 tienen casi todas ellas una probabilidad
próxima a cero de acertarlo (y casi ninguna lo acertará). Por lo tanto, el ítem 2
discrimina entre los que tienen θ > 0.75 y los que tienen θ < 0.75.
Se verifica que, el ítem 1 tiene muy poca pendiente cuando θ= 0.75. En
consecuencia, aunque la mayoría de las personas con θ > 0.75 lo acertarán,
muchas lo fallarán (pues la probabilidad de acierto es claramente inferior a uno).
Igualmente, aunque la mayoría de las personas con θ < 0.75 fallarán el ítem,
muchas lo acertarán, pues la probabilidad de acierto es claramente superior a
cero. En el ítem 1 la probabilidad crece muy suavemente a medida que aumenta θ
por lo que no es buen discriminador entre las personas con θ > 0.75 y las que
tienen θ < 0.75.
26
Figura 2.3 Modelo logístico de dos parámetros.
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 5.
2.3 MODELO LOGÍSTICO DE TRES PARÁMETROS
El siguiente modelo implementa dos parámetros "a" y "b" un tercero, "c", que
representa la probabilidad de acertar el ítem al azar. Exactamente "c" es el valor
de P(θ) para valores extremadamente bajos de θ. La expresión matemática es la
siguiente:
En la figura 2.4, se puede observar la CCI de varios ítems con los mismos valores
de a (1) y b (0), pero distintos valores de parámetro “c” (c1= 0, c2= 0.15 y c3=
0.30).
27
Figura 2.4 Modelo logístico de tres parámetros
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 6.
2.4 ESTIMACIÓN DE PARÁMETROS
El primer paso es seleccionar un modelo de TRI, luego de esto, hay que aplicar el
test a una muestra amplia, estimar los parámetros de cada ítem y el Nivel de
habilidad del sujeto (θ), esto a partir de la matriz de respuestas obtenidas. Si se
tiene, por ejemplo, diez ítems que miden un mismo rasgo, se los puede aplicar a
una muestra de 300 personas. La matriz de datos tendrá 300 filas, siendo cada
fila la secuencia de unos (aciertos) y ceros (errores) de cada persona de la
muestra. Si se quiere aplicar el modelo logístico de tres parámetros, se tendrá
que estimar los 30 parámetros de los ítems (es decir, "a", "b" y "c" de cada ítem) y
300 parámetros de las personas (los 300 valores de "θ", uno por persona). La
estimación de parámetros es el paso que permite llegar de las respuestas
conocidas de las personas, a los valores desconocidos de los parámetros de los
ítems y de los niveles de rasgo, es decir conocer las características de un
parámetro poblacional, a partir del conocimiento de la muestra.
28
Para obtener las estimaciones se aplica fundamentalmente el método de máxima
verosimilitud. La lógica general de la estimación consiste en encontrar los valores
de los parámetros que hagan más probable la matriz de respuestas obtenida.
Si por ejemplo se lanza una moneda diez veces y se obtiene siete caras, el
estimador máximo-verosímil del parámetro "p" (probabilidad de cara de la
moneda) es 7/10= 0.7, como se demuestra en los libros de estadística. El
resultado "siete caras en diez lanzamientos" es poco compatible con que la
probabilidad de cara sea 0.1, ó 0.2. De hecho, la probabilidad de obtener siete
caras y tres cruces es prácticamente cero si p= 0.1 o si p= 0.2.
Dicha probabilidad pasa a ser 0.117 si p= 0.5, y alcanza el máximo valor (0.267)
cuando p= 0.7.
El estimador máximo-verosímil proporciona el valor de "p" bajo el que tiene
máxima probabilidad de que el suceso que se ha encontrado.
En la TRI, el procedimiento de estimación sigue una lógica similar. Se obtienen las
estimaciones de los parámetros y de los niveles de θ con los que la matriz de
datos encontrada, tiene la máxima compatibilidad.
Por ejemplo, si se tiene un test compuesto por tan sólo dos ítems, y se lo aplica a
una persona. Se presume también que acierta el primero y falla el segundo. A
partir de estas respuestas, la estimación máximo-verosímil de su nivel de
habilidad θ, se puede explicar de forma grafica en la figura 2.5, (en este ejemplo,
para simplificar la explicación, se supone que los parámetros de los ítems son
conocidos).
Como la persona ha acertado el primer ítem, se puede calcular, mediante su CCI
(tomando en cuenta que los parámetros del ítem son conocidos), la probabilidad
de que esto ocurra para cada nivel de habilidad θ.
La figura 2.5muestra curva para un ítem cuyo único parámetro es b1 = -0.7:
29
Figura 2.5 Probabilidad de acertar el primer Ítem
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 9. Si la persona del ejemplo sólo hubiera respondido a ese ítem, a partir de la figura
2.5, se puede ver que no existe un único valor de nivel de habilidad θ, para el que
la probabilidad del suceso encontrado (acierto en el primer ítem) sea máxima. Por
el contrario, son infinitos los valores de θ que para los que la CCI alcanza el valor
máximo 1.
Como la persona ha fallado el segundo ítem, a partir de su CCI se puede calcular
la probabilidad de que esto ocurra para cada uno de los valores de θ. En concreto,
como la probabilidad de fallar (Q) se puede obtener a partir de la probabilidad de
acertar (Q = 1-P), se puede representar la probabilidad de error en el segundo
ítem, no es la CCI del ítem 2, pues para cada valor de θ se ha representado la
probabilidad de error y no la de acierto, como exige la CCI.
Se tiene como premisa que el único parámetro del ítem 2 es b2 = 1.
30
Figura 2.6 Probabilidad de acertar el segundo Ítem
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 10. En la figura 2.6 se representa que es más probable que fallen el ítem los sujetos
con niveles bajos de habilidad que los sujetos con niveles altos (cosa bastante
lógica). Por lo tanto, si el sujeto sólo hubiese respondido a este ítem, de nuevo
son infinitos los valores de θ que maximizan la probabilidad del suceso
encontrado (error en el segundo ítem).
Como hecho ha respondido a dos ítems, el valor estimado de θ para este sujeto
sería aquel que haga más probable el resultado obtenido (acertar el primer ítem y
fallar el segundo). Según el supuesto de independencia local, ambos sucesos son
independientes y, por lo tanto, la probabilidad de que ocurran ambos
conjuntamente es igual al producto de las probabilidades de acertar el primero
(P1) por la de fallar el segundo (Q2). Si se representa gráficamente la función
L = (P1)(Q2) para cada valor de θ, correspondiente al ejemplo que se ha venido
comentando, se obtendría una curva parecida a la indicada en la figura 2.7:
31
Figura 4 Curva de verosimilitud
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 10. En este caso se observa que la θ que hace más probable el resultado obtenido
(acierto en el primer ítem y fallo en el segundo) es algo mayor que cero. De
hecho, 0.15 será la θ estimada para este sujeto.
En general, una persona responderá a un número de ítems mayor de dos y
producirá una particular secuencia de unos y ceros. La probabilidad de obtener tal
secuencia de aciertos y errores se puede escribir como:
Donde:
R: Resultado en cada ítem (1, acierto; 0, fallo)
P: Probabilidad de acierto en cada ítem
Q: Probabilidad de error en cada ítem (Q= 1-P).
La θ estimada por el método de máxima verosimilitud será el valor de θ para el
que la anterior expresión alcanza su máximo valor.
32
Si se aplica lo anterior al siguiente ejemplo. Un test consta de 4 ítems, cuyos
parámetros, según el modelo de Rasch, son -1, 0, 1 y 2. Una persona completa el
test y acierta los tres primeros ítems y falla el cuarto. Obtenga el valor de la
función de verosimilitud, L, para los siguientes valores de θ: -3, -2, -1, 0, 1 y 2.
Aplicando la fórmula del modelo de Rasch (o de un parámetro), se obtiene la
probabilidad de acierto para cada ítem y cada uno de los valores de θ:
P(θ)
Items b θ =-3 θ =-2 θ =-1 θ =0 θ =1 θ =2 θ =3
1 -1 0.03 0.15 0.5 0.85 0.97 0.99 0.99
2 0 0.01 0.03 0.15 0.5 0.85 0.97 0.99
3 1 0.01 0.01 0.03 0.15 0.5 0.85 0.97
4 2 0.01 0.01 0.01 0.03 0.15 0.5 0.85 Tabla 2.1 Valores del número de Ítems y valor de theta para un parámetro.
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 11.
La función de verosimilitud, L, al haber acierto en los 3 primeros ítems y fallo en el
último, será la siguiente:
Aplicando la fórmula anterior a cada uno de los valores de θ se obtienen los
siguientes resultados:
L(3) = (0.99)(0.99)(0.97)(1-0.85) = 0.14
L(2) = (0.99)(0.97)(0.85)(1-0.50) = 0.41
Los restantes valores de L son L(1)= 0.35, L(0)= 0.06, L(-1) = L(-2) = L(-3) = 0.0.
Por lo tanto, de los siete valores de θ considerados, el valor que maximiza L es θ
= 2.
33
Cuando se trata de estimar en una situación real el nivel de rasgo, no se hace una
búsqueda restringida a unos cuantos valores, se necesita hallar el valor de θ que
maximiza L de entre todos los posibles valores, no sólo de entre unos pocos.
En el caso de la TRI no existen fórmulas que permitan obtener las estimaciones
de manera directa. En el ejemplo de las monedas se sabe que el estimador
máximo-verosímil de la proporción poblacional es la proporción muestral. En la
TRI, al no existir tales fórmulas, las estimaciones se obtienen por métodos
numéricos, mediante programas de ordenador. En el caso más general se
establece una función L que depende de los parámetros de los ítems y de los
niveles de rasgo. Los programas de ordenador contienen algoritmos que
encuentran el conjunto de estimaciones para el que la función L alcanza el valor
máximo. Los parámetros de los ítems y los niveles de rasgo de las personas
serán los valores dados por el programa de ordenador para una matriz de
respuestas particular.
En la Teoría Clásica, una vez aplicados unos ítems a un conjunto de personas, se
puede obtener la puntuación de cada persona en el test combinando las
puntuaciones en los ítems del test.
En la TRI, una vez que se han aplicado los ítems, se genera la matriz de
respuestas que contiene los aciertos y fallos de cada persona en cada ítem del
test.
2.5 FUNCIÓN DE INFORMACIÓN
Una vez aplicado un conjunto de ítems y estimado el nivel de habilidad de un
sujeto, la TRI permite calcular el error típico de estimación (Se) de esa persona
en el test aplicado. Esto es una diferencia fundamental con la TC, que asume que
el error es el mismo para todos los sujetos.
El error típico de estimación indica la precisión con que se ha estimado θ. A mayor
error, menos precisión. Su tamaño depende de varios factores:
1- Número de ítems aplicado: En general, al aumentar la longitud del test
disminuye (Se).
34
2- La capacidad discriminativa de los ítems: Al aumentar el parámetro "a"
disminuye (Se).
3- La diferencia entre "b" y θ: Cuanto más próximo a θ esté el índice de dificultad
de los ítems (b), menor será (Se).
Por su parte, el error típico de estimación de θ es la desviación típica de las
puntuaciones θ estimada, es decir,
.
Donde (Se) constituye el valor mas importante puesto que este valor permitira
obtener el valor del error.
El error típico de estimación permite obtener el intervalo confidencial en el que,
con probabilidad predeterminada, se ha de encontrar el nivel de habilidad de la
persona. En concreto, si a la "θ" estimada de una persona se suma y se resta
(1.96) Se, se obtienen los extremos del intervalo en el que, con probabilidad 0.95,
se encontrará su verdadero nivel de rasgo.
Por ejemplo, si la θ estimada es 0.8 y su error típico de estimación es 0.22,
entonces, el nivel de rasgo de dicha persona se encuentra entre 0.37 (pues 0.8-
(1.96)(0.22)= 0.37) y 1.23 (pues 0.8+(1.96)(0.22) = 1.23), con probabilidad 0.95.
La función de información del test aplicado se define como la inversa de Var(θ),
es decir:
Por lo tanto,
35
Cuanto mayor sea I(θ) menor será Se y, por tanto, mayor la precisión de la
estimación de θ. Si se calcula I(θ) para todos los niveles de θ y se representa
gráficamente se obtiene una curva como la que muestra la figura 2.8:
Figura 2.8 Curva función de información de dos Ítems
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem Pág. 14. Se observa que este test (compuesto por dos ítems, cuyos parámetros son a1=
1.5, b1 = -0.7 a2= 1 y b2 = 2) aporta más información para valores de θ en torno a
-0.5.
La FI tiene importancia en la utilización de los test, ya que permite elegir aquel
que aporte más información en el intervalo de θ que se pretende medir.
También es útil en la construcción del test. A partir de un banco de ítems
calibrados (es decir, de los que se ha estimado sus parámetros) se pueden
seleccionar aquellos que permitan que la FI se ajuste a unos objetivos
determinados.
Todos los conceptos anteriores referidos a la función de información del test son
aplicables también a cada uno de los ítems por separado. De hecho la FI del test
36
no es más que la suma de las FFII de cada uno de los ítems que lo componen. En
concreto la FI de un ítem sería:
Se observa que la única diferencia con la FI del test es que ha desaparecido el
signo de sumatorio.
Al igual que con el test completo, se puede representar gráficamente la FI de los
ítems y ver a que nivel de θ proporcionan más información. La figura 2.9, muestra
la función de información de los dos ítems que forman el test y la función de
información del test.
Figura 2.9 Curva función de información
Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid
esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 15.
Esto permite elegir los ítems más adecuados en cada momento en función de las
necesidades. Por ejemplo, si se quiere llevar a cabo una selección de personal en
la que sólo se va a elegir unos pocos sujetos competentes, a partir de un banco
37
de ítems previamente calibrado, se podría elegir aquellos ítems que proporcionan
más información para niveles altos de θ. Esto permite reducir enormemente el
número de ítems de un test sin perder precisión al estimar θ.
2.6 PROCEDIMIENTOS DE ARRANQUE
Para determinar cuál será el primer ítem al cual se enfrentara el evaluado, la
elección entre una u otra dependerá de la información previa que se disponga la
misma que está relacionada con el nivel manifestado en otros test, con esto se
puede considerar una predicción del nivel de rasgo que interesa y hacer
estimaciones mediante regresión para decidir el primer nivel que se asignará a
cada evaluando.
Ahora si se desconoce el rendimiento previo del evaluado, se elige al azar el
primer ítem para cada evaluado, (entre los que tienen dificultad media para el
nivel educativo a evaluar) para evitar que se repita la secuencia inicial en
diferentes estudiantes; si se dispone de una evaluación previa de los alumnos en
otros test aplicados con anterioridad, se realiza una estimación mediante
regresión y el Test Adaptativo Informativo empieza con un ítem ajustado en
complejidad al nivel de rasgo estimado en la regresión; en otras ocasiones se lo
utiliza como información previa las calificaciones en las asignaturas que se
relacionan con los diversos test o el rendimiento medio del nivel educativo actual
del evaluado.
2.7 MÉTODO DE SELECCIÓN DE PREGUNTA
Un test adaptativo selecciona el siguiente ítem que va a ser presentado en cada
momento en función del nivel estimado del conocimiento del alumno y de las
respuestas a los ítems previamente administrados. Seleccionar el mejor ítem
puede mejorar la precisión en la estimación del nivel de conocimiento y reducir la
longitud del test.
Ya desde que se decide arrancar el TAI mediante un procedimiento concreto,
entra en funcionamiento uno de los componentes fundamentales del algoritmo,
38
que consiste en establecer la forma de elegir el siguiente ítem a presentar
después de estimar el nivel de rasgo provisional de un evaluando.
Mientras éste lee un ítem y piensa sobre su respuesta, el algoritmo realiza los
cálculos oportunos para determinar cuál será el siguiente ítem a administrar si se
acierta o falla el ítem actual. De esta forma, el tiempo transcurrido entre la emisión
de una respuesta y la presentación del siguiente ítem resulta imperceptible para el
sujeto.
Los procedimientos de selección de los ítems han experimentado importantes
mejoras con el transcurso de los años. Los primeros TAIs establecían
procedimientos de selección de ítems bastante rígidos.
Prácticamente cualquier procedimiento actual de selección de ítems sigue una
estrategia de nivel múltiple con ramificación variable, que permite actualizar el
nivel de rasgo estimado para una persona después de responder progresivamente
a los ítems que se le presentan.
2.8 MÉTODO DE PARADA
La heurística debe incluir también un procedimiento para dar por concluida la
prueba; para considerar que una estimación provisional del nivel de rasgo es la
que se va a tomar como estimación definitiva para el evaluando. Las posibilidades
que se tienen son cuatro:
a) El criterio de longitud variable, que consiste en detener la aplicación cuando el
error típico de medida desciende de un valor predeterminado,
b) El criterio de longitud fija, que consiste en parar el test cuando se presentan un
número determinado de ítems,
c) Hacerlo mediante un criterio que combina los dos precedentes, y
d) Un procedimiento especial de longitud variable, que consiste en dejar de
presentar ítems cuando el nivel de rasgo estimado se aleja significativamente del
punto de corte establecido.
39
El procedimiento de longitud variable es viable ya que da estimaciones con la
misma precisión.
Se recomienda utilizarlo cuando las consecuencias de la evaluación son
especialmente importantes para las personas. Para que el nivel de precisión se
mantenga evitando prolongar demasiado el test, se utiliza un criterio mixto.
Generalmente aplicado para obtener resultados de calificación de la evaluación.
Cuando los evaluados tienen un nivel de rasgo próximo al punto de corte
establecido por los especialistas necesitarán responder a un mayor número de
ítems para así poder determinar con cierto nivel de confianza que su estimación
está por encima o por debajo de dicho punto de corte.
40
CAPITULO III DESARROLLO Y PRUEBAS
3.1 HERRAMIENTAS DE SOFTWARE
Las herramientas de software necesarias para el funcionamiento de la aplicación
que implementa el algoritmo son las siguientes:
- El motor de base de datos MySQL versión 5.5 es un sistema de
administración de base de datos relacional, en el que se puede manipular
una gran cantidad de datos y de diferente variedad además debido a la
seguridad que presta en su sistema de privilegios y contraseñas el cual
permite verificación basada en el host, ya que todo tráfico de contraseñas
esta encriptado cuando se conecta con un servidor, además presenta
compatibilidad con varios lenguajes de programación como Java, C, Perl,
PHP (que es lenguaje que maneja este aplicativo), entre otros.
- El lenguaje de programación es PHP versión 5.2 es un lenguaje de
programación código abierto que puede ser desplegado en la mayoría de
los servidores web como Apache e ISAPI y en casi todos los sistemas
operativos y plataformas, tiene capacidad de conexión con la mayoría de
los motores de base de datos que se utilizan en la actualidad.
- Zend Framework versión 1.11.1 es un framework de código abierto para el
desarrollo de aplicaciones y servicios web con PHP 5. Zend Framework se
implementa utilizando el 100% código orientado a objetos. Posee
arquitectura de acoplamiento flexible que ofrece una solución robusta y de
alto rendimiento de la aplicación de MVC (modelo, vista, controlador).
- El servidor web Apache versión 2.2 es un servidor web de código abierto,
multiplataforma, modular y extensible que puede trabajar con los lenguajes
de programación PHP, Perl, Python, Ruby.
41
El modelo entidad relación que se utiliza para el funcionamiento del aplicativo que
implementa el algoritmo se presenta en la figura 3.1:
Figura 3.1 Diagrama de la base de datos
Fuente: Diseño realizado por los autores.
Se debe aclarar que es la aplicación la que se encarga de controlar la integridad
referencial.
42
3.2 EXPLICACIÓN DE LA ARQUITECTURA DEL APLICATIVO
El presente aplicativo presenta una arquitectura de tres capas (Modelo, Vista
Controlador), debido a que es una aplicación web, donde la vista es una página
HTML con código que provee de datos dinámicos a la página y el controlador que
es el responsable de recibir los eventos de entrada desde la vista, Descripción de
las funciones de las tres capas:
Modelo
Es el objeto que representa los datos del programa. Maneja los datos y controla
todas sus transformaciones. El Modelo no tiene conocimiento específico de los
Controladores o de las Vistas, ni siquiera contiene referencias a ellos. Es el propio
sistema el que tiene encomendada la responsabilidad de mantener enlaces entre
el Modelo y sus Vistas, y notificar a las Vistas cuando cambia el Modelo.
Vista
Es el objeto que maneja la presentación visual de los datos representados por
el Modelo, genera una representación visual del modelo y muestra los datos al
usuario. Interactúa con el modelo a través de una referencia al mismo.
Controlador
Es el objeto que proporciona significado a las órdenes del usuario, actuando sobre
los datos representados por el modelo. Cuando se realiza algún cambio, entra en
acción, bien sea por cambios en la información del modelo o por alteraciones de
la vista. Interactúa con el modelo a través de una referencia al propio Modelo.
43
DIAGRAMA DE LA ARQUITECTURA
BC
Figura 3.2 Diagrama de la arquitectura de el aplicativo
Fuente: Diseño realizado por los autores.
3.3 IMPLEMENTACIÓN DEL ALGORITMO AL APLICATIVO TAI-
WEB
3.3.1 Algoritmo adaptativo de evaluación
Para el presente diseño del algoritmo adaptativo se ha tomado como referencia el
modelo de tres parámetros descrito anteriormente esta selección se la realizo en
base a que es el modelo en el cual se tienen más parámetros de configuración y
de esta manera son más fiables los resultados obtenidos.
Para el funcionamiento del aplicativo es necesario que previamente se carguen al
mismo los archivos necesarios que son tres:
Archivo de preguntas.- Este archivo está conformado parámetros el primero
que hace referencia al enunciado de la pregunta con un total de 200, para realizar
una evaluación lógica se han colocado preguntas del tema de Matemática sobre
Modelo
(Lógica del algoritmo y Manejo de
Datos)
Controlador
(Lógica de la aplicación)
Vista
(Presentación de datos al usuario) Enlace
BDD
Capa Persistente
44
el capítulo de multiplicación, el segundo es el tipo de respuesta es decir si es
Verdadero o Falso.
Figura 3.3 Formato del archivo Preguntas. Fuente: Diseño realizado por los autores.
Archivo de respuestas.- Al igual que el anterior archivo debe presentar ciertas
características en este archivo se encuentran las respuestas a las preguntas y la
valoración.
Figura 3.4 Formato del archivo Respuestas. Fuente: Diseño realizado por los autores.
45
Archivo de parámetros, aquí se cargan los datos de discriminación, de dificultad y
del azar.
Figura 3.5 Formato del archivo Parámetros. Fuente: Diseño realizado por los autores.
Luego de haber cargado correctamente todos los archivos necesarios para el
funcionamiento del aplicativo es necesaria la aplicación de un TAI que requiere
un algoritmo que incluya:
1.- El procedimiento para determinar el primer Ítem a presentar es mediante una
selección aleatoria del número de preguntas del banco de datos
2.- El método estadístico para estimar después de cada respuesta el nivel de
rasgo provisional y la precisión asociada a dicha estimación, es el método de
máxima verosimilitud y la estimación del error estándar basándose en el cálculo
de la varianza.
3.- El algoritmo para la selección sucesiva de ítems, es el método de máxima
información del ítem que se basa en la maximización de la función de información
del ítem obtenida a través del método de máxima verosimilitud
4.- Se incluye un método para controlar la distinción de cada Ítem para evitar que
un ítem se presente dos veces en el mismo cuestionario
46
5.- Un criterio para finalizar la presentación de ítems.
Los criterios para finalizar la presentación de ítems son:
a) Máximo número de ítems alcanzado, este punto puede ser controlado de
acuerdo a los criterios que sean necesarios para realizar la evaluación.
b) Cuando el error de estimación del nivel de aptitud (θ) es menor que el error
estándar definido para el cuestionario (entre 0 y 1)
3.3.2 Incorporación del algoritmo adaptativo al código fuente.
El desarrollo de la aplicación que implementa el algoritmo para el test adaptativo
esta sobre la arquitectura de tres capas: modelo, vista, controlador.
Figura 5 Diseño de la arquitectura
Fuente: Diseño realizado por los autores. La capa de modelo se encargar de la conexión con la base de datos, de albergar
la lógica del algoritmo y de validaciones para la aplicación. La capa de
47
controladores se encarga de la lógica de la aplicación y la capa de vistas maneja
la construcción de las interfaces.
La capa de controladores contiene 5 controladores:
- BancosController: Se encarga de la gestión de bancos de ítems, tanto
como la consulta y creación de Bancos de Ítems, así como de la carga de
preguntas, respuestas y sus respectivos parámetros.
- CuestionarioController: Se encarga de la gestión de los cuestionarios,
creación de cuestionarios y manejo del cuestionario adaptativo con la
implementación del algoritmo adaptativo.
- ErrorController: Se encarga del manejo y control de errores en la aplicación
- IndexController: Se encarga de la carga inicial de la aplicación.
- LoginController: Se encarga de la parte de autenticación de usuarios y
manejo de sus respectivas sesiones.
Figura 3.7 Diseño de la arquitectura II
Fuente: Diseño realizado por los autores.
48
La capa de modelo contiene varios archivos que se encargan de distintas
validaciones para la aplicación, y además contiene que se encarga de lógica para
la implementación del algoritmo y cual es invocado por el controlador en el
momento de su ejecución.
Figura 3.8 Diseño de la arquitectura III
Fuente: Diseño realizado por los autores. En la capa de vistas se encuentran las distintas interfaces que maneja cada
controlador respectivamente.
49
Figura 3.9 Diseño de la arquitectura IV
Fuente: Diseño realizado por los autores.
3.3.3 Aplicación de algoritmo
El algoritmo adaptativo como tal se encuentra manejado por el controlador
CuestionarioController el cual en el momento inicial del cuestionario antes de
mostrar la primera pregunta, que es generada por un número aleatorio enmarcado
dentro del número de preguntas de que consta el banco de ítems, se encarga de
generar los valores de theta (nivel de aptitud) dentro de los que trabajará el
algoritmo, este rango va desde -3 hasta 3, para mayor exactitud en las tareas de
cálculo los valores generados dentro de este rango cambian en 0,1 lo que permite
obtener un total de 70 valores para theta.
Una vez generado este rango mientras aparece la primera pregunta se procede a
realizar los cálculos probabilísticos en los cuales el algoritmo se apoya para poder
determinar el nivel de aptitud y la pregunta correspondiente, estos cálculos son
50
manejados en la capa de modelo por la clase denominada (TAI). Los cálculos
realizados en esta etapa son:
- Probabilidad de acertar un ítem: en el cual se realiza el cálculo por cada
ítem y por cada valor de theta
- Probabilidad de errar un ítem: en el cual se realiza el cálculo por cada ítem
y por cada valor de theta
- Derivada de la probabilidad de acertar un ítem: en el cual se realiza el
cálculo por cada ítem y por cada valor de theta
- Función de Información: en el cual se realiza el cálculo por cada ítem y por
cada valor de theta
Todos estos cálculos son almacenados temporalmente para poder ser utilizados
por el algoritmo durante el desarrollo del cuestionario.
Cuando el evaluado contesta la primera pregunta presentada el algoritmo entra en
operación, primero verificando si el número de preguntas que se han contestado
es menor o igual al número de preguntas máximo parametrizado para el
cuestionario en caso de serlo se toma el id de la pregunta y la respuesta a la
misma, con estos valores se procede a calcular la Máxima Verosimilitud para de
esta manera poder obtener el nivel de aptitud aproximado. Para este proceso se
verifica la veracidad de la respuesta, dependiendo de ello, se busca ya sea dentro
de los valores de probabilidad de errar o probabilidad acertar, teniendo como
referencia el id de la pregunta cuál de los 70 valores generados es el máximo, una
vez obtenido este valor de theta se procede al cálculo de error en la estimación de
este nivel de aptitud trabajando para ello además con los valores de Función de
Información calculados para el ítem. Realizado este proceso se tiene el nivel de
aptitud que maximiza la Función de Información, en este punto el algoritmo toma
ese valor para realizar los cálculos para encontrar el id de la pregunta, tomando el
máximo valor calculado, verificando primero que no haya sido una pregunta
contestada previamente por el usuario, con lo que si de ser el caso se
seleccionará el id de la pregunta seguidamente con mayor valor.
Obtenido el id de la pregunta el algoritmo primero verifica si el error de estimación
de theta calculado permanece mayor al error de estimación de theta
51
parametrizado para el cuestionario si es así usará el id de pregunta obtenido y
presentará la respectiva pregunta y nuevamente iniciará el ciclo hasta que
encuentre que el número de preguntas contestadas sea el número máximo de
preguntas parametrizadas para el cuestionario o hasta que el error de estimación
de theta sea menor al error de estimación de theta parametrizado para el
cuestionario, con lo cual el algoritmo devuelve el nivel de aptitud para el evaluado
para el cuestionario contestado.
El flujo de datos que realiza el presente algoritmo adaptativo se ilustra en el
diagrama de la figura 3.10:
52
53
Figura 3.10 Diseño del algoritmo
Fuente: Diseño realizado por los autores.
54
3.4 PANTALLAS DESCRIPTIVAS DEL PROCESO DE
EVALUACIÓN.
3.4.1 Como administrador
Luego de haber realizado correctamente la instalación del aplicativo, se digita en
el url del navegador la dirección del proyecto
http://localhost/ProyectoTA/public/login/login, se debe indicar que el aplicativo
funciona sobre los navegadores Internet Explorer de la versión 7 en adelante,
Mozilla Firefox de la versión 3.0 en adelante, y Google Chrome hasta la versión
20.0.1132.47, para la demostración se emplea el navegador Google Chrome, para
lo cual luego de digitar la dirección se presiona la tecla enter y se obtiene la
pantalla indicada en la figura 3.11:
Figura 3.11 Diseño de la interfaz de presentación.
Fuente: Diseño realizado por los autores.
Ahora se ingresa el usuario administrador y su contraseña, se presiona clic sobre
el botón login y se entra a la sesión de administrador
55
Figura 3.12 Diseño interfaz de login.
Fuente: Diseño realizado por los autores.
Si el usuario no ingreso correctamente los datos, si el nombre de usuario o la
contraseña se quedaron en blanco los campos se encuentran validados como se
presenta en la pantalla indicada en la figura 3.13:
Figura 3.13 Validación de campos.
Fuente: Diseño realizado por los autores. En la sesión de administrador el aplicativo presenta las opciones de:
· Consultar bancos,
· Crear nuevo banco,
· Cargar preguntas al banco y
· Crear cuestionario.
56
Figura 3.146 Diseño interfaz de menú.
Fuente: Diseño realizado por los autores. Para la selección de Consultar bancos:
En esta selección se presenta todos los bancos que se encuentran cargados en el
aplicativo, al tomar uno de ellos se obtendrá una consulta especifica de un banco
Figura 3.15 Diseño de interfaz Inicio.
Fuente: Diseño realizado por los autores.
57
Figura 3.16 Diseño de cuadro consulta de Banco de preguntas.
Fuente: Diseño realizado por los autores. O a su vez si se toma la selección “todos” se visualizará una consulta general, en
la cual se presentan la especificación del nombre del banco, la descripción, la
categoría y si se encuentra cargado con preguntas o no.
Figura 3.17 Diseño de consulta banco de preguntas total.
Fuente: Diseño realizado por los autores.
Para la selección crear nuevos bancos:
Se selecciona la opción Crear nuevo banco y el aplicativo presenta los siguientes
campos nombre, descripción y categoría como se aprecia en la pantalla indicada
en la figura 3.18:
58
Figura 3.18 Diseño de interfaz Creación de bancos de preguntas.
Fuente: Diseño realizado por los autores. Ahora se ingresan los campos requeridos y se presiona Crear banco para
validarlo, si existen errores de ingreso como son dejar los campos en blanco la
aplicación presenta los mensajes de error para corregirlos.
Figura 3.19 Validación de campos.
Fuente: Diseño realizado por los autores. Luego de realizar las correcciones en los ingresos se presiona Crear Banco
59
Figura 3.20 Validación de ingreso de creación de bancos de preguntas.
Fuente: Diseño realizado por los autores. El aplicativo presenta el mensaje de creación del banco como se observa en la
figura 3.21.
Figura 3.21 Creación satisfactoria del banco.
Fuente: Diseño realizado por los autores.
Al ser validado la creación, se realiza la consulta de los bancos para verificar la
existencia del nuevo banco.
60
Figura 3.22 Consulta de bancos creados.
Fuente: Diseño realizado por los autores.
Al hacer clic sobre el banco nuevo se obtendrá la consulta del mismo como se
observa en la figura 3.23.
Figura 3.23 Consulta de carga de preguntas al banco seleccionado.
Fuente: Diseño realizado por los autores. Para la selección de cargar preguntas al banco:
Se selecciona la opción cargar preguntas al banco y la pantalla que se presenta
enseña un primer combo con el nombre del banco al cual se cargará las
preguntas
61
Figura 3.24 Modelo de carga de archivos de preguntas.
Fuente: Diseño realizado por los autores.
3.4.1.1 Descripción de los archivos necesarios para el aplicativo
Para cargar los requerimientos necesarios al aplicativo es necesario hacer uso de
un archivo de preguntas, un archivo de respuestas y un archivo de parámetros,
todos estos archivos deben ser de tipo Excel, con la extensión (.csv), esto porque
los archivos de texto de valores separados por comas (.csv), son en los que el
carácter de coma (;) separa normalmente cada campo de texto.
Los datos deben comenzar desde la fila 1 columna1
Archivo Preguntas:
Para que la plataforma pueda asimilar la información del archivo en forma correcta
es necesario que el archivo Excel que se vaya a subir sea de extensión .csv, esto
debido a que esta extensión permite a los datos contenidos dentro del archivo
puedan reconocerse, el archivo debe contar con el formato indicado en la tabla
3.1.
Preg
un
ta
En
un
ciado
Valo
r
Tip
o
Op
ción
1
Op
ción
2
Op
ción
n
Path
arch
ivo d
e im
agen
(O
pcio
nal)
Verdad/falso Preg. 2 8*5 =44 1 VF
Opción múltiple
Preg. 3 8*5 es 1 OM Igual a 25
Igual a 40
Path C:\\img.jpg
Tabla 3.1 Formato archivo de preguntas
Fuente: Diseño realizado por los autores.
62
El campo “Path archivo de imagen (Opcional)” que se presenta en la tabla 3.1 es requerido si el enunciado de la pregunta necesita la inclusión de una imagen y debe incluir la palabra path
Archivo Respuestas:
Respuesta Valor
Verdad/falso F 1
Opción Múltiple Literal (Ej.: a) 1
Tabla 3.2 Formato archivo respuestas.
Fuente: Diseño realizado por los autores.
Archivo Parámetros
Este archivo debe presentar las características mostradas en tabla 3.3
Discriminación (a) Dificultad (b) Azar(c)
0,1 1 0,5
Tabla 3.3 Formato archivo parámetros.
Fuente: Diseño realizado por los autores.
En las figuras 3.25 y 3.26 se pueden apreciar el proceso de selección de archivos
Figura 3.25 Características de los archivos de carga.
Fuente: Diseño realizado por los autores.
63
Figura 3.26 Ejemplo de archivos cargados al aplicativo.
Fuente: Diseño realizado por los autores. Una vez que los archivos se encuentren cargados se debe presionar el botón
cargar banco y se va a presentar la confirmación de la creación del banco de
preguntas, si algún archivo no se encuentra cargado serán validos con un
mensaje de error como se observa en la figura 3.27:
Figura 3.27 Validación de carga.
Fuente: Diseño realizado por los autores. Después de hacer un correcto ingreso de los archivos requeridos y de presionar
cargar bancos el aplicativo presenta una descripción de las características de los
datos que contienen cada uno los registros que han sido ingresados si toda la
información es válida se presiona cargar banco para finalizar el proceso de carga
de bancos.
64
Figura 3.28 Confirmación de carga al aplicativo
Fuente: Diseño realizado por los autores. Para realizar la consulta de que el banco ha sido creado se regresa al menú de
administrador y se consulta los cuestionarios creados en las diferentes
características que presenta el cuadro se puede apreciar en la figura 3.29 que en
el campo de cargado con preguntas aparece “SI”.
Figura 3.29 Consulta de carga de preguntas.
Fuente: Diseño realizado por los autores.
Para la selección Crear cuestionario.
La presente selección permite parametrizar el cuestionario a continuación se
explica en qué consiste cada uno de sus puntos:
65
Luego de tomar la selección de crear cuestionario el aplicativo presenta los
campos mostrados en la figura 3.30.
Figura 3.30 Creación de cuestionarios.
Fuente: Diseño realizado por los autores.
Se debe ingresar un nombre para el cuestionario, luego una descripción para el
mismo, estos dos campos son de información luego se debe escoger el banco de
preguntas para la presente demostración se debe tomar el banco que
previamente fue creado:
Figura 3.31 Parametrización de cuestionario.
Fuente: Diseño realizado por los autores.
66
Se selecciona el banco PRUEBA y se sigue con la parametrización del Error
Estándar.
A continuación se detallará la explicación del parámetro valor de Theta inicial.
Luego de ingresar estos parámetros se ingresa el Máximo número de ítems esto
quiere decir el número máximo de preguntas que el evaluado tendrá que contestar
de acuerdo a los criterios de evaluación que se presentan en el cuestionario y al
nivel de exigencia que la materia y el profesor lo refieran.
Para la presente demostración se ha ingresado un máximo de 25 preguntas para
realizar la evaluación, finalmente se presiona crear cuestionario
Figura 72 Ejemplo de validación del cuestionario.
Fuente: Diseño realizado por los autores.
Ahora el aplicativo ha creado el cuestionario con su respectivo banco de
preguntas y su parametrización, ahora el evaluado debe ingresar y tomar el
cuestionario de nombre INFORMÁTICA, para continuar el proceso de evaluación
automática.
67
Figura 3.33 Selección de cuestionario creado.
Fuente: Diseño realizado por los autores.
3.4.2 Para la sesión usuario
El presenta aplicativo no maneja la creación de usuarios por tal razón, para
realizar este proceso se lo debe hacer mediante la base de datos, para las
pruebas realizadas se han creado usuarios de prueba.
Con los usuarios de prueba creados se realizará la presentación del proceso de
evaluación, se usará el usuario diego:
Figura 3.34 Login Usuario.
Fuente: Diseño realizado por los autores.
68
Después de realizar la validación del usuario y su contraseña se presenta la
selección del cuestionario se escoge al creado anteriormente en la sesión de
administrador y se inicia con el proceso de evaluación:
Figura 3.35 Selección de cuestionario.
Fuente: Diseño realizado por los autores. Al iniciar el cuestionario el aplicativo presenta una pregunta al azar, esto para
determinar el nivel de conocimiento de entrada del evaluado, este elige desde su
percepción la habilidad que tiene la misma que lo llevara a un nivel inicial de
partida entre un conjunto de valores cualitativos prestablecidos dentro de los
rangos establecidos en los valores parametrizados. El rango elegido
corresponderá al valor que tome θ en la elección de la primera pregunta.
Luego de tomar el cuestionario se presiona Iniciar y el aplicativo presenta la
primera pregunta del cuestionario seleccionado:
69
Figura 3.36 Respuestas al cuestionario seleccionado por el usuario.
Fuente: Diseño realizado por los autores. Ahora empieza el proceso de evaluación al tomar una opción es decir si la
afirmación presentada es falsa o verdadera, no se puede presionar el botón enviar
sin antes haber seleccionado una opción el aplicativo presenta un mensaje de
error:
Figura 3.37 Validación de respuestas.
Fuente: Diseño realizado por los autores. Después de llenar una de los dos opciones se presiona el botón enviar y el
aplicativo presenta la siguiente pregunta para continuar el proceso de evaluación,
cabe señalar que las preguntas no se repiten, hasta la finalización de la
evaluación
70
Con estas características continua el proceso de evaluación hasta que el
algoritmo lo finalice sea por el conocimiento del evaluado o por el número de
preguntas parametrizado anteriormente, luego del proceso se presenta un informe
final al evaluado para que asimile en qué punto se encuentran sus conocimientos
respecto al tema evaluado, para esto el aplicativo presenta en pantalla el nombre
del usuario el nombre del cuestionario el número de preguntas la calificación final,
la calificación sobre 10 el tiempo y el nivel de aptitud obtenido por evaluado
Datos Presentados Descripción
Nombre del usuario Se presenta el nombre del evaluado
Nombre del cuestionario Se presenta el nombre del cuestionario
Número de preguntas Se presenta el número de preguntas
que el evaluado contesto antes de
finalizar el cuestionario
Calificación final Se presenta la calificación final sobre el
rango de aptitud que se ha
parametrizado en el algoritmo.
Calificación sobre 10 Se presenta el puntaje equivalente
sobre 10 puntos.
Tiempo Se presenta el tiempo en minutos y
segundos que el evaluado se demoro
en contestar el cuestionario
Nivel de aptitud obtenido por evaluado Se presenta el nivel de aptitud obtenido
y lo coloca en una tabla descriptiva de
su significado pintando la fila donde se
encuentra información sobre su
resultado obtenido y despliega un
recuadro de recomendaciones finales
para el evaluado.
Tabla 3.4 Representación formato de presentación de datos finales
Fuente: Realizado por los autores.
71
Figura 88 Diseño de reporte final con resultados. Fuente: Diseño realizado por los autores.
Figura 99 Mensajes de recomendaciones. Fuente: Diseño realizado por los autores.
72
Después de visualizar el resultado y las recomendaciones que presenta el
aplicativo se puede salir de la evaluación y volver a la selección de cuestionarios
en caso que el evaluado requiera contestar otro cuestionario.
Si el usuario intenta volver a contestar el cuestionario ya evaluado el aplicativo
presenta un mensaje de error como el que se presenta en la figura 3.40:
Figura 3.40 Validación de cuestionario ya contestado.
Fuente: Diseño realizado por los autores.
3.5 PRUEBAS DE CAJA NEGRA
Se realizaron las pruebas de funcionamiento del algoritmo con los siguientes
criterios de evaluación:
1.- Con Respuestas intercaladas es decir aleatorias.
2.- Con todas las respuestas incorrectas.
3.- Con todas las respuestas verdaderas.
4.- Con todas las respuestas falsas.
5.- con todas las respuestas correctas.
73
Res
pu
esta
s al
eato
rias
Tab
la 3
.5 R
esu
ltad
os
pru
ebas
co
n r
esp
ues
tas
alea
tori
as.
Fu
ente
: R
ealiz
ado
po
r lo
s au
tore
s.
Se
gú
n l
os
resu
ltad
os
ob
teni
dos
en
la p
rue
ba a
lea
tori
a s
e p
ue
de
inte
rpre
tar
qu
e el
alg
oritm
o r
eq
uier
e u
n m
ayo
r n
úm
ero
de
pre
gu
nta
s p
ara
en
con
trar
el
nive
l d
e a
ptit
ud d
el
eva
lua
do,
po
r e
nd
e e
l al
gor
itmo
tie
nd
e a
te
rmin
ar
po
r el
nú
me
ro m
áxi
mo
de
íte
ms
pe
rmiti
do p
ara
el
cue
stio
na
rio.
Po
r ta
l ra
zón
se
pu
ed
e a
pre
cia
r q
ue
el e
rror
de
est
ima
ció
n d
el n
ivel
de
ap
titud
se
vuel
ve
alto
.
Se
pu
ed
e a
pre
cia
r qu
e e
l e
rro
r e
stá
nd
ar
pa
ram
etr
iza
do
, el
ran
go
de
va
lore
s de
(te
ta,
Niv
el
de
ap
titu
d),
y el
val
or
inic
ial d
e T
eta
no
inci
de
n e
n e
l de
sem
pe
ño
del
alg
ori
tmo
.
ran
go
th
eta
(-3,
3)
(-2,
2)
(-1,
1)
(-3,
1)
(-1,
3)
thet
a in
icia
l 0
0 0
-1
1
erro
r 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8
No
. Pre
gu
nta
s 2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
8
thet
a -1
,9
-1,9
-1
,9
-1,7
-2
-1
,9
1
1
1
-1
-1,1
-0
,9
-1
1,2
3
erro
r 2
,78
73
2,5
84
2 2
,70
13
1,8
29
1 2
,37
1 2
,27
55
0,6
85
5 0
,63
63
1,8
69
9 2
,40
56
2,4
55
5 2
,36
34
1,9
11
2 0
,96
37
0,7
77
2
thet
a P
rom
edio
-2
,56
-2,4
9 -2
,57
-1,0
8 -1
,78
-1,7
3 0
,81
1,0
6 -0
,88
-2,2
-2
,3
-2,2
3 -0
,92
0,8
3 2
,33
3
74
Tod
as la
s re
spu
esta
s in
corr
ecta
s
Tab
la 3
.6 R
esu
ltad
os
pru
ebas
co
n r
esp
ues
tas
inco
rrec
tas.
Fu
ente
: R
ealiz
ado
po
r lo
s au
tore
s.
Se
gú
n l
os
resu
ltad
os
obte
nid
os
en
la
pru
eba
ale
ato
ria
se
pue
de
in
terp
reta
r q
ue
el
algo
ritm
o r
eq
uie
re u
n t
ota
l n
úm
ero
de
pre
gu
nta
s p
ara
me
triz
ad
as
par
a e
nco
ntra
r e
l niv
el d
e a
ptit
ud
de
l eva
lua
do,
ya
qu
e t
rata
de
est
abl
ece
r el
niv
el d
e a
ptit
ud
a p
art
ir
de
re
spu
est
as
equi
voca
da
s,
po
r e
nd
e
el
alg
oritm
o
tien
de
a
te
rmin
ar
po
r el
n
úm
ero
m
áxi
mo
d
e
íte
ms
pe
rmiti
do
pa
ra
el
cue
stio
na
rio.
Po
r ta
l ra
zón
se
pu
ed
e a
pre
cia
r q
ue
el e
rro
r d
e e
stim
aci
ón
del
niv
el d
e a
ptit
ud s
e v
ue
lve
má
s a
lto q
ue
en
la p
rueb
a
an
teri
or.
Se
pu
ed
e a
pre
ciar
que
el
erro
r e
stá
nda
r p
ara
me
triz
ad
o,
el r
an
go
de
val
ore
s de
(te
ta,
Niv
el d
e a
ptit
ud
), y
el
valo
r in
icia
l de
Tet
a
no
inci
de
n e
n e
l de
sem
pe
ño
del
alg
ori
tmo
.
ran
go
th
eta
(-3,
3)
(-2,
2)
(-1,
1)
(-3,
1)
(-1,
3)
thet
a in
icia
l 0
0 0
-1
1
erro
r 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8
No
. Pre
gu
nta
s 2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
thet
a
-3
-3
-3
-2
-2
-2
-1
-1
-1
-3
-3
-3
-1
-1
-1
erro
r 3
,05
45
3,0
29
7 2
,80
8 -1
,92
2,3
62
2,3
98
1 1
,86
7 1
,87
98
1,9
04
9 2
,88
89
2,9
61
5 3
,03
91
1,8
83
5 1
,83
95
1,6
61
2
thet
a P
rom
edio
-2
,88
-2,8
9 -2
,88
2,3
28
4 -1
,92
-1,9
-0
,96
-0,9
6 -0
,95
-2,9
2 -2
,91
-2,9
2 -0
,92
-0,9
2 -0
,92
75
Tod
as la
s re
spu
esta
s ve
rdad
eras
Tab
la 3
.7 R
esu
ltad
os
pru
ebas
co
n r
esp
ues
tas
verd
ader
as.
Fu
ente
: R
ealiz
ado
po
r lo
s au
tore
s.
Se
gú
n l
os
resu
ltad
os
ob
teni
do
s e
n la
pru
eb
a s
e p
ued
e i
nte
rpre
tar
qu
e e
l al
go
ritm
o s
e v
e a
fect
ad
o p
orq
ue
al
ten
er t
oda
s la
s
resp
ue
sta
s ve
rda
de
ras
alg
una
s d
e el
las
son
corr
ect
as
lo q
ue le
fa
cilit
a a
l al
gori
tmo
la
ob
ten
ción
del
niv
el d
e a
ptit
ud,
por
ello
en
cie
rto
s in
terv
alo
s d
e T
eta
el a
lgor
itmo
te
rmin
a a
nte
s d
el n
úm
ero
to
tal d
e í
tem
s p
erm
itid
o p
ara
el c
ue
stio
nari
o.
Pa
ra q
ue
est
o s
e d
é ti
en
e in
cide
nci
a e
l va
lor
del e
rror
est
ánd
ar
pa
ram
etr
izad
o y
los
ran
go
s d
e t
eta
qu
e s
on
má
s a
mp
lios.
Deb
ido
a q
ue
tie
ne m
ás
am
plit
ud
de
do
nde
de
term
ina
ra e
l niv
el d
e a
ptit
ud
lo q
ue n
o s
uce
de e
n r
an
go
s d
e t
eta
má
s co
rto
s d
on
de
casi
sie
mp
re t
erm
ina
ra p
or
el n
úm
ero
má
xim
o d
e í
tem
s.
ran
go
th
eta
(-3,
3)
(-2,
2)
(-1,
1)
(-3,
1)
(-1,
3)
thet
a in
icia
l 0
0 0
-1
1
erro
r 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8
No
. Pre
gu
nta
s 2
5
8
25
6
1
1
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
thet
a
2,7
2
,8
-0,2
-0
,2
2
2
-0,4
-0
,1
-0,2
0
,4
0,4
-0
,6
2
-0,6
-0
,6
erro
r 0
,68
5
5
0,6
36
3
0,6
20
3
0,5
6
1
0,4
31
0,4
07
0,3
7
8
0,3
2
1
0,3
0
5
0,2
80
9
0,2
46
7
0,2
13
8
0,1
39
2
0,1
89
4
0,0
9
8
thet
a
Pro
med
io
0,2
09
5
0,4
47
6
1,4
1
,4
0,4
93
8
0,7
36
5
1,4
1
1
1,3
9
6
1,4
0
8
1,7
45
1,7
45
1,4
12
0,3
21
1,4
37
1,4
3
7
76
Ad
em
ás
com
o r
esu
ltad
o d
e l
o a
nte
rior
el a
lgo
ritm
o p
ue
de
est
abl
ece
r el
err
or
de e
stim
aci
ón d
e t
eta
co
n u
n v
alor
po
r d
eb
ajo
de
las
pru
eba
s a
nte
rio
res
lo q
ue
imp
lica
un
a m
ayo
r e
xact
itud
en
el n
ivel
de
ap
titu
d o
bte
nid
o.
Tod
as la
s re
spu
esta
s fa
lsas
Tab
la 3
.8 R
esu
ltad
os
con
las
resp
ues
tas
fals
as.
Fu
ente
: R
ealiz
ado
po
r lo
s au
tore
s.
Se
gú
n l
os
resu
ltad
os
ob
teni
do
s e
n la
pru
eb
a s
e p
ued
e i
nte
rpre
tar
qu
e e
l al
go
ritm
o s
e v
e a
fect
ad
o p
orq
ue
al
ten
er t
oda
s la
s
resp
ue
sta
s fa
las
alg
una
s d
e e
llas
son
cor
rect
as
lo q
ue
le f
aci
lita
al a
lgor
itmo
la
ob
ten
ción
de
l niv
el d
e a
ptitu
d,
por
ello
en
cie
rto
s
inte
rvalo
s d
e (
θ),
el a
lgor
itmo
te
rmin
a a
nte
s de
l nú
me
ro t
ota
l de
íte
ms
pe
rmiti
do
pa
ra e
l cu
estio
nari
o.
Pa
ra q
ue
est
o s
e d
é ti
en
e in
cid
en
cia
el v
alo
r de
l err
or e
stá
nda
r p
ara
me
triz
ado
y lo
s ra
ng
os
de
te
ta q
ue
so
n m
ás
am
plio
s.
Deb
ido
a q
ue
tie
ne
má
s a
mp
litud
de
do
nde
de
term
ina
ra e
l niv
el d
e a
ptit
ud
lo q
ue
no
su
cede
en
ra
ng
os
de (
θ),
m
ás
cort
os
do
nd
e
casi
sie
mp
re t
erm
ina
ra p
or
el n
úm
ero
má
xim
o d
e í
tem
s.
ran
go
th
eta
(-3,
3)
(-2,
2)
(-1,
1)
(-3,
1)
(-1,
3)
thet
a in
icia
l 0
0 0
-1
1
erro
r 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8
No
. Pre
gu
nta
s 2
2
25
2
5
25
2
5
25
2
5
25
2
5
25
2
5
25
2
1
9
4
thet
a
3,0
-2
.6
-2,7
-2
-2
-2
-1
-1
-1
-2
,6
-2,6
-2
,7
3
2,3
3
erro
r 0
,19
92
2,8
28
5 2
,56
32
2,4
08
0 2
,40
84
2,4
08
3 1
,91
51
1,9
20
4 1
,87
75
2,6
53
5 2
,63
74
2,5
91
5 0
,19
85
0,4
73
8 O
,62
66
thet
a P
rom
edio
2
,56
36
-2,6
1 -2
,46
-1,7
1 -1
,71
-1,7
1 -0
,96
-0,9
6 -0
,96
-2,4
6 -2
,42
-2,4
2
,88
57
2,2
77
8 2
,45
77
Tod
as la
s re
spu
esta
s co
rrec
tas
Tab
la 3
.9 R
esu
ltad
os
pru
ebas
co
n r
esp
ues
tas
corr
ecta
s.
Fu
ente
: R
ealiz
ado
po
r lo
s au
tore
s.
Se
gú
n lo
s re
sulta
dos
ob
teni
dos
en
la p
rue
ba
se
pu
ed
e in
terp
reta
r q
ue e
l alg
ori
tmo
al r
eci
bir
resp
ue
sta
s co
rre
cta
s p
ue
de
ca
lcul
ar
el n
ivel
de
ap
titud
(th
eta
), d
e u
na
form
a m
ás
ráp
ida
y p
reci
sa lo
qu
e im
plic
a q
ue
no
ne
cesa
ria
me
nte
alc
anza
ra e
l nú
me
ro m
áxi
mo
de
pre
gu
nta
s p
ara
me
triz
ada
s p
ara
el c
ue
stio
nari
o.
Cu
an
do
los
ran
go
s d
e t
het
a s
on
má
s co
rto
s y
el e
rro
r e
stá
nd
ar
par
am
etr
iza
do
es
má
s p
eq
ue
ño
se
re
qui
ere
un
nu
me
ro m
as
de
pre
gu
nta
s p
ara
det
erm
ina
r el
niv
el d
e a
ptit
ud
, m
ien
tra
s q
ue
cu
an
do
el r
an
go
de
the
ta e
s m
ás
am
plio
au
n cu
and
o e
l e
rro
r e
stá
nd
ar
est
e p
ara
me
triz
ado
con
val
ore
s ba
jos
re
qui
ere
un
me
no
r n
úm
ero
de
íte
ms,
sin
em
ba
rgo
es
clar
o q
ue e
l nu
me
ro d
e í
tem
s re
qu
erid
os
de
pen
de
ne
cesa
riam
en
te d
el e
rror
de
l val
or
est
án
dar
par
am
etr
iza
do
.
Deb
ido
a l
o m
en
cio
nad
o a
nte
riorm
en
te e
l e
rro
r d
e e
stim
aci
ón
del
niv
el d
e a
ptit
ud
se
en
cue
ntr
a d
ent
ro d
e n
ivel
es
rela
tiva
me
nte
ba
jos
lo q
ue
indi
ca q
ue e
xist
e u
na
ma
yor
pre
cisi
ón
al d
ete
rmin
ar
el n
ivel
de
ap
titud
.
ran
go
th
eta
(-3,
3)
(-2,
2)
(-1,
1)
(-3,
1)
(-1,
3)
thet
a in
icia
l 0
0 0
-1
1
erro
r 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8 0,
2 0,
5 0,
8
No
. Pre
gu
nta
s 2
1 5
4
2
5 1
1 6
2
5 2
5
19
25
2
5
19
2
1
5
3
thet
a
3
3
3
2
2
2
1
1
1
1
1
1
3
3
3
erro
r 0
.19
72
0.4
77
8
0.5
83
6
0.3
12
3
0.4
94
3
0.7
36
3
0.7
05
9
0.7
05
7
0.7
93
0
0.7
10
5
0.7
10
8 0
.79
51
0
.19
55
0.4
63
7
0.7
65
7
thet
a P
rom
edio
2
.85
71
2
.4
2.2
50
0
1.9
2 1
.81
82
1
.66
7
0.9
6
0.9
6
0.9
47
4
0.9
2
0.9
2
0.8
94
7
2.9
04
8 2
.6
2.3
3
78
3.6 PRUEBAS DE CAJA BLANCA
Para describir el proceso funcional de la aplicación se realizara el análisis del
diagrama de secuencia que ejecuta el presente algoritmo:
Figura 3.41 Pruebas funcionales I.
Se inicia el cuestionario y se realiza la pregunta si es o no el primer ítem.
Si es el primer ítem la aplicación genera por única vez durante toda la sesión de
evaluación, el rango de valores de Theta de 3 a -3, con intervalos de 0,1 lo que da
un total de 70 posibles valores, luego de esto la aplicación carga el banco de
preguntas que se encuentra guardado en la base de datos basándose en el id del
79
cuestionario, en este momento el algoritmo procede a generar un muero aleatorio
dentro del rango de preguntas cargadas anteriormente para poder presentar el
primer ítem.
Figura 3.42 Pruebas funcionales II.
Con los parámetros cargados y las preguntas cargadas el algoritmo realiza los
cálculos estadísticos estáticos para cada pregunta (Probabilidad de acertar ítem,
probabilidad de errar la función de información del ítem, entre otros ) es necesario
aclarar que los parámetros de las preguntas deben estar en los rangos sugeridos
en el capitulo tres del presente trabajo, para que no ocasione errores de cálculo,
luego de esto la aplicación requiere averiguar si el numero de pregunta
presentada es menor al máximo número de ítems permitidos para el cuestionario.
Si es no la aplicación requiere averiguar si el número de pregunta presentada es
menor al máximo número de ítems permitidos para el cuestionario.
Ahora si el número de pregunta presentada es mayor o igual al máximo número
de ítems permitidos para el cuestionario, este finaliza.
Si el número de pregunta presentada es menor al máximo número de ítems
permitidos para el cuestionario, la aplicación averigua si el error de estimación de
(θ) es mayor o igual que el error estándar parametrizado.
Si el error de estimación de (θ), es menor o igual que el error estándar
parametrizado, la aplicación finaliza el cuestionario.
80
Si el error de estimación de (θ), es mayor que el error estándar parametrizado, la
aplicación presenta el ítem.
Figura 3.43 Pruebas funcionales III.
Ahora se averigua si la respuesta es correcta en caso de ser así, el algoritmo
recupera los valores calculados para la probabilidad de ACERTAR el ítem, si la
respuesta es incorrecta el algoritmo recupera los valores calculados para la
probabilidad de ERRAR el ítem, luego de esto se procede a calcular la máxima
verosimilitud para el ítem contestado una vez hecho esto la aplicación averigua si
es la primera pregunta de ser así obtiene el (θ), o nivel de actitud inicial de la
base de datos de no ser así la obtiene del cálculo hecho al obtener la máxima
verosimilitud del ítem, con este cálculo anteriormente realizado se obtiene la
primera estimación del error estándar luego con el valor de (θ), proporcionado se
calcula la función de información del ítem una vez realizado este cálculo se
procede a buscar el valor
81
Figura 3.44 Pruebas funcionales IV.
que maximiza esta función dentro de los cálculos realizados, ahora la aplicación
debe averiguar si el valor obtenido corresponde a un ítem que ya ha sido
presentado o contestado previamente si ya ha sido contestado el algoritmo debe
buscar el siguiente valor máximo de los cálculos realizados y va a presentar el
ítem correspondiente este proceso lo realizara de ser necesario hasta encontrar el
valor máximo de un ítem no contestado luego de lo cual procederá a asignar el
valor máximo calculado al ítem presentado, si no la aplicación debe presentar el
ítem seleccionado y repetirá el proceso hasta que el numero de ítems
presentados sea mayor o igual al número de ítems parametrizados para el
cuestionario.
82
3.7 PRUEBAS DE RENDIMIENTO
Como un valor agregado a el presente trabajo, luego de realizar las pruebas de
caja negra y de caja blanca, se ha sometido al aplicativo a trabajar en una intranet
con una cantidad de 50 usuarios concurrentes, y el aplicativo se desarrollo
correctamente y sin ningún inconveniente de orden técnico, al realizar un análisis
más amplio se observa que el algoritmo se ve afectado en el tiempo de respuesta
o latencia, cuando sobrepasa los 100 usuarios conectados al mismo tiempo y con
una determinada condición de la intranet.
Para probar el desempeño del aplicativo se ha hecho uso de la herramienta
VPerformer en su modo de prueba, mediante la cual se han obtenido resultados
del uso del algoritmo, ya que puede medir las características de rendimiento de la
aplicación mediante la grabación y reproducción de scripts automatizados que
simulan una gran cantidad de usuarios virtuales concurrentes.
Ademas, se realiza la medicion del aplicativo mientras se encuentra funcionando
es decir analiza el rendimiento paralelamente, con el usuario que esta
contestando el test adaptativo informatizado:
83
Figura 3.45 Pruebas de rendimiento
En el gráfico de la figura 3.45 se puede apreciar un eje de coordenadas en el cual
se representa las diferentes ejecuciones que realiza el aplicativo contra el tiempo,
esto permite realizar una valoración del desempeño del algoritmo, tomando en
consideración que mientras más bajo se encuentren los tiempos de respuesta por
cada transaccion que ejecute el algoritmo, en el aplicativo la presentacion de cada
ítem será más rápida incluso la presentación del reporte final será más óptima.
Igualmente su desempeño en un ambiente con mas usuarios independientemente
de la infraestructura tecnológica, se encontrará en niveles muy aceptables de
desempeño
84
Figura 3.46 Pruebas de rendimiento II
El gráfico de la figura 3.46 se refiere a carga vs rendimiento se desarrolla sin
problemas en tiempos normales, si el aplicativo es evaluado con una mayor
cantidad de usuarios y con un banco de preguntas mucho más robusto depende
mucho la infraestructura donde se encuentre alojada la aplicación, para las
pruebas realizadas en este capitulo se puede apreciar que el rendimiento es
constante y al final se observa un incremento en la carga esto se refiere a que se
finalza el test y se presentan los resultados en la interface final.
85
Figura 3.47 Pruebas de rendimiento III
En el gráfico mostrado en la figura 3.47 se presentan diferentes mediciones en
base al tiempo de respuesta de los componentes el primero hace referencia a las
transacciones por usuario, el segundo al total de usuarios conectados y cabe
resaltar que para esta prueba haciendo uso de conexiones concurrentes se tiene
un rendimiento muy bueno, y el tercero presenta los hits por segundo, al
analizarlos todos los procesos se encuentran constantes y no presentan un
considerable efecto sobre los recursos del equipo servidor.
86
CAPITULO IV. CONCLUSIONES Y RECOMENDACIONES
4.1 CONCLUSIONES
· Los modelos revisados en este trabajo han supuesto el mayor avance
tecnológico en los últimos años sobre la medición psicológica y educativa.
No son la verdad absoluta, pero han introducido nuevos lineamientos, con
claras aplicaciones en la práctica, de hecho la mayoría de los estudios
propuestos consultados para la realización de este trabajo se han basado
en el uso de los test adaptativo informatizado (TAI).
· La Teoría de respuesta al Ítem (TRI), aporta un enfoque para analizar las
características de los ítems. En otras palabras, permite analizar la dificultad
y discriminación de los ítems, así como la posibilidad de contestar
correctamente un ítem de forma azarosa. Junto con estos elementos, la
TRI permite conocer la estructura de un ítem a través de su Curva
Característica, además, determina la función de información, que permite
valorar la precisión de la estimación que realiza el test.
Estos elementos son especialmente útiles en el ámbito de la educación y la
personalidad, cuando se trabajan con pruebas objetivas de evaluación y
diagnóstico. En estos campos es útil tener información tanto de la eficacia
del instrumento de evaluación, como del resultado de la propia evaluación
en las personas.
· La tecnología puede ser una herramienta útil en los aspectos más
mecánicos del proceso de evaluación y, aunque se intuye la potencialidad
en estos medios, es necesario que existan criterios pedagógicos explícitos
que guíen su aplicabilidad.
De cara al futuro cercano el uso de estos modelos se verá potenciado a
medida que aumenten y se extiendan los bancos de ítem, imprescindibles
para una aplicación coherente de los modelos.
87
· El principal logro de los Test adaptativos informatizados (TAI), es que con
pocos ítems (veinte, más o menos) se pueden conseguir precisiones en la
medición comparables o mejores que las obtenidas en test no adaptativos
mucho más largos. Esto es así porque en los TAI sólo se administran ítems
auténticamente informativos para determinar el nivel de rasgo de la
persona y se evitan los ítems demasiados fáciles o difíciles, que apenas
informan sobre el nivel de rasgo.
· Los Test adaptativos informatizados (TAI), proporcionan ventajas frente a
los procedimientos clásicos de evaluación, pero hay que tener en cuenta
que su implantación no resulta fácil, pues el hecho de tener que calibrar el
banco de ítems a partir de grandes muestras de sujetos, no siempre resulta
viable e incluso ha llegado a frustrar muchos proyectos e iniciativas
dirigidas hacia la construcción de este tipo de test. En definitiva, el proceso
de desarrollar un TAI es más complejo que redactar un conjunto de ítems
en un soporte informático y administrarlos mediante algún tipo de software,
pudiendo llegar a requerir varios años de trabajo.
· Para que un proceso de evaluación sea exitoso depende del aplicativo de
software empleado, así como también de la calidad de las preguntas que
componen el banco de ítems, por lo tanto el proceso de creación de ítems
debe ser realizado con herramientas para realizar un análisis clásico de
ítems como el que provee la teoría de respuesta de ítems. Los ítems deben
ser desarrollados por expertos en el área (dominio) y deben ser probados
para eliminar los ítems defectuosos antes de ser ingresados a la base que
conforma el banco de ítems.
· Con la implementación del Test adaptativo informatizado, TAI-WEB se
obtuvo rapidez y eficacia en la creación, aplicación y calificación de los
distintos tipos de evaluaciones.
· Mediante el uso del TAI-Web se facilita el proceso de evaluación tanto a
los evaluadores, brindándoles una administración sencilla de los bancos de
88
preguntas y su parametrización, como a los estudiantes proveyéndoles de
un sistema de evaluación adecuado a su nivel de aptitud, y además
brindando la retroalimentación necesaria para que pueda mejorar su
rendimiento.
· Los tiempos de respuesta del algoritmo no se afectaron cuando se utilizó
la simulación de varios usuarios conectados al mismo tiempo, pero
empezaron a aumentarse cuando se sobrepaso los 80 usuarios
concurrentes, de acuerdo a las mediciones obtenidas la media para un
desempeño óptimo es de 50 usuarios conectados concurrentemente.
· La concurrencia en la aplicación afecta directamente al desempeño del
algoritmo visto desde el punto de vista de tiempo de respuesta cuando se
trata de contestar el mismo cuestionario por número grande de usuarios,
sin embargo cuando se trata de concurrencia al contestar diferentes
cuestionarios el desempeño no se ve significativamente desmedrado. Por
lo tanto si se considera una media de 30 usuarios que acceden
concurrentemente a la contestación de un cuestionario, se puede concluir
que el desempeño del algoritmo y por ende de la aplicación es óptimo.
89
4.2 RECOMENDACIONES
· Estudiar la posibilidad de continuar con la implementación de la Teoría de
Respuesta al Ítem aplicando, opcionalmente, la metodología de las Redes
Bayesianas, y además, la posterior implementación de la teoría en la
enseñanza presencial y efectuar comparaciones con la enseñanza virtual.
· Captar el interés de profesionales, no sólo del área de la educación, sino
también estadísticos y psicólogos hacia la complejidad de la estimación de
los parámetros, nivel de habilidad y en general, a la aplicación de la Teoría
de Respuesta al Ítem, para que opten por una capacitación y puedan
realizar investigaciones o implementaciones.
· Conocer el nivel de aptitud de cada uno de los alumnos, sería un elemento
de apoyo al docente para determinar qué puntos se deben reafirmar,
explicarlos nuevamente o reconsiderar, para mejorar así el grado de
enseñanza a impartir. Esto se podría aplicar tanto en la enseñanza básica,
como en la media y superior.
· Continuar con el estudio de la aplicación del Test adaptativo informatizado
TAI, en la Escuela Politécnica Nacional; esto ayudará, a una
modernización en el proceso de evaluación, aprovechando el verdadero
potencial de cada estudiante y elevando, de esta manera, la calidad
académica de la universidad.
· Ayudar a que el presente trabajo no se quede estancado y se incentive,
por parte de las autoridades de la facultad a los futuros estudiantes que
requieran un tema de tesis, en continuar este proyecto realizando la fusión
del TAI-Web con la plataforma Moodle.
90
· Se recomienda a la facultad de sistemas ser pionera en la aplicación de
este trabajo, iniciando en materias especificas, como pilotos y luego de
analizar los resultados aplicarlo a todo el pensum.
· Se ha ajustado un algoritmo, Test adaptativo informatizado (TAI), para las
necesidades específicas del aplicativo presentado en este trabajo, y
todavía se está estudiando para mejorar las formas de selección y
calificación por medio de la teoría de respuesta al ítem (TRI), se
recomienda usar este algoritmo cuando esté del todo especificado y
probado en gran escala, para que pueda ser fácil la creación de nuevos
aplicativos especializados. Este algoritmo permite hacer una comparación
inequívoca de todos los estudiantes en un nivel de enseñanza y pueden
convertirse en un criterio de selección para el paso del estudiante, al
siguiente nivel de enseñanza.
· Se recomienda ajustar el aplicativo para que pueda llegar a que la media
de usuarios concurrentes pueda ser de más de 100, para que de esta
manera pueda aplicarse en test con un número elevado de conexiones al
mismo tiempo.
91
BIBLIOGRAFÍA
[1] Bruguera Ruiz, M. (3 de Diciembre de 2009). conexionismo.com. Recuperado
el Septiembre de 2011, de http://www.conexionismo.com/leer_articulo.php?ref=los_tests_adaptativos_informatizados_y_su_utilidad_en_el_contexto_clinico-2picnex0
[2] Chong Ho, Y. (10 de Diciembre de 2010). creative-wisdom. Recuperado el Septiembre de 2011, de http://www.creative-wisdom.com/computer/sas/IRT.pdf
[3] Conejo, R., Guzmán, E., Pérez De la Cruz, J. L., & Millán, E. (Agosto de 2007). Departamento de Lenguajes y Ciencias de la Computación. Universidad de Málaga. Recuperado el Septiembre de 2011, de http://polar.lsi.uned.es/revista/index.php/ia/article/viewFile/523/507
[4] Fals de Pedro, R., & Piloto Lastra, Y. (Agosto de 2009). gestiopolis.com. Recuperado el Septiembre de 2011, de http://www.gestiopolis.com/economia-2/algoritmo-clasificacion-preguntas-redes-bayesianas-teoria-respuesta-item.pdf
[4] FERRARI, D. (s.f.). Systems Performance Evaluation. Prentice-Hall.
[5] LOPEZ PINA, J. A. (1995). Teoría de Respuesta al Ítem: Fundamentos. Barcelona: PPU. Barcelona.
[6] Martínez Espinosa, Y. (Marzo de 2004). Recuperado el Septiembre de 2011, de http://www.monografias.com/trabajos23/tests-adaptativos/tests-adaptativos.shtml
[7] MUÑIZ FERNANDEZ, J. (1997). Introducción a la Teoría de Respuesta a los Ítems. Madrid: Pirámide.
[8] Olea, J., & Ponsoda, V. (Noviembre de 1998). La Universitat de València. Obtenido de http://www.uv.es/RELIEVE/v4n2/RELIEVEv4n2_0.htm
[9] Olea, J., & Ponsoda, V. (Noviembre de 2002). aristidesvara.net. Recuperado el Septiembre de 2011, de http://aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/tai_aristidesvara.pdf
[10] Rojas, M., Germán, M., & Gatica, Y. (Agosto de 2004). Universidad de Concepción Chile. Recuperado el Septiembre de 2011, de http://www.inf.udec.cl/~revista/ediciones/edicion10/psalcedo01.pdf
92
[11] SCHAEFFER, H. (1981). Data CenterOperations: A guide to effective planning, processing, and performance. Englewood Cliffs, N.J.: Prentice-Hall.
[12] Vara, A. (Marzo de 2005). ARÍSTIDESVARA.COM. Recuperado el Septiembre de 2011, de http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristidesvara.pdf
(SCHAEFFER, 1981; FERRARI) (LOPEZ PINA, 1995) (MUÑIZ
FERNANDEZ, Introducción a la Teoría de Respuesta a los Ítems,
1197) (Conejo, Guzmán, Pérez De la Cruz, & Millán, Departamento de
Lenguajes y Ciencias de la Computación. Universidad de Málaga,
2007) (Rojas, Germán, & Gatica, 2004) (Chong Ho, 2010) (Olea &
Ponsoda, 1998) (Martínez Espinosa, 2004) (Bruguera Ruiz, 2009)
(Olea & Ponsoda, aristidesvara.net, 2002) (Fals de Pedro & Piloto
Lastra, 2009)
93
ANEXOS
Anexo 1. Instalación y Configuración del servidor Web Apache y PHP
Anexo 2. Formato de Archivos:
- Preguntas - Respuestas - Parámetros
94
GLOSARIO DE TÉRMINOS
Puntuación verdadera: dentro de la teoría clásica de los test, es el valor del
rasgo que se pretende medir realmente. Es la puntuación que se obtendría si no
existiesen errores en la medida.
Dificultad de un ítem: es un indicador del nivel de exigencia de un ítem para que
la persona consiga un determinado valor. Por ejemplo, un ítem de un examen es
difícil si exige un elevado nivel de conocimiento de la materia para ser
contestados correctamente.
Discriminación de un ítem: capacidad que tiene el ítem de diferenciar entre
personas con distinto nivel de habilidad.
Fiabilidad: estabilidad o constancia de las medidas obtenidas con un mismo test.
También indica la precisión o exactitud de las medidas del test.
Validez: indicador de que el test mide realmente aquello que pretende medir.
Homocedasticidad: igualdad de varianza (es una palabra que no se recoge en el
diccionario de la Real Academia de la Lengua Española).
Variable independiente: variable (fenómeno o suceso) que controla el
investigador con la intención de provocar una respuesta o un cambio en el
sistema.
Variable dependiente: fenómeno que se pretende medir para identificar posibles
cambios.
Curva característica del test (CCT): representación que muestra la relación
entre la ejecución de una persona en un test y su nivel de habilidad.
95
Variable Latente.- Se refiere a la variable que no es directamente observables es
obtenida a través de la deducción mediante la aplicación de un proceso
matemático, aquella que no puede ser específicamente registrada, declarada o
de otra manera manifiesta. En el análisis estadístico, la informática y otras áreas,
las variables latentes representan los elementos que, por una razón u otra, no se
define concretamente en el ámbito de un programa.
Nivel De Rasgo Latente.- es la característica propia de cada sujeto para
determinar su actitud en la evaluación de un determinado tema
Ítem.- Se utiliza este término para representar de modo genérico una pregunta o
ejercicio que el alumno debe resolver. La solución de esta pregunta o tarea puede
darse de diversas maneras: seleccionando una o más opciones de entre un
conjunto de respuestas posibles dado un enunciado, escribiendo directamente
una breve respuesta
Test.- Es una sucesión de ítems.
Ítems Dicotómicos.- Una variable dicotómica puede tomar así dos y solamente
dos valores, a menudo fijos, arbitrariamente, a 0 y a 1, o en su defecto V o F.
Psicometría es la disciplina que se encarga de la medición en psicología. Medir
es asignar un valor numérico a las características de las personas, es usada esta
función pues es más fácil trabajar y comparar los atributos intra e interpersonales
con números y/o datos objetivos. Así, no se usa para medir personas en sí
mismas, sino sus diferentes aspectos psicológicos, tales como conocimiento,
habilidades o capacidades y personalidad.
Calibración.- Mediante este proceso se obtendrá la información que se
introducirá en el banco de ítems.
Test Normativos.- Son aquellos que miden los resultados individuales en
relación a un promedio estadístico poblacional, es decir miden la intensidad de un
determinado parámetro respecto a un promedio estadístico poblacional
96
Tamaño Muestral.- En estadística el tamaño de la muestra es el número de
sujetos o individuos que componen la muestra extraída de una determinada
población para que los datos obtenidos sean representativos para un determinado
criterio.
Modelo de Rasch.- Postula que la probabilidad que tiene un alumno de
responder correctamente una pregunta depende de la diferencia entre el nivel de
habilidad de la persona y el nivel de dificultad de la pregunta.
Unimensionalidad.- Es decir que los ítems que constituyen un test deben medir
sólo una aptitud o rasgo.
Independencia.- Es decir que las respuestas de un examinado a cualquier par
de ítem son independientes y no existe relación entre las respuestas de un
examinado a diferentes ítems.
Independencia local.- Dado un nivel de habilidad, las respuestas a los ítems no
pueden estar correlacionadas entre sí. Si hay correlación entre preguntas, ésta
sólo se explica por habilidad.
Multi - dimensionalidad.- Término referido a tomar referencias y percepciones
de los evaluados y representarlos en un procedimiento visual.
Máxima Verosimilitud.- El método de máxima verosimilitud es una técnica para
estimar el valor de (θ), dado una muestra finita de datos. Se basa en el principio
de obtener estimadores de los parámetros desconocidos que maximicen la
probabilidad de obtener dichas muestras.
Métodos Bayesianos.- Las redes bayesianas se conocieron a partir de los años
80 y son una metodología para la construcción de sistemas expertos.
Procesos De Equating.- proceso por el cual dos pruebas se hacen comparables,
cuando existen formas alternativas de una misma prueba y los puntajes obtenidos
a partir de ellas son comparados unos con otros.
97
Precisión Predictiva.- es el parámetro idóneo para estimar el desempeño
alcanzado con cada subconjunto de rasgos propuesto, en este caso es la
estimación sobre un determinado grupo de evaluados, cuando se tienen patrones
de entrenamiento altamente dimensionales.
Heurística.- En computación, dos objetivos fundamentales son encontrar
algoritmos con buenos tiempos de ejecución y buenas soluciones, usualmente las
óptimas. Una heurística es un algoritmo que abandona uno o ambos objetivos; por
ejemplo, normalmente encuentran buenas soluciones, aunque no hay pruebas de
que la solución no pueda ser arbitrariamente errónea en algunos casos; o se
ejecuta razonablemente rápido, aunque no existe tampoco prueba de que siempre
será así. Las heurísticas generalmente son usadas cuando no existe una solución
óptima bajo las restricciones dadas (tiempo, espacio, entre otras), o cuando no
existe del todo.
Integridad Referencial.- La integridad referencial es una propiedad deseable en
las bases de datos. Gracias a la integridad referencial se garantiza que una
entidad (fila o registro) siempre se relaciona con otras entidades válidas, es decir,
que existen en la base de datos. Implica que en todo momento dichos datos sean
correctos, sin repeticiones innecesarias, datos perdidos y relaciones mal
resueltas.