-
R e s u m e n
A b s t r a c t
Fecha de recepcin 16-05-05Fecha de aceptacin 06-06-05
523
EDUC
ERE
Ar
tcu
los
arbi
trad
os
ISSN
: 131
6 - 49
10
Ao 9
, N 3
1 o
ctubr
e - no
viemb
re - d
iciem
bre
2005
523
- 530
Dossier sobre evaluacin
La evaluacin de un curso en lnea es un proceso complejo que
demanda el uso de recursos talescomo personas, herramientas, mtodos
y tiempo que deben ser planeados, controlados y gestionadosde la
mejor manera buscando asegurar la eficiencia y efectividad del
proceso de evaluacin. En estetrabajo, se presenta un mtodo de
evaluacin integral que permite evaluar cursos en lnea
desdediferentes puntos de vista o perspectivas, los cuales son
establecidos durante el proceso mismo deevaluacin. La principal
contribucin del mtodo al proceso de enseanza aprendizaje, es que
proveeun marco general de evaluacin que puede ser adaptado a los
requerimientos particulares del curso enlnea que se desea evaluar.
Dos caractersticas relevantes del mtodo, son: (a) su flexibilidad
paraincorporar diferentes criterios de evaluacin y evaluar
diferentes aspectos de los cursos en lnea y (b)su slida
fundamentacin metodolgica, la cual descansa en conceptos,
principios y modelos empleadosen la Ingeniera de Mtodos y la
Ingeniera de Software.
Palabras clave: evaluacin de cursos en lnea, evaluacin de
software educativo, sitios Webinstruccionales
HOW TO EVALUATE ONLINE COURSES.
Online courses evaluation is a complex process demanding the use
of resources such as people,tools, methods, and time that have to
be planned, controlled, and managed the best way possible;looking
to ensure efficiency and effectiveness in the evaluation process.
An integral evaluationmethod that allows evaluating online courses
from different points of view or perspectives is presentedin this
paper. Such views and perspectives are established during the
evaluation process itself. Themain contribution of this method to
the teaching-learning process is that it provides a
generalevaluation frame that can be adapted to the particular
requirements of the online course underevaluation. Two relevant
characteristics of this method are: (a) its flexibility to
incorporate differentevaluation criteria and to evaluate different
aspects of online courses and (b) its solid methodologicalbasis
which lays on concepts, principles, and models used in method and
software engineering.
Key words: online courses evaluation, educational software
evaluation, instructional Web sites.
CMO EVALUAR CURSOS EN LNEA
BEATRIZ [email protected] [email protected]
[email protected] de Los Andes.Mrida, Edo.
MridaVenezuela.
-
A r t c u l o s
524
n curso en lnea se fundamenta en un procesode
enseanza-aprendizaje de tipo interactivo,en el que el estudiante
tiene la posibilidad deinteractuar o comunicarse, a travs de
Internet,
con el contenido, con el profesor o facilitador y con losdems
participantes del curso, por medio de lasasignaciones, charlas,
debates, exmenes, pruebas cortas,y otros dispositivos que puedan
tomar el lugar de un libro,una unidad o un captulo del material.
Los cursos en lneason utilizados tanto en programas educativos a
distanciacomo presenciales.
En la actualidad, la mayora de cursos en lnea empleanun entorno
o ambiente de enseanza-aprendizaje basadoen la tecnologa web,
denominado sitio web instruccionalo, simplemente, sitio
instruccional. Definimos el sitioinstruccional como el ambiente
interactivo de enseanza-aprendizaje que integra a todos los dems
elementos quecomponen el curso en lnea: facilitadores, estudiantes,
plande estudio y dems recursos didcticos y herramientas
decomunicacin. El proceso enseanza-aprendizaje se dausando el sitio
instruccional como medio fundamental deinteraccin y
comunicacin.
La evaluacin de un curso en lnea no debeconfundirse con la
evaluacin del estudiante. Esta ltimaes parte inherente del proceso
enseanza-aprendizaje y seorienta a medir el grado de aprendizaje
del estudiante;mientras que la primera persigue calificar el curso
en lneacomo un todo, a fin de establecer el grado en que el
cursocumple con sus objetivos.
Durante los ltimos aos, la evaluacin de cursos enlnea ha captado
la atencin de varios educadores einvestigadores (ver, por ejemplo,
Daz, S., (2004), Greer, T.,Holinga, D., Kindel, C., y Netznik, M.,
(2002), Grassian, E.,(2000), Graham, Ch. et al., (2001), Henke, H.,
(2001), Leighton,H. y Garca, F., (2003), Rubio, M. J., (2003),
Learning &Teaching Development Unit (2003) y Wright, C. R.,
(2004)).La mayora de estos trabajos se centran en la definicin
deprincipios y criterios para la evaluacin de cursos en
lnea.Ampliamente conocido es el trabajo de Graham et al. (2001),el
cual establece un conjunto de siete principios que sirvende gua
para la evaluacin de cursos en lnea. La utilizacinde estos
principios para establecer los aspectos que sequieren evaluar en un
curso en lnea se ilustran en Learning& Teaching Development
Unit (2003). De manera similar,los trabajos de Grassian (2000) y
Henke (1997) proveen unaBe
atri
z Sa
ndia
, Jo
ns
Mon
tilv
a y
Judi
th B
arri
os: C
mo e
valua
r cur
sos e
n lne
a
lista de puntos de chequeo y errores frecuentes que
debenevitarse durante el diseo del sitio instruccionales. Greer
etal. (2002) describen un conjunto de mtodos de evaluacinde sitios
instruccionales, que incluyen mtodos personales,mtodos informales y
tcnicas formales. Los mtodospersonales e informales se concentran
en el contenido delos sitios instruccionales; mientras que los
mtodosformales, definen un proceso para la evaluacin poco
flexibleen cuanto a qu evaluar, pues, no van ms all de proponerel
uso de listas de chequeo predefinidas. Ninguno de losmtodos
consultados en la literatura permite que elevaluador pueda definir
sus propios criterios de evaluacincon base en los objetivos que
l/ella, o la institucin a lacual l/ella pertenece, persigue en la
evaluacin de un cursoen lnea y/o el sitio instruccional.
En este artculo se presenta un mtodo para laevaluacin de cursos
en lnea. El aspecto ms relevante deeste mtodo es su flexibilidad
pues, permite que losevaluadores puedan definir criterios propios
de evaluacincon base en diferentes perspectivas o puntos de
vistadurante la evaluacin. El mtodo provee un modelo deproceso de
evaluacin, que prescribe lo que un grupo deevaluacin debe hacer
para evaluar un curso en lnea.
El artculo est organizado de la siguiente manera. Enla seccin 2,
se presenta el marco metodolgico y conceptualque fue empleado para
elaborar el mtodo. En la seccin 3,se describe la estructura del
mtodo, es decir, suscomponentes. Estos componentes se detallan en
lassecciones 4-6. Finalmente, en la seccin 7 se dan lasconclusiones
sobre las caractersticas del mtodo y lasrecomendaciones para
trabajos futuros.
E l p r o c e s o d e e v a l u a c i n d e p r o d u c t o
sinstruccionales
La evaluacin de un producto instruccional es unproceso que
permite acopiar y analizar informacin relevantepara emitir juicios
de valor sobre el producto. Los juicios seutilizan para reconducir,
si fuese necesario, las situacioneso aspectos del producto que
puedan mejorarse; para tomardecisiones sobre la calificacin y/o
certificacin delproducto; para mejorar la efectividad del
productoinstruccional en un proceso de enseanza-aprendizaje.
Montilva, Barrios y Sandia (2002) proponen un marcometodolgico
para la evaluacin de productosinstruccionales que emplea principios
y modelos de laIngeniera de Mtodos (Barrios, 2001). Uno de los
aspectosms relevantes de este marco metodolgico es suadaptabilidad
a las caractersticas fundamentales delproducto que se desea
evaluar. En este sentido, el mtodofacilita la evaluacin de un
producto desde mltiples
u
-
A r t c u l o s
525
Figura 1. Evaluacin de un producto instruccional (adaptado
deMontilva, Barrios y Sandia, 2002)
Estructura del mtodo de evaluacin
El mtodo de evaluacin propuesto fue elaboradoconsiderando las
pautas establecidas en el marcometodolgico sealado en la seccin
anterior. Este mtodoest compuesto por tres elementos: un modelo
conceptualde cursos en lnea, un proceso de evaluacin y un modelode
organizacin del grupo de evaluacin.
El modelo conceptual de cursos en lnea representalos objetos que
generalmente estn presentes en los cursosen lnea; modela, por
consiguiente, todos aquellosconceptos genricos que forman parte de
cualquier cursoen lnea. El proceso de evaluacin define las fases
y
actividades que el grupo de evaluacin debe realizar paraevaluar
un curso en lnea. El modelo de organizacin sugiereuna manera de
estructurar el equipo de personas queparticipan en el proceso de
evaluacin definiendo sus rolesy responsabilidades. Cada uno de
estos tres elementos sedescribe detalladamente en las siguientes
secciones.
Los componentes de un curso en lnea
En un estudio hecho por la LTSA (LearningTechnology System
Architecture) (Farance F. y Tonkel J.,2001), se ha establecido que
un entorno de aprendizaje enlnea debe constar de tres ambientes o
subsistemas: elambiente de aprendizaje, el administrativo y el de
produccinde recursos educativos. El primero est conformado por elo
los aprendices, el facilitador (profesor, tutor, auxiliardocente o
sistema experto), el contenido del curso, el procesode evaluacin
(exmenes y actividades varias), el mediopara transmitir el
contenido educativo y las herramientasde comunicacin. El subsistema
administrativo estintegrado por una herramienta de gestin del
proceso deenseanza-aprendizaje y el administrador de los
recursoshumanos, educativos, tecnolgicos. El subsistema deproduccin
est compuesto por los diseadores y creadoresde los contenidos
educativos y las herramientas y mediosnecesarios para la produccin
y uso de dichos contenidos.Estos tres subsistemas se nutren de una
base de datoscontentiva de los recursos educativos y de otra con
elhistorial del aprendiz (perfil y evaluaciones del aprendiz).
En este artculo se propone una manera alternativa decaracterizar
los cursos en lnea, esto es a travs de ladefinicin de los objetos
que lo integran y de las relacionesque se establecen entre estos
objetos. De esta forma,podemos concebir un curso en lnea como un
sistemaintegrado por un conjunto de tres componentes, tal comolo
seala el diagrama conceptual de la Figura 2. Estediagrama simboliza
los objetos que, generalmente, estnpresentes en un curso en lnea y
denota las relaciones degeneralizacin ( ) y composicin ( ) que
existen entre estosobjetos.
perspectivas, las cuales son determinadas por el grupo
deevaluacin (ver Figura 1). Cada perspectiva define unconjunto de
facetas de evaluacin del producto. A cadafaceta, a su vez, se le
establecen los atributos de evaluacin.A partir de los atributos, el
grupo de evaluacin disea laspreguntas que integrarn los
instrumentos de evaluacin.Este mtodo sirve de fundamento para
definir el proceso deevaluacin de un curso en lnea, propsito de
este trabajo.
Curso en lnea
Facilitadores
Estudiantes
ComponenteHumano
ComponenteInstruccional
ComponenteTecnolgico
Personal de apoyo Sitio Instruccional
Sistema de Gestin de Cursos
Herramientas de comunicacin
Gua de estudio
Material de estudio
Plan de estudios
es_un
compuesto_por compuesto_por
es_un es_un
1-N 1-N 1-N
Figura 2. Modelo conceptualde un curso en lnea ED
UCER
E
Art
culo
s ar
bitr
ados
IS
SN: 1
316 -
4910
A
o 9, N
31
octu
bre -
novie
mbre
- dici
embr
e 20
05 5
23 - 5
30
-
A r t c u l o s
526
El componente humano incluye facilitadores,estudiantes y
personal que provee apoyo en la elaboracinde los componentes
instruccionales o en el desarrollo ymantenimiento de los
componentes tecnolgicos (p. ej.,administradores de sitios
instruccionales, diseadoresinstruccionales, etc.). El plan de
estudios, el materialinstruccional y la gua de estudios constituyen
losprincipales componentes instruccionales del curso. La guade
estudio, en particular, incluye los contenidos del curso ydescribe
el conjunto de actividades de aprendizaje que losestudiantes deben
realizar (p. ej., auto evaluacin, lecturas,videoconferencias,
etc.).
El sitio instruccional es el medio utilizado por elcomponente
humano para comunicarse entre s y parainteractuar con los elementos
del componente instruccional.El sitio instruccional implementa los
tres componentesinstruccionales como una coleccin de pginas
webentrelazadas y facilita la interaccin entre los
componenteshumanos a travs de las herramientas de
comunicacin.Finalmente, el sistema de gestin de cursos es el
softwareque permite al componente humano el desarrollo, uso
ymantenimiento del sitio instruccional. Un elementoimportante que
no est representado en la Figura 2, peroque no deja de ser
esencial, es el contexto del curso enlnea. Todo curso en lnea
existe en un contexto educativodeterminado; por ejemplo,
unainstitucin, un programa de estudiosformales o un programa
deadiestramiento profesional.
El proceso de evaluacin deun curso en lnea
A travs de un proceso de adaptacin del marcometodolgico descrito
en la seccin 2, se estableci elproceso de evaluacin de cursos en
lnea, el cual se resumea continuacin:
Fase 1. Anlisis del curso en lneaEl propsito de esta fase es
lograr un entendimiento
del curso en lnea antes de iniciar su evaluacin. El anlisisdel
curso en lnea es crucial para entender el alcance ypropsito de la
evaluacin. El modelo conceptual de la Figura2 se utiliza, en esta
fase, para alcanzar este propsito. Lospasos que se proponen para
este anlisis son los siguientes:
1. Identificar el contexto del curso en lnea. Consiste
enestablecer la ubicacin del curso dentro de un plan deestudios y
en el contexto de la institucin responsable desu dictado.
2. Analizar el curso en lnea. Identificar y analizar
losdiferentes componentes del curso en lnea; as como el temadel
curso, su contenido, sus objetivos de aprendizaje y sus
actividades. El anlisis de estos aspectos se hace en funcinde
los objetivos de la evaluacin que se planteen.
3. Identificar los componentes del sitio web del curso enlnea.
Consiste en determinar los componentes de softwareque integran el
sitio web. Ejemplo de componentes: gua deestudio web, herramientas
de comunicacin, sistema degestin de cursos en lnea, herramientas
para la evaluacindel estudiante, base de datos, entre otros.
4. Identificar las perspectivas de evaluacin. Unaperspectiva de
evaluacin es un punto de vista o posicindesde la cual el grupo de
evaluacin calificar el curso enlnea. La determinacin de las
perspectivas depende de losobjetivos que se persigan en la
evaluacin. Algunas de lasperspectivas desde las cuales se puede
evaluar un cursoen lnea son: Instruccional, Tecnolgica, Factor de
Uso,Funcional, Estructural y Estndares de Sitios Web,
entreotras.
Fase 2. Definicin de los requisitos de laevaluacin
La finalidad de esta fase es descubrir y describir losobjetivos
y requisitos de la evaluacin del curso. Los pasosque se deben
ejecutar son:
1. Definir los objetivos de la evaluacin. Permite establecerel
alcance, propsitos y beneficiarios de la evaluacin.
2. Definir el enfoque u orientacin a aplicar en el procesode
evaluacin. Consiste en seleccionar las teoras, estilosy principios
que se desean emplear como filosofa de laevaluacin.
3. Establecer el tipo de evaluacin. Esto es, determinar sise har
una evaluacin exploratoria, comparativa, etc.
4. Definir los requisitos de la evaluacin. Consiste enestablecer
las perspectivas, facetas y atributos que seaplicarn para evaluar
el curso. De acuerdo con los objetivosde evaluacin establecidos, se
definen las diferentesperspectivas desde las cuales se desea
evaluar el curso.Para cada perspectiva, se definen los aspectos del
cursoque son relevantes a los objetivos de la evaluacin, a
estoselementos los llamaremos facetas. Un ejemplo de las facetasque
se podran contemplar para la perspectivaInstruccional es: el
contenido del curso, los recursosdidcticos y el instructor. Una
faceta est compuesta poruna coleccin de atributos. Cada atributo
describe unapropiedad particular o caracterstica del curso que el
grupode evaluacin ha decidido calificar. Por ejemplo, dentro dela
faceta Instructor dos atributos a calificar podran sergrado de
interaccin con los estudiantes y dominio dela temtica del
curso.
5. Definir las restricciones o limitaciones que existen parala
evaluacin. Se establecen los recursos humanos,Be
atri
z Sa
ndia
, Jo
ns
Mon
tilv
a y
Judi
th B
arri
os: C
mo e
valua
r cur
sos e
n lne
a
-
tecnolgicos, financieros y de tiempo que estn disponiblespara
llevar adelante la evaluacin.
6. Determinar los tipos de evaluadores. Los evaluadoresson todas
aquellas personas que evaluarn el curso a travsdel llenado de los
instrumentos de medida. Generalmente,los tipos de evaluadores son:
estudiantes, facilitadores,diseadores instruccionales, diseadores
web yadministradores del sitio.
Fase 3. Diseo del instrumento de medidaEn esta fase, se disean
los instrumentos de
evaluacin que sern aplicados por los evaluadores con lafinalidad
de obtener los datos para la valoracin del cursoen lnea. Los pasos
que se proponen son los siguientes:
1. Definir la cantidad de instrumentos a ser utilizados.
Enprincipio, se sugiere disear un instrumento por evaluacin.Sin
embargo, si el nmero de facetas y atributos que sedesean evaluar
crece significativamente, es msconveniente disear un instrumento
para cada perspectiva.Otro criterio que puede emplearse es disear
un instrumentopara cada tipo de evaluador.
2. Disear el contenido del o de los instrumentos de medida.Este
paso consiste en formular los elementos y preguntasasociadas a cada
uno de los atributos. Por ejemplo, dospreguntas asociadas al
atributo grado de interaccin conlos estudiantes podran ser: Qu tan
frecuente es la interaccin del instructor con los
estudiantes? y Qu modalidad de interaccin instructor-estudiante
se
emple, en el curso, con mayor regularidad?
3. Seleccionar la modalidad para captura de datos. Conbase en
los requisitos establecidos y los tipos de preguntasque se deseen
realizar, se establece la modalidad mediantela cual sern capturadas
las respuestas o la informacinprovista por los evaluadores del
curso. Por ejemplo,cuestionarios cerrados o abiertos, entrevistas,
formulariosen lnea, etc.
4. Diseo de la estructura del instrumento de medida.
Estardeterminado por el enfoque de evaluacin, la modalidad
decaptura de datos y, de alguna forma, el medio utilizado parasu
difusin. Es importante dotar al mismo de una especie deinstructivo
y aclaratorias (cuando sean necesarias) para sullenado.
5. Determinar caractersticas y elementos de las preguntas.Para
cada pregunta se establecen: su propsito, la escalade valoracin u
opciones de respuestas, manera de realizarla puntacin, el peso de
opciones en las preguntas cerradas,el indicativo de importancia o
relevancia dentro de lapregunta, etc.
6. Determinar las tcnicas para analizar los datos deevaluacin.
Se define la tcnica a ser utilizada para estudiarlos datos
obtenidos en la evaluacin. Por ejemplo,clasificacin utilizando
categoras predefinidas, clasificacinutilizando categoras que
emergen del estudio del dato,estadstica descriptiva, estadstica
analtica, narrativareflexiva, entre otras.
7. Determinar el tamao del instrumento y el tiempoestimado de
ejecucin. Se determina el nmero de preguntaso elementos de que
consta el instrumento y se estima cuntotiempo le llevara al
evaluador contestar las preguntas de ode los instrumentos.
8. Estimar el tamao de la muestra de evaluadores. Deacuerdo al
enfoque a utilizar, se determinar el tamao de lamuestra ideal para
que el anlisis de los datos tenga validez.
9. Determinar cmo sern presentados los resultados dela
evaluacin. Depender del propsito y a quines vandirigidos estos
resultados. Algunas formas son: sumarioejecutivo, evaluacin
narrativa, presentacin oral, reportede resultados, tablas o
grficos, hojas de clculo, entre otros.
Fase 4. Produccin del instrumento de medidaLos pasos propuestos
para esta fase son los
siguientes:
1. Determinar el medio y formato de presentacin de
losinstrumentos de medida. El medio puede ser un formularioy su
formato puede ser impreso o electrnico. El formato depresentacin
electrnica predominante es a travs de unapgina web.
2. Elaborar el o los instrumentos de medida. Estosinstrumentos
se elaboran de acuerdo a las especificacionesde diseo establecidas
en la fase anterior.
3. Elaborar instrucciones para administrar la(s)prueba(s). Estas
instrucciones indican cmo se lleva(n) acabo la(s) prueba(s), cundo
sern administradas y quinesconducirn dichas pruebas. Una prueba es
el procesomediante el cual los evaluadores califican el sitio
utilizandolos instrumentos de medicin.
Fase 5. Administracin de la(s) prueba(s)Es el momento en el cual
la evaluacin es conducida o
aplicada. Consiste en:
1. Seleccionar los evaluadores. Para cada tipo de evaluador,se
determina quienes participarn en la(s) prueba(s).Algunos tipos de
evaluadores empleados, generalmente,en la administracin de las
pruebas son: los estudiantes delcurso, facilitadores de otros
cursos, personal de apoyotcnico y especialistas contratados para
este propsito.
A r t c u l o s
527
EDUC
ERE
Ar
tcu
los
arbi
trad
os
ISSN
: 131
6 - 49
10
Ao 9
, N 3
1 o
ctubr
e - no
viemb
re - d
iciem
bre
2005
523
- 530
-
2. Adiestrar u orientar a los evaluadores en el uso
delinstrumento. Si es posible, se imparte un adiestramiento ose dan
instrucciones a los evaluadores antes de iniciar laspruebas. Es
recomendable realizar unas instrucciones parael llenado del
instrumento lo ms explicitas posible, dadoque pueden haber casos en
los que los evaluadores nopuedan recibir un adiestramiento
previo.
3. Conducir la prueba siguiendo la modalidadseleccionada.
Fase 6. Anlisis de los datosConsiste en analizar los datos de
evaluacin obtenidos
por medio del o de los instrumentos de medida y reportarlos
resultados. Los pasos de esta fase dependen del enfoquey tipo de
evaluacin que se hayan seleccionado durante laFase 2. Las encuestas
o instrumentos se procesan manualo automticamente para obtener los
totales asociados acada pregunta del instrumento. Estos totales
son, luego,
analizados y resumidos para obtener indicadores msprecisos de
las diferentes facetas o caractersticas del cursoque fueron
evaluadas. Si bien el proceso descritoanteriormente puede ser
conducido sin el apoyo deherramientas automatizadas, el uso de
ellas es altamenterecomendable. Mediante su uso se facilita la
ejecucin demuchos de los pasos descritos en el
mtodo,particularmente, aquellos vinculadas al diseo de
losinstrumentos, a la conduccin de las pruebas y alprocesamiento de
las encuestas. Una herramienta elaboradapara este propsito se
describe en Prez, D., Sandia, B. yMontilva, J. (2004).
En la tabla 1, se presenta un cuadro resumen delproceso de
evaluacin propuesto, en el cual se sealan lasactividades, los
productos obtenidos y los miembros delgrupo de evaluacin que
participan y/o son responsablesde cada una de las fases. Los roles
y responsabilidades delos miembros de este grupo estn definidos en
la seccin 6.
A r t c u l o s
528
Fase
Anlisis delcurso en lnea
Definicin delos requisitosde laevaluacin
Diseo delinstrumento demedida
Produccin delinstrumento demedida
Administracinde la(s)prueba(s)
Anlisis de losdatos
Produccin delinforme final deevaluacin
Actividades
1. Identificar el contexto del curso en lnea2. Analizar el curso
en lnea3. Identificar los componentes del sitio web del curso en
lnea4. Identificar las perspectivas de evaluacin
1. Definir los objetivos de la evaluacin2. Definir el enfoque u
orientacin a aplicar en el proceso de evaluacin3. Establecer el
tipo de evaluacin4. Definir los requisitos de la evaluacin5.
Definir las restricciones o limitaciones que existen para la
evaluacin6. Determinar los tipos de evaluadores
1. Definir la cantidad de instrumentos a ser utilizados2. Disear
el contenido del o de los instrumentos de medida3. Seleccionar la
modalidad para captura de datos4. Diseo de la estructura del
instrumento de medida5. Determinar caractersticas y elementos de
las preguntas6. Determinar las tcnicas para analizar los datos de
evaluacin7. Determinar el tamao del instrumento y el tiempo
estimado de ejecucin8. Estimar el tamao de la muestra de
evaluadores9. Determinar cmo sern presentados los resultados de la
evaluacin
1. Determinar el medio y formato de presentacin de los
instrumentos de medida2. Elaborar el o los instrumentos de medida3.
Elaborar instrucciones para administrar la(s) prueba(s)
1. Seleccionar los evaluadores2. Adiestrar u orientar a los
evaluadores en el uso del instrumento3. Conducir las pruebas
siguiendo la modalidad seleccionada
1. Definir modo de procesamiento de los instrumentos aplicados2.
Procesar los instrumentos segn enfoque y tipo de evaluacin
seleccionado3. Analizar resultados del procesamiento atendiendo a
los indicadores definidosen la fase 24. Resumir resultados5.
Presentar resultados segn formato pre-establecido en fase 3
1. Identificar fortalezas y debilidades del curso en lnea
evaluado2. Elaborar informe final
Productos
Perspectivas deevaluacin
.Objetivos deevaluacinRequisitos delproceso deevaluacinPerfil
del evaluador
Formato de losinstrumentos deevaluacin:Tipo,
contenido,estructura,componentes,Formato depresentacin.
Instrumento deevaluacinInstructivo deaplicacin de
laevaluacin
Pruebas realizadas
Resultados de laevaluacin
Informe final deevaluacin
Grupode Evaluacin
LderDiseadores
Diseadores
Diseadores
Diseadores
AdministradorEvaluadores
AdministradorLder
DiseadoresLder
#
1
2
3.
4
5
6
7
Tabla 1. Cuadro resumen del proceso de evaluacin
Beat
riz
Sand
ia,
Jon
s M
onti
lva
y Ju
dith
Bar
rios
: Cm
o eva
luar c
urso
s en l
nea
-
A r t c u l o s
529
Cmo organizar el grupo de evaluacin
El proceso de evaluacin demandala participacin de un conjunto de
actoresque denominamos grupo de evaluacin.Este grupo est integrado
por variosactores cuyos roles o responsabilidadesse indican a
continuacin.
El lder de la evaluacin.- Es elresponsable de la
planificacin,organizacin, direccin, supervisin ycontrol del proceso
completo deevaluacin. Estas actividades pertenecenal proceso de
Administracin y gestin delproceso de evaluacin, definida
enMontilva, Barrios y Sandia (2002). El lderser tambin el
responsable de analizar losdatos derivados del proceso deevaluacin,
y de producir el informe finalcorrespondiente, con las conclusiones
yrecomendaciones.
Los diseadores de la evaluacin.- Son losencargados de la
definicin de los requisitos, del diseodel instrumento de evaluacin
y de la produccin de estosinstrumentos. Adems, son los encargados
de identificarlas fortalezas y debilidades del sitio web del curso
en lnea,a partir del reporte de resultados del proceso de
evaluacin.Luego producen el informe final en conjunto con el
lder.
El administrador.- Es el encargado de conducir laprueba y
analizar los datos obtenidos durante laadministracin de la
evaluacin. Se encarga de procesar losdatos recogidos con el
instrumento de medida.
Los evaluadores.- Es un grupo de personas integradopor usuarios,
estudiantes, instructores, diseadoresinstruccionales, etc., que
utilizarn el instrumento deevaluacin para calificar el producto
instruccional. Estegrupo es seleccionado, generalmente, mediante un
procesode muestreo.
Conclusiones
Este artculo propone un mtodo general para evaluarcursos en
lnea. Los cursos en lnea son productosinstruccionales que requieren
ser evaluados desdediferentes perspectivas o criterios, los cuales
cubren desdelas caractersticas del proceso enseanza-aprendizaje
parael cual el producto ha sido elaborado, hasta las tecnologasde
informacin y comunicacin que lo soportan.
El mtodo propuesto tiene doscaractersticas especiales que
lodistinguen: (1) su flexibilidad paraincorporar diferentes
criterios deevaluacin y evaluar diferentesaspectos de un curso en
lnea y, (2) suslida fundamentacin metodolgica,la cual descansa en
conceptos,principios y modelos empleados en laIngeniera de Mtodos y
en laIngeniera de Software.
Este mtodo est compuesto portres elementos: (a) un modelo de
cursosen lnea, que establece lascaractersticas generales y
loscomponentes de los cursos en lnea;(b) un proceso de evaluacin,
quedescribe las fases, pasos y actividadesque el grupo de evaluacin
debe seguir
para evaluar un curso en lnea; y, (c) un modelo deorganizacin
del grupo de evaluacin que sugiere unamanera de estructurar el
equipo de personas que participanen la evaluacin, definiendo sus
roles y responsabilidades.
La principal contribucin de este mtodo al procesode
enseanza-aprendizaje es que provee un marco generalde evaluacin que
puede ser adaptado a los requerimientosespeciales del curso en lnea
a ser evaluado. Debido a suscaractersticas de generalidad,
adaptabilidad y flexibilidad,el mtodo permite que los evaluadores
puedan definir suspropios criterios de evaluacin sobre la base de
diferentesperspectivas o puntos de vista que ellos asumen durante
laevaluacin.
Cabe destacar que el proceso de adaptacin delmtodo propuesto,
que consiste en la definicin deperspectivas, facetas y atributos
segn los objetivos ycaractersticas particulares del producto que se
deseaevaluar, es fuertemente dependiente de la experiencia y
lacapacidad que tiene el grupo de trabajo en la definicin delas
necesidades de evaluacin. Por lo tanto, nuestro trabajofuturo estar
orientado hacia la extensin del mtodo conestrategias y lineamientos
que orienten y ayuden, a losevaluadores, tanto en el proceso de
caracterizacin de lasnecesidades de evaluacin que deben ser
satisfechas, comoen el proceso de traduccin y especificacin de
talesnecesidades en perspectivas, facetas y atributos a medirdentro
de un proceso de evaluacin particular.
EDUC
ERE
Ar
tcu
los
arbi
trad
os
ISSN
: 131
6 - 49
10
Ao 9
, N 3
1 o
ctubr
e - no
viemb
re - d
iciem
bre
2005
523
- 530
-
A r t c u l o s
530
Barrios, J. (2001). Une Mthode pour la Dfinition de lImpact
Organisationnel du Changement. Tesis Doctoral. University of Paris
I. Pars,Francia.
Daz, S. (2004). Un mtodo para evaluar la efectividad de los
cursos de postgrado en lnea en universidades venezolanas. Tesis
demaestra. Universidad Nacional Experimental Simn Rodrguez. Maestra
en Tecnologa y Diseo Educativo. Venezuela.
Farance F. y Tonkel J., (2001). IEEE P1484.1/D8 Standard for
Learning Technology Systems Architecture (LTSA). Recuperado el 12
deabril de 2005 en http://edutool.com/ltsa/
Graham Charles et al. (2001). Seven Principles of Effective
Teaching: A Practical Lens for Evaluating Online Courses. The
TechnologySource. March/April. Recuperado el 15 de abril de 2005 en
http://ts.mivu.org/
Grassian, E. (2000). Thinking Critically about Discipline-Based
World Wide Web Resources. University of California. Los Angeles.
UCLACollege Library. Recuperado el 10 de abril de 2005 en
http://www.library.ucla.edu/libraries/college/help/critical/discipline.htmGreer,
T., Holinga, D., Kindel, C., y Netznik, M. (2002). An Educators
Guide to Credibility and Web Evaluation. University of Illinois /
Urbana-
Champaign. Recuperado el 25 de marzo de 2005 en
http://lrs.ed.uiuc.edu/wp/credibility/index.htmlHenke, H. (2001).
Evaluating Web-Based Instructional Design. Chartula Press.
Recuperado el 12 de abril de 2005 en http://www.chartula.com/
evalwbi.pdfLearning & Teaching Development Unit (2003).
Evaluating online courses using SELT. The University of Adelaide.
Australia. Recuperado el
25 de marzo de 2005 en
http://www.adelaide.edu.au/ltdu/staff/evaluation/eval_online.htmlLeighton,
H. y Garca, F. (2003). Calidad en los Sitios Web Educativos.
Informe Tcnico. Departamento de Informtica y Automtica.
Universidad de Salamanca. Noviembre 2003.Montilva, J., Barrios,
J. y Sandia, B. (2002). A Method Engineering Approach to Evaluate
Instructional Products. Actas de la XXVIII
Conferencia Latinoamericana de Informtica CLEI2002. Montevideo,
Uruguay, Noviembre.Object Management Group (2004). Unified Modeling
Language (UML) Recuperado el 20 de marzo de 2005.
http://www.omg.org/umlPrez, D., Sandia, B. y Montilva, J. (2004).
Diseo de una herramienta de software para evaluar sitios web
instruccionales. I Congreso
Ibero-Amaznico de Tecnologa Educacional y Educacin a Distancia,
Manaos, Brazil, Octubre.Rubio, M. J. (2003). Enfoques y modelos de
evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.
Recuperado el 10 de abril de 2005
en http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmWright, C. R.
(2004) Criteria for Evaluating the Quality of Online Courses. Grant
MacEwan College. Instructional Media and Design, Alberta,
Canada. Recuperado el 10 de abril de 2005 en
http://www.imd.macewan.ca/imd/content.php?contentid=36
B i b l i o g r a f a
Beat
riz
Sand
ia,
Jon
s M
onti
lva
y Ju
dith
Bar
rios
: Cm
o eva
luar c
urso
s en l
nea
A l o s d o c e n t e s d e l a m o d a l i d a d d e E d u c a
c i n E s p e c i a l yE d u c a c i n E s p e c i a l yE d u c a c
i n E s p e c i a l yE d u c a c i n E s p e c i a l yE d u c a c i
n E s p e c i a l ye s t u d i a n t e s u n i v e r s i t a r i o
s d e p r e g r a d o y p o s t g r a d oe s t u d i a n t e s u n
i v e r s i t a r i o s d e p r e g r a d o y p o s t g r a d oe s
t u d i a n t e s u n i v e r s i t a r i o s d e p r e g r a d o y
p o s t g r a d oe s t u d i a n t e s u n i v e r s i t a r i o s
d e p r e g r a d o y p o s t g r a d oe s t u d i a n t e s u n i
v e r s i t a r i o s d e p r e g r a d o y p o s t g r a d ode
carreras docentes vinculados a esta realidad educativa
Adquiralos en nuestros 80 puntos deventa en el pas o solictelos
por el
telfono: 0274-2401870, e-mail:[email protected].
AVISO
PRECIO PROMOCIONAL Bs. 12.000
