Embed Size (px)
Citation preview
Marco de Referencia para evaluar la calidad de si2os Open Course Ware (OCW) mediante
atributos de calidad Actas Cisti 2015 Pág. 835
Agenda
1. Tendencia Abierto en Educación 2. Problema y propuesta de solución 3. Marco Conceptual – Insumos 4. Marco de valoración de calidad basada en atributos
propuesto 5. Implementación del marco de evaluación 6. Conclusiones 7. Bibliografía
Tendencia Open en Educación Año Aporte 1994 Objetos de Aprendizaje (OA) - Wayne Hodgins 1998 Recursos Educativos Abiertos (REA) 2002 Open Course Ware (OCW) – MIT
Foro UNESCO impacto REA en la Educación 2004 Open Course Ware Consortium (OCWC) – MIT y otras
universidades 2008 Massive Open Online Courses (MOOC) 2012 Foro UNESCO 10 años REA
Declaración de París sobre REA: literal e) Apoyar a las instituciones, formar y motivar a los profesores y demás personal para que produzcan e intercambien materiales educativos accesibles y de alta calidad
Problema y propuesta de solución
¿Cómo valorar la calidad de un REA? ¿Cuál es el REA más adecuado? ¿Cuál es el mejor REA? El presente trabajo propone un marco de referencia para evaluar la calidad de sitios OCW basado en atributos, fundamentado en estándares y modelos de calidad de software.
Marco conceptual 1. Propuestas de evaluación y aseguramiento de calidad para OER 2. Calidad basada en atributos – IEEE 1061 3. Metodología de evaluación de calidad basada en atributos – Web-QEM
1. Planificación y Programación de la Evaluación de Calidad. 2. Definición y Especificación de Requerimientos de Calidad. 3. Definición e Implementación de la Evaluación Elemental. 4. Definición e Implementación de la Evaluación Global. 5. Análisis de Resultados, Conclusión y Documentación. 6. Validación de Métricas (no mostrada en la figura).
Marco de referencia propuesto
FASE1: Definir el dominio y ente para la Evaluación de la Calidad
Para el contexto de OCW el dominio de aplicación es una muestra de sitios que proveen REA tipo OCW. El ente es el sitio web donde se publican (IS es un recurso, no un proceso, no un artefacto)
FASE 2: Definir Metas de Evaluación y seleccionar el Perfil de Usuario
La meta de evaluación propuesta es: Obtener una valoración cuantitativa de la calidad global de un sitio OCW basada en características y atributos definidos desde el punto de vista del visitante (ISO/IEC 9126 visitantes, desarrolladores, gerenciadores)
Marco de referencia propuesto FASE 3: Especificar Requerimientos de Calidad para artefactos Web
Características de un conjunto prescrito, esto es, a partir de la medición directa de un conjunto de atributos. Las 4 características de significativa importancia para sitios de instituciones educativas según (Olsina & Rossi, 2002) son: usabilidad, funcionalidad, confiabilidad y eficiencia. • Usabilidad: conjunto de atributos que confieren el esfuerzo
necesario para su uso. • Funcionalidad: atributos que influyen en la existencia de un
conjunto de funciones y sus propiedades especificadas. • Confiabilidad: conjunto de atributos que le confieren la capacidad
para mantener su nivel de rendimiento. • Eficiencia: agrupación de atributos que influyen en la relación entre
el nivel de rendimiento del software y la cantidad de recursos utilizados, bajo las condiciones establecidas.
Marco de referencia propuesto
FASE 3: Especificar Requerimientos de Calidad para artefactos Web
Cada característica se descompone en atributos y sub atributos en lo posible medibles que se codifican utilizando una tabla.
Marco de referencia propuesto
FASE 4: Definir Criterios Elementales e Implementando Procedimientos de Medición
Definir procedimientos de medición para cada uno de ellos, en lo posible una estrategia y una escala de valoración; a continuación se muestra un ejemplo para el atributo Mapa del sitio.
Título: Mapa del sitio; Código: 1.1.1; Tipo: Atributo Característica de más Alto Nivel: Usabilidad Super-característica: Organización del sitio Definición/Comentarios: Este atributo permite una navegación rápida dentro del sitio. Medición: Verificación visual del componente
Marco de referencia propuesto
FASE 5: Definir las Estructuras de Agregación e Implementando la Evaluación de Calidad Global
Accesibilidad
(0.15)Deficiencias varias (0.1)
Rendimiento(0.05)
Calidad(1)
Funcionalidad(0.3)
Usabilidad(0.3)
Confiabilidad(0.2)
Eficiencia(0.2)
Organización(0.07)
Ayuda(0.05)
Interfaces(0.07)
Estilo(0.05)
Miscelánea(0.07)
Búsqueda(0.075)
Recuperación(0.075)
Navegabilidad(0.075)
Aspectos de dominio(0.075)
Errores de enlace (0.1)
Marco de referencia propuesto
FASE 6: Analizar los Resultados Parciales y Globales Se centrará en analizar la valoración cuantitativa de la calidad obtenida por cada sitio OCW y en comparativas entre los resultados obtenidos.
Implementación del marco de evaluación
3. Medición de la calidad global y elemental cuantificando los
atributos definidos
4. Analizar los resultados
2. Definir metas de evaluación y seleccionar el perfil de
usuario
1. Definir el dominio y ente de evaluación de la calidad
Implementación del marco de evaluación PASO1: Definir el dominio y ente para la Evaluación de la Calidad
Los criterios que se tomaron para la selección de los sitios OCW a evaluar fueron: • Número de visitas: Mide la popularidad, se obtuvo el número de
visitas mensuales promedio de cada sitio utilizando la herramienta trafficestimate; Número de resultados de búsquedas en sitios google: Mide la visibilidad; se consideraron los resultados de las búsquedas en: google.com; .us; .ec; y .es.
• Número de recursos: Determina la producción; se obtuvo mediante observación directa..
• Número de citas en bases de datos científicas: Evidencia la relevancia científica en torno a OCW. Las bases de datos en las que se realizaron las búsquedas son: Google Scholar, Elsevier, Web of Knowledge, IEEE, Scopus, ACM.
Implementación del marco de evaluación PASO1: Definir el dominio y ente para la Evaluación de la Calidad
Con los datos de los criterios establecidos se obtuvo la muestra con los cinco sitios OCW institucionales con la mayor puntuación, y se agregan el sitio OCW de la Universidad Técnica Particular de Loja ya que es el sitio en donde se implementa la propuesta del marco de referencia de atributos de calidad propuestos en este documento. • Massachusetts Institute of Technology (MIT) http://ocw.mit.edu/ • Universidad Politécnica de Madrid (UPM) http://ocw.upm.es/ • Universidad Carlos III de Madrid (UC3M) http://ocw.uc3m.es/ • Delft University of Technology (TUDelft) http://ocw.tudelft.nl/ • TUFS University (TUFTS) http://ocw.tufts.edu/ • Universidad Técnica Particular de Loja (UTPL) http://ocw.utpl.edu.ec
Implementación del marco de evaluación PASO2. Definir Metas de Evaluación y seleccionar el Perfil de Usuario
La meta de evaluación propuesta es valorar y comprender la calidad global de un sitio OCW desde el punto de vista del visitante general. El perfil de usuario evaluador es de usuario visitante no registrado. Así mismo es relevante mencionar que la evaluación se focaliza esencialmente en el sitio de la iniciativa OCW como un todo, antes que de cada titulación o curso individual.
PASO 3: Medición de la Calidad global y elemental cuantificando los atributos definidos
La medición de las Fases 3, 4 y 5 en las que se definieron las características, sub características, atributos y sub atributos, los criterios elementales para su medición, así como las estructuras de agregación que permiten cuantificar la calidad de un sitio OCW, aplicando las técnicas y escalas definidas se obtiene la valoración de la calidad de cada sub atributo, atributo, sub carácterística, la sumatoria de la valoración proporcionan la cuantificación de la calidad por cada carácterística y finalmente sumadas proporciona la calidad global.
Implementación del marco de evaluación PASO 3: Medición de la Calidad global y elemental cuantificando los atributos definidos
Implementación del marco de evaluación PASO 4: Análisis de Resultados
Implementación del marco de evaluación PASO 4: Análisis de Resultados
Conclusiones Un buen número de instituciones educativas han decidió incorporar los OCW como parte de los recursos de aprendizaje, existe la necesidad de contar con recursos que aporten a los usuarios. Medir la calidad de los OCW mediante un marco de referencia desde el punto de vista de producto permite que se pueda establecer criterios de confiabilidad por parte de los usuarios de los recursos. El marco propuesto se ha utilizado en una muestra de 6 repositorios analizados permite tener una aproximación cuantitativa a la calidad de los sitios OCW, como trabajo futuro se propone incorporar otras características u atributos medibles, otro aspecto relevante sería incorporar una priorización de los atributos que ayuden a tener una mejor aproximación de los resultados; por ejemplo en el atributo de accesibilidad las sub atributos como la accesibilidad de navegadores y de dispositivos móviles.
Gracias por su atención!!
¿Preguntas?
