Transparencia Trabajo Fin de Máster

Intro. EstAr. Prop. Exp. Concl. TraFut. Bib. Lic.

Modelo de Confianza para Objetos deAprendizaje en Comunidades Virtuales

Autor: Luis Antonio Chamba ErasDirectores: Ana Arruarte

Jon Ander Elorriaga

Lugar de trabajo: Grupo Ga-Lan

Fecha: 28/09/2011

Autor: Luis Antonio Chamba Eras Directores: Ana Arruarte Jon Ander ElorriagaModelo de Confianza para Objetos de Aprendizaje en Comunidades Virtuales


Agenda

Introduccion

Estado del arte

Propuesta modelo confianza

Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa

Licencia del trabajo



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa

Licencia del trabajoAutor: Luis Antonio Chamba Eras Directores: Ana Arruarte Jon Ander ElorriagaModelo de Confianza para Objetos de Aprendizaje en Comunidades Virtuales


Introduccion

Los recursos didacticos que se utilizan dentro de un ambiente virtualson los objetos de aprendizaje (OA), que son disenados bajo criterioscomo: funcionalidad, adaptabilidad, seguridad. Estos criterios permi-ten que muchas de las comunidades virtuales de aprendizaje (CVA)utilicen estos OA. Se da el caso que algunas CVA implementan me-didas de seguridad sobre los OA con firmas o certificados digitales,en cambio otras no cuentan con ningun procedimiento que estimeun valor de confianza y reputacion de los OA. Este aspecto es im-portante en las CVA abiertas, en donde se crean espacios comunesde compartimiento de los OA que van generando los usuarios.



Introduccion - Objetivo general

• Definir un modelo de confianza para objetos de aprendizaje enlas comunidades virtuales.



Introduccion - Objetivos especıficos

• Estudiar que son las comunidades virtuales de aprendizaje.

• Investigar los modelos de confianza y reputacion existentes.

• Proponer un modelo de confianza generico para comunidadesvirtuales de aprendizaje.

• Estudiar y adaptar el modelo propuesto en un contexto educa-tivo real.



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Estado del arte

• Comunidades virtuales de aprendizaje.

• Modelos de confianza.• Comercio electronico.• Ciencias de la computacion.

• Web of Trust y LORI.



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Propuesta modelo confianza - Modelos relacionados

• “Sistema de Vigilancia Tecnologica y Agentes Inteligentes”,desarrollado como proyecto de fin de master [2].

• “Una arquitectura multi-agente y un modelo de confianza paragestionar el conocimiento en comunidades de practica”, frutode una tesis doctoral [1].



Propuesta modelo confianza - Modelos relacionados

Figura: Modelo de confianza [1]



Propuesta modelo confianza - Definicion de la solucion

Figura: Ontologıa de abstraccion de conceptos relacionados con la CVA




Figura: Representacion conceptual del modelo de confianza de las CVA




Figura: Modelo de confianza de una CVA definida por factores



Propuesta modelo confianza - Formalizacion del modelo

Representacion matematica compuesta por 6 factores:

Tij = PR ∗ Rj + PC ∗ Cj + PCDDA ∗ CDDAj + PQ ∗ Qj + PP ∗ Pij + PEP ∗ EPij (1)

en donde:

• Tij , representa la confianza que una FI (i) de la CVA tiene sobre otra FI (j).

• Rj , es el valor asignado de acuerdo al rol de la FI (j) en la CVA.

• Cj , representa el conocimiento que tiene la FI (j) sobre un dominio en particular.

• CDDAj , representa el valor de seguridad de los OA producidos por la FI (j).

• Qj , es el valor que tiene la FI (j) basandose en la evaluacion de la calidad de losOA con la herramienta LORI.

• Pij , es el presentimiento que tiene la FI (i), sobre la FI (j) en la CVA. Se calculacomparando los perfiles de i y j .

• EPij , representa la experiencia previa que la FI (i) tiene con la FI (j) dentro dela CVA.




Los pesos PR, PC , PCDDA, PQ, PP y PEP permiten controlarel valor de confianza. Estos pesos se utilizan con el fin de dar ma-yor o menor importancia a cada factor de acuerdo a los diferentesescenarios en los que las FI se pueden comportar en la CVA.




El factor experiencia previa EPij constituye como en otros modelosde confianza uno de los mas importantes para determinar la confian-za de la FI. Los demas factores del modelo dependen de la EP de laFI con otra FI, ya que en base a este factor la FI decidira si utiliza ono los demas factores de acuerdo a la cantidad de experiencia previaque tenga con la FI. La EP de nuestro modelo se calcula con lasiguiente formula:

EPij =1

n

n∑j=1

VCij (2)

en donde:

• VCij , es el conjunto de contribuciones que determinan la valoracion general de laFI hacia los OA.

• n, representa el numero de evaluaciones totales.




El factor calidad Qj que hace referencia a la utilizacion de la herra-mienta LORI para valorar cada uno de los OA, se obtiene calculandoel promedio de los valores asignados a cada una de las valoracionesrealizadas por las FI en la interaccion n:

Qj =1

n

n∑i=1

Qi (3)



Propuesta modelo confianza - Propuesta arquitectura

Figura: Propuesta de la arquitectura del modelo de confianza




Figura: Componentes del modulo personal




Figura: Componentes del modulo social



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Experimentacion

• La experimentacion tiene por objetivo el estudio en un contextoeducativo real que permita evaluar cada factor que integra elmodelo de confianza propuesto. Se plantea un escenario realde CVA combinado con un sistema de encuestas on-line. Pormedio de encuestas se recoge la opinion de los participantes deCVA sobre los OA producidos y consumidos en los espacios deaprendizaje permitiendo calcular los pesos de los parametros deacuerdo a la importancia de los factores del modelo.

• Al experimento se lo definio en dos fases de experimentacionintegradas por los sistemas web: Eqaula (comunidad virtual deaprendizaje) y LimeSurvey (encuestas on-line).



Experimentacion

• Eqaula es una CVA fundada en Ecuador por Jose Luis Granda,permite crear CVA de acceso libre, su plataforma esta basada enmoodle. Eqaula cuenta con todas las herramientas necesariaspara la creacion de espacios virtuales de aprendizaje de apoyoa la educacion.

• http://eqaula.org/eva/

• LimeSurvey es un sistema para crear encuestas electronicas,construido con herramientas de desarrollo OpenSource y multi-lingue permite definir las encuestas relacionadas con los factoresdel modelo de confianza que seran aplicadas a los estudiantesy docentes.

• http://lachamba.ec/limesurvey/


http://eqaula.org/eva/

http://lachamba.ec/limesurvey/


Experimentacion

Figura: Diseno del experimento para evaluar los factores del modelo deconfianza



Experimentacion - Configuracion del experimento

• Grupo experimental: los miembros de este grupo son consientesde que trabajaran teniendo en cuenta los 6 factores y tienen elrol de estudiante en la CVA.

• Grupo de control: los miembros de este grupo trabajaran sin serconsientes de los 6 factores y tienen el rol de estudiante en laCVA.

• Grupo de expertos: los miembros de este grupo tienen el rol demoderador en la CVA.




Parametros ValorEstudiantes 53

Expertos 7

Objetos Aprendizaje (RA y AA) 30

Total de miembros de la CVA 60

Cuadro: Parametros del grupo experimental en la CVA




• La direccion Web del espacio de aprendizaje para el grupo ex-perimental:

• http://eqaula.org/eva/course/view.php?id=1801

• El EA consta de 5 temas relacionados a la tematica de Algo-ritmos Geneticos: motivacion del curso, definiciones iniciales,estructura de algoritmos geneticos, aplicaciones de los algorit-mos geneticos y JGAP.

• El EA tiene una duracion de 20 horas. Se ha definido la actividadde foros.


http://eqaula.org/eva/course/view.php?id=1801



Se ha definido 3 tipos de encuestas:

• Evaluacion de expertos: consta de 11 preguntas y orientada alos moderadores que guıan al grupo experimental.

• Evaluacion de participantes del grupo experimental: consta de42 preguntas y al grupo experimental.

• Evaluacion de los participantes del grupo de control: consta de37 preguntas y orientada al grupo de control.




Las encuestas integrada por preguntas dicotomicas-cerradas con res-puestas de opcion multiple a escala que nos permitiran contabilizarlos resultados utilizando la aproximacion para el calculo de pesosbasados en los participantes. Cada una de las preguntas estan rela-cionadas con los factores del modelo de confianza y tienen 4 opcionesde eleccion del tipo: casi siempre, a menudo, rara vez y casi nuncao tambien del tipo: muy importante, importante, poco importantey nada importante. Una de la preguntas relacionadas con el factorcalidad cuenta con 6 opciones posibles, debido a que la herramientaLORI ası lo establece en su diseno: muy alto, alto, medio, bajo, muybajo y no aplicable (NA).




• Factor 1 (Rol): 4 preguntas

• Factor 2 (Conocimiento): 4 preguntas

• Factor 3 (Certificado-digital-derechos-autor): 4 preguntas

• Factor 4 (Calidad): 2 preguntas

• Factor 5 (Presentimiento): 2 preguntas

• Factor 6 (Experiencia Previa): 5 preguntas



Experimentacion - Aproximacion al calculo de pesos

Primera aproximacion que permitira calcular los pesos de cada factorbasado en el rol estudiante, esta aproximacion permite obtener elvalor del peso estimado en base a las respuestas obtenidas.

• PF (i) = peso del factor (i) de la formula 1 de confianza defi-nida en el modelo

• Q (i,j) = pregunta (j) sobre el factor (i)

• A (i,j,k) = alternativa de respuesta (k) a la pregunta (j) sobreel factor (i) como por ejemplo: casi siempre (1), a menudo (2),rara vez (3) y casi nunca (4), numeradas de mayor a menorgrado de valoracion

• PORA (i,j,k) = porcentaje obtenido por la alternativa (k) ala pregunta (j) sobre el factor (i)




• PA (i,j,k) = grado de importancia de la alternativa (k) de lapregunta (j) sobre el factor (i) que se esta valorando, es unvalor continuo siempre en el intervalo ]0,1], si la respuesta esno aplicable (NA) no se considerara para los calculos

• VALP (i,j,k) = es el resultado del producto del porcentaje dela respuesta obtenido PORA(i , j , k) multiplicado por el peso(PA(i , j , k)):

VALP (i,j,k) = PORA (i,j,k) ∗ PA (i,j,k) (4)




• SUMP (i,j) = es el sumatorio entre cada uno de los valoresde VALP(i , j , k), donde n es el numero de alternativas porpregunta (j) sobre el factor (i):

SUMP (i,j) =n∑

k=1

VALP(i , j , k) (5)

• MEDIASUMP (i) = es la media aritmetica de todos losSUMP(i , j), donde n es el numero de preguntas por factor (i):

MEDIASUMP (i) =

∑nj=1 SUMP(i , j)

n(6)




• PF (i) = MEDIASUMP (i)

• MEDIASUMP (i), es el valor del peso de cada uno de losfactores del modelo de confianza.



Experimentacion - Estudio contexto educativo real

• En la CVA se conto con la participacion de 7 expertos asignadosal grupo experimental.

• Participaron un total de 53 estudiantes en el grupo experimen-tal.

• En la encuesta de evaluacion al grupo experimental, participa-ron 47 estudiantes del grupo experimental de la CVA, dandonosun 88,7 % de participacion en la encuesta.

• En la encuesta de evaluacion al grupo de control, participaron6 estudiantes del grupo de control.




• La fecha de inicio de los espacios de aprendizaje en la CVA fueel 27 de junio 2011 y la fecha de finalizacion fue el 8 de julio2011, es decir, una duracion de 2 semanas en la modalidadvirtual.

• La fecha de participacion en las encuestas fue desde el 11 al 14de julio 2011 en el sistema LimeSurvey.

• El espacio de aprendizaje conto con 30 OA para ser utilizadospor los miembros de la comunidad y a partir de ellos producirotros OA.

• Al finalizar la participacion de los miembros de la CVA en elespacio de aprendizaje se obtuvieron un total de 242 OA, esdecir se crearon (242-30) = 212 OA nuevos.




• Los tipos de OA que se produjeron fueron: vıdeos, documentosen formato pdf, doc, odt y html.

• Los OA en formato digital producidos tienen una licencia Crea-tive Commons.




Factor Grupo MEDIASUM(Peso)Experiencia previa Experimental 0,82

Control 0,75

Calidad Experimental 0,82Control 0,84

Conocimiento Experimental 0,79Control 0,67

CDDA Experimental 0,77Control 0,69

Rol Experimental 0,72Control 0,79

Presentimiento Experimental 0,68Control 0,69

Cuadro: Valores de los pesos por cada factor del modelo



Experimentacion - Discusion

Los pesos de los factores de mayor a menor calculados en base algrupo experimental son los siguientes:

1. Experiencia previa y calidad

2. Conocimiento

3. Certificado-digital-derechos-autor

4. Rol

5. Presentimiento



Experimentacion - Discusion

Los pesos de los factores de mayor a menor calculados en base algrupo de control son los siguientes:

1. Calidad

2. Rol

3. Experiencia previa y

4. Certificado-digital-derechos-autor y presentimiento

5. Conocimiento



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Conclusiones

• Propuesta de un modelo de confianza para comunidades vir-tuales de aprendizaje compuesto por seis factores que permitenmedir la confianza sobre las fuentes de informacion que pro-ducen o consumen objetos de aprendizaje. Estos factores son:certificado-digital-derechos-de-autor, rol, conocimiento, calidad,presentimiento y experiencia previa.

• Estudio de los modelos de confianza existentes en comercioelectronico y en las Ciencias de la Computacion como son losbasados en Agentes Inteligentes.

• Revision bibliografica para conseguir una vision general de losconceptos de las comunidades virtuales de aprendizaje.



Conclusiones

• Propuesta de un escenario de experimentacion real de comuni-dad virtual de aprendizaje en el cual se evaluo cada uno de losfactores del modelo de confianza y que intervinieron un sistemade gestion de aprendizaje y un sistema de encuestas en lınea.

• Realizacion del diseno instruccional de un curso de Introducciona los Algoritmos Geneticos como orientacion para otros cursosque se impartan en la modalidad virtual y necesiten de trabajocolaborativo o en comunidad.

• Desarrollado de un sistema de medicion de la opinion de losparticipantes que permite evaluar los factores del modelo deconfianza, ası como el grado de satisfaccion de los participantes.



Aportes de la investigacion

• Propuesta de un modelo de confianza generico para comunida-des virtuales de aprendizaje.

• Primera aproximacion para el calculo de los pesos basado enlos participantes.

• Experimentacion en un contexto educativo real para evaluar losfactores del modelo propuesto.



Aportes de la investigacion

• Utilizacion de la herramienta LORI como instrumento para eva-luar la calidad de los objetos de aprendizaje permite alcanzarniveles de confiabilidad sobre las fuentes de informacion queproducen OA dentro de la comunidad virtual de aprendizaje.

• Se ha definido un factor en el modelo de confianza que abarcaconceptos de WoT en base a los certificados o firmas digitalesası como las licencias de derecho de autor.



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Trabajos futuros

• Implementar el modelo de confianza generico en diferentes sis-temas de gestion de aprendizaje (LMS por ejemplo Moodle,repositorios de objetos de aprendizaje, entornos colaborativosde aprendizaje, etc).

• Utilizar Agentes Inteligentes o Computacion Evolutiva para cal-cular los pesos de los factores tomando en cuenta otros rolesen la comunidad virtual de aprendizaje.

• Desarrollar modulos para automatizar el proceso de obtencionde certificados digitales y de asignacion de licencias de derechode autor como Creative Commons para los objetos de aprendi-zaje.



Trabajos futuros

• Implementar la herramienta LORI como modulo de un sistemade gestion de aprendizaje para evaluar los objetos de aprendi-zaje.

• Proponer modelos de arquitectura para implementar una enti-dad certificadora de Web of Trust sobre comunidades virtualesde aprendizaje.

• Aplicar el modelo de confianza en otros contextos educativosconfigurando nuevos roles en comunidades virtuales.



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Bibliografıa

[1] Soto Barrera, J. P.Una arquitectura multi-agente y un modelo de confianza para gestionar elconocimiento en comunidades de practica.Tesis Doctoral. Espana. Universidad de Castilla - La Mancha. 2006.

[2] Rodrıguez, C.Sistema de Vigilancia Tecnologica y Agentes Inteligentes.Tesis de Master. Espana-Madrid. Universidad Complutense de Madrid. 2009.



Agenda

Introduccion

Estado del arte


Experimentacion

Conclusiones

Trabajos futuros

Bibliografıa



Licencia Creative Commons


Documents

Transparencia Trabajo Fin de Máster