UNIVERSIDAD DE OVIEDODepartamento de Informtica

TESIS DOCTORALMetodologa de Medicin y Evaluacin de la Usabilidad en Sitios Web Educativos

Presentada por Mara Elena Alva Obeso Para la obtencin del ttulo de Doctora en Informtica

Dirigida por Doctor D. Juan Manuel Cueva Lovelle Doctora Da. Ana Beln Martnez Prieto

Oviedo, Marzo de 2005

AgradecimientosQuiero agradecer a todas aquellas personas que de una u otra manera han hecho posible concluir esta tesis. De manera especial a: A Patrick y Andr, que sin saberlo han sido el mayor impulso y el pilar que me ha sostenido incluso en los momentos ms difciles a lo largo de este proyecto. A Hernn, mi inseparable compaero. Por compartir conmigo largas horas de trabajo, con una actitud crtica, objetiva y constructiva; y por la contribucin de sus enfoques formales. A Ana Beln Martnez Prez, que ms que una directora de tesis se ha convertido en una gran amiga. Sus conocimientos, visin, inmenso empuje en el trabajo revisando lnea a lnea el borrador de esta tsis y su desempeo acadmico han sido altamente enriquecedores para el desarrollo de esta tesis. A Juan Manuel Cueva Lovelle, por sus oportunas aportaciones y observaciones y por haberme brindado la oportunidad de realizar la presente tesis doctoral. A Dn. Jos L. Brugos, Director del Departamento de Informtica, por su apoyo moral y acadmico y que mediante su gestin siempre me permito encontrar facilidades administrativas y personales para completar este proceso. A Emilio Labra Gayo, por su gran visin humanista, colaborativa y acadmica y la oportunidad brindada para incorporarme al proyecto que lidera. A Mara del Carmen Surez Llorente por su gran amistad, cario y apoyo desinteresado en la revisin del manuscrito de esta tsis. Sus aportes y oportunas sugerencias mejoraron a este. A Mara de los Angeles Daz Fondon y Daro Alvarez Gutierrez, por el cario e inmenso calor humano, apoyo moral y material que me han brindado en esta su Asturias. A Fernando Alvarez por su amplio espritu humano y su apoyo incondicional a mi proyecto, a Cndida Luengo por su sencillez y su maravilloso Don de servicio, a nuestro buen amigo Benjamn Lpez Prez y a Daniel F. Lanvin por los innumerables cafs y tertulias en nuestras momentos de descanso. A Mario Pestaa G., Natalia Garca P. y Juan Carlos Martnez por sus aportes en el desarrollo de los prototipos de la herramienta de la metodologa ME-USitE. Finalmente, un agradecimiento a los que furon mis profesores del curso de doctorado en Informtica, a los miembros del grupo de investigacin Oviedo3; y en especial a Mara Jess Gonzalez quien representa la parte administrativa del Departamento de Informtica.

A la memoria de mis padres

PresentacinCon la llegada de Internet, el enfoque de desarrollo de aplicaciones de computadora ha cambiado considerablemente, y tambin el concepto de usuario propuesto para ellas. Actualmente las aplicaciones Web (pginas, sitios, portales) permiten acceder a millones de usuarios a la informacin que contienen, cada uno de estos con diferentes objetivos y niveles de conocimiento. En el desarrollo de aplicaciones informticas centradas en el usuario, la usabilidad va apareciendo como un mtodo de desarrollo de aplicaciones basadas en Web, con un rol ms importante si cabe que la propia arquitectura de informacin o la gestin de contenidos. Esto constituye un aliciente que ha despertado gran inters en torno a la integracin y evaluacin de la usabilidad en el proceso de diseo e implementacin, as como en la aplicacin en uso. Por esta razn, el inters por evaluar la usabilidad de sitios Web est aumentando rpidamente. Dentro de este inters se encuentra la evaluacin de la usabilidad de sitios Web, desde el enfoque de la percepcin del usuario as como la interpretacin del sitio Web por expertos. El presente trabajo, surge como una inquietud por investigar el soporte que los mtodos y herramientas actuales ofrecen a la evaluacin de la usabilidad de sitios Web educativos, y en que medida es posible, combinar stos para poder presentar un alternativa de evaluacin ms adecuada y rentable para este dominio de aplicaciones respecto a la clsica evaluacin de usabilidad desarrollada en laboratorios con escenarios pre-establecidos, la que en diversos estudios realizados demuestra no ser tan eficiente, debido principalmente a los costos en los que se incurre y las condiciones no naturales en las que debe desarrollarse lo que influye en el proceso de la evaluacin mismo. La definicin de usabilidad dada por el estndar ISO 9241-10, establece que los mtodos que permiten evaluar si un sitio es usable, son los mtodos que requieren entradas de datos del usuario (es decir los mtodos de indagacin que utilizan encuestas, cuestionarios, etc.). Sin embargo, con el fin de incrementar la usabilidad de un sitio, estos pueden ser combinados con los mtodos de inspeccin, realizados por expertos y que evalan la conformidad de la aplicacin con un conjunto de principios y aspectos de la interfaz generalizados (permiten recomendar los aspectos a cambiar). En esta memoria se presenta el trabajo realizado en esta lnea, que consiste en el desarrollo de una Metodologa de Evaluacin de Usabilidad para Sitios Web Educativos, con un enfoque de evaluacin centrado en la perspectiva del usuario y la del experto. Esta memoria que describe el trabajo realizado est organizada de la manera siguiente: La parte I, constituida por el captulo 1, presenta una introduccin al trabajo realizado, en la que se incluye la motivacin, el problema y la propuesta planteada. La parte II muestra un panorama de la evaluacin de usabilidad, presenta una revisin del estado del arte de la usabilidad, su evaluacin y su influencia en el desarrollo de sitios Web educativos; las tcnicas, mtodos y herramientas existentes para el proceso de evaluacin de la usabilidad, En esta parte tambin se incluye un anlisis de las metodologas y proyectos de evaluacin de usabilidad existentes actualmente, que sirven como referencia para la metodologa presentada en este proyecto. Esta parte esta constituida por los captulos 2,3 y 4, detallados a continuacin. En el captulo 2 se resume una extensa investigacin sobre los mtodos existentes, los cuales estn orientados a soportar la evaluacin de la usabilidad en un grado dado. Se presentan las caractersticas de los diferentes mtodos que pueden ser utilizados en un proceso de evaluacin. En el captulo 3 se analizan las tcnicas que pueden ser implementadas en los diferentes mtodos estudiados, as como las diversas herramientas desarrolladas basadas en estos mtodos. Tambin se revisan los aspectos de usabilidad que cada herramienta estudiada persigue evaluar as como un anlisis de los parmetros de evaluacin considerados a fin de comprobar su aplicabilidad en la evaluacin de la usabilidad de sitios Web educativos. Finalmente, en el captulo 4 se revisan los proyectos de evaluacin de usabilidad existentes en la actualidad y se discuten los trabajos relacionados. La parte III presenta la metodologa de evaluacin de la usabilidad propuesta para su aplicacin en sitios Web educativos. Esta metodologa est enfocada hacia los esfuerzos realizados para establecer los criterios de evaluacin y determinar las medidas de usabilidad ms adecuadas, de acuerdo a la audiencia destino y en funcin del perfil del usuario que participa en la evaluacin, obtenido mediante la utilizacin de modelos formalizados. La metodologa planteada se describe en

los captulos 5, 6, 7, 8 y 9. En los captulos 10 y 11 respectivamente se tratan las necesidades de herramientas de soporte y las herramientas diseadas como apoyo a la metodologa planteada. El captulo 5 establece la necesidad de una metodologa y presenta la metodologa propuesta. El captulo 6 describe los requisitos necesarios para desarrollar la metodologa: propsitos de la evaluacin, definicin del dominio de la aplicacin hacia la cual est dirigida la aplicacin, audiencia y definicin de las metas de evaluacin. En esta metodologa, se considera un proceso de evaluacin de expertos y un proceso de evaluacin de usuarios del dominio para completar la identificacin de problemas de usabilidad, as, el diseo de la evaluacin es presentado en los captulos 7 y 8. En el captulo 7 se presenta el diseo del proceso de evaluacin del experto basado en el uso de una evaluacin de inspeccin, mientras que en el capitulo 8 se muestra el proceso de evaluacin del usuario basado en la definicin de un rbol de requisitos de evaluacin y un modelo de puntuacin agregada. El captulo 9 presenta la tercera etapa de la metodologa, que es el anlisis de resultados, sealando las tcnicas de obtencin de datos utilizados, as como las tcnicas de anlisis de los mismos, mediante la aplicabilidad de la metodologa a casos de estudio. En el captulo 10 se analizan las necesidades de herramientas de soporte a la metodologa planteada. En el captulo 11 se hace una descripcin de los prototipos desarrollados como soporte al proceso de evaluacin de usabilidad tanto de usuario como de experto propuesto en la metodologa descrita en este trabajo. La parte IV presentada en el capitulo 12, est referida a la evaluacin y conclusiones del trabajo desarrollado. Este captulo consta de un resumen del proceso seguido en el desarrollo de la tesis. Tambin se describen los resultados ms destacables. Para concluir este captulo se presenta el trabajo en curso y las posibles lneas de investigacin o ampliacin futura. Finalmente, esta memoria se completa con los siguientes apndices. El apndice A describe la obtencin del rbol de requisitos y la clasificacin de cada uno de ellos, utilizando el mtodo Delphi. El apndice B describe la obtencin de pesos para los parmetros de medicin de usabilidad de sitios Web educativos, con la adaptacin del mtodo SMART al contexto de desarrollo. El apndice C, define cada uno de los parmetros que conforman los rboles de requisitos. Y por ltimo, el apndice D recoge los cuestionarios utilizados. Al final de la memoria se encuentran las referencias bibliogrficas de los trabajos e investigaciones mencionadas durante el desarrollo de esta memoria.

ResumenEl propsito de esta tesis es proponer una metodologa para medir y evaluar la usabilidad de sitios Web educativos. El enfoque presentado pretende complementar la evaluacin desde la perspectiva del usuario, utilizando el mtodo de indagacin, y desde la perspectiva del experto, utilizando mtodos de inspeccin. La evaluacin desde la perspectiva del usuario est basada en el estudio de la audiencia en dos aspectos considerados crticos. Por un lado, conocer el nivel del usuario (nio, joven, adulto, adulto mayor) y por otro su perfil (novato, intermedio y avanzado), con el fin de poder establecer los requisitos de evaluacin de la usabilidad ms apropiados a ellos. La evaluacin del experto por su parte, est basada en la combinacin de mtodos de inspeccin con el objetivo de verificar el cumplimiento de un conjunto de reglas, y en la evaluacin del impacto que las reglas incumplidas producen en la usabilidad del sitio. Para implementar los mtodos de evaluacin antes sealados se ha considerado el uso de las tcnicas ms econmicas y sencillas de aplicar que a la vez ofrezcan informacin relevante para la evaluacin. Para el caso de la evaluacin del usuario se hace uso de cuestionarios, que incluyen listas de preguntas apropiadamente seleccionadas, clasificadas y valoradas de acuerdo a la audiencia. Las preguntas incluidas en dicho cuestionario corresponden a los parmetros de ms bajo nivel establecidos en un rbol de requisitos de usabilidad. Estos parmetros sern la base del clculo de puntuacin global del sitio mediante la agregacin de la puntuacin hacia los parmetros de niveles superiores utilizando un modelo basado en funciones de agregacin apropiadamente establecidas. Por otro lado, la evaluacin de inspeccin se deriva de la aplicacin individual de un mtodo de inspeccin, o la combinacin de algunos de ellos, buscando identificar el mayor nmero de problemas desde diferentes perspectivas. Para cada mtodo de inspeccin incluido se ha considerado una lista de reglas de verificacin apropiadamente seleccionadas para el dominio educativo. Para analizar la convergencia de los resultados de la evaluacin de usuario y la de experto se utiliza un ncleo comn de aceptabilidad, independientemente de cualquier aspecto individual de evaluacin. Para validar la convergencia de la indagacin y de la inspeccin se ha utilizado una escala de 100 puntos con ncleo en 50 y con una desviacin estndar del 10% en ambos lados, definiendo esta regin como regin aceptable del nivel de usabilidad. As, la metodologa propuesta proporciona un proceso sistemtico y ordenado de evaluacin de usabilidad as como la validacin de resultados obtenidos para los mtodos utilizados. Finalmente, para dar soporte al proceso de evaluacin y al tratamiento de los datos de la metodologa propuesta se han implementado dos prototipos basados en las dos perspectivas de evaluacin incluidas en la misma.

Palabras ReservadasUsabilidad, evaluacin de la usabilidad, mtodo de evaluacin, sitio Web educativo, audiencia, perfil de usuario, inspeccin, indagacin, rbol de requisitos, obtencin de pesos, modelo de agregacin, puntuacin de atributos, funcin de agregacin, mtrica, atributo, criterio de valoracin.

AbstractThe purpose of this thesis is to propose a methodology to measure and to evaluate the usability of educational Web site. The presented approach tries to complement the evaluation from the user's perspective using the inquiry method and from the expert's perspective using inspection methods. The evaluation from the user's perspective is based on the study of the audience in two critical considered aspects. On the one hand, to know the user's level (child, young, adult, elder) and by other their profile (beginner, intermediate and advanced), with the purpose of being able to establish the usability evaluation requirements most appropriate to them. The expert's evaluation on the other hand is based on the combination of inspection methods, with the objective to verify the fulfilment of a rules set, and on the evaluation of the impact that the unfulfilled rules produce in the usability of the site. In order to implement evaluation methods above the use of the techniques more economic and simple of applying has been considered, that at the same time they offer outstanding information for the evaluation. For the case of the user's evaluation the questionnaire is used, that includes list of questions appropriately selected, classified and valued according to the audience. The questions included in this questionnaire correspond to the parameters of more low-level settled down in a tree of usability requirements. These parameters will be the base of the calculation of global score of the site by means of the punctuation aggregation towards the parameters of higher levels using a model based on functions more appropriately of aggregation. On the other hand, the inspection evaluation is derived of the individual application of an inspection method, or the combination of some of them, looking to identify the greater number of problems from different perspectives. For each included inspection method a list of verification rules appropriately selected for the educational domain it has been considered. In order to analyze the convergence of the results of user and expert's evaluation a common core of acceptability is used independently of any individual aspect of evaluation. To validate the convergence of the inquiry and of the inspection a scale of 100 points with nucleus in 50 and with a standard deviation of 10% in both sides has been used, defining this region like "acceptable region" of the usability level. This way, the proposed methodology provides a systematic and orderly process of the usability evaluation and the validation of results obtained for the used methods. Finally to give support to the evaluation process and the treatment of the data of the proposed methodology two prototypes based on the two evaluation perspectives included in the same one has been implemented.

KeywordsUsability, usability evaluation, assessment methods, educational Web site, audience, user profile, inspection, inquiry, tree of requirements, weighty eliciting, aggregation model, punctuation of attributes, function of aggregation, metric, attribute, criterion of valuation.

Tabla de contenidos

i

Tabla de contenidos:CAPTULO 1: INTRODUCCIN................................................................................................... 2

1.1 MOTIVACIN ........................................................................................................... 2 1.2 EL PROBLEMA ......................................................................................................... 3 1.3 LA PROPUESTA ....................................................................................................... 4CAPTULO 2: EVALUACIN DE LA USABILIDAD: MTODOS ............................................... 7

2.1 USABILIDAD ............................................................................................................ 72.1.1. Definiciones de usabilidad.......................................................................................... 72.1.1.1 Definicin ISO 9241-11 ...............................................................................................7 2.1.1.2 Definicin ISO/IEC 9126..............................................................................................8 2.1.1.3 Definicin de Nielsen ...................................................................................................9

2.2 EL PROCESO DE EVALUACIN ................................................................................. 9 2.3 EVALUACIN DE LA USABILIDAD ............................................................................. 10 2.4 REVISIN DE MTODOS DE EVALUACIN ................................................................ 102.4.1 Clasificacin de los mtodos de evaluacin de usabilidad ....................................... 112.4.1.1 Nielsen y Molich ........................................................................................................11 2.4.1.2 Wixon y Wilson ..........................................................................................................11 2.4.1.3 Preece .......................................................................................................................11 2.4.1.4 Baecker .....................................................................................................................12 2.4.1.5 Scriven.......................................................................................................................12 2.4.1.6 Whitefield, Wilson, y Dowell ......................................................................................13 2.4.1.7 Coutaz y Balbo ..........................................................................................................13 2.4.1.8 Hix y Hartson .............................................................................................................14

2.4.2 Investigacin sobre los mtodos de evaluacin de usabilidad ................................. 162.4.2.1 Mtodos de evaluacin de inspeccin.......................................................................16 2.4.2.1.1 Evaluacin heurstica .........................................................................................16 2.4.2.1.1.1 Configuracin .............................................................................................16 2.4.2.1.1.2 Evaluadores................................................................................................16 2.4.2.1.2 Recorrido cognitivo (Cognitive walkthrough) .....................................................17 2.4.2.1.2.1 Configuracin .............................................................................................17 2.4.2.1.2.3 Evaluadores................................................................................................18 2.4.2.1.3 Mtodo de inspeccin formal .............................................................................18 2.4.2.1.3.1 Configuracin .............................................................................................18 2.4.2.1.4 Recorrido pluralista (Pluralistic walkthrough) .....................................................18 2.4.2.1.4.1 Proceso ......................................................................................................19 2.4.2.1.4.2 Evaluadores................................................................................................19 2.4.2.1.5 Mtodo de inspeccin de caractersticas ...........................................................20 2.4.2.1.6 Mtodo de inspeccin de consistencia ..............................................................20 2.4.2.1.7 Mtodo de inspeccin de estndares ................................................................20 2.4.2.1.8 Mtodo de inspeccin de guas de comprobacin.............................................20 2.4.2.2 Mtodos de indagacin .............................................................................................21 2.4.2.2.1 Indagacin Contextual .......................................................................................21 2.4.2.2.2 Indagacin por Grupos.......................................................................................21 2.4.2.2.3 Indagacin Individual .........................................................................................22 2.4.2.2.4 Indagacin Participativa .....................................................................................22 2.4.2.3 Mtodos Empricos ....................................................................................................22 2.4.2.3.1 Mtodo de evaluacin experimental ..................................................................23 2.4.2.3.2 Mtodo de Evaluacin Observacional................................................................23 2.4.2.3.3 Mtodo de Evaluacin del Desempeo .............................................................23

2.4.3 Resumen de las caractersticas de los mtodos estudiados .................................... 24 2.4.4. Ventajas y desventajas de los mtodos ms representativos ................................. 25 CAPTULO 3: TCNICAS Y HERRAMIENTAS DE EVALUACIN.......................................... 28

3.1 TCNICAS DE EVALUACIN .................................................................................... 283.1.1 Clasificacin............................................................................................................... 293.1.1.1 Tcnicas de evaluacin descriptiva ...........................................................................29

Tabla de contenidos

ii

3.1.1.2 Tcnicas de evaluacin predictiva.............................................................................29

3.2 DESCRIPCIN DE TCNICAS DE EVALUACIN ......................................................... 293.2.1 Grupos de Enfoque ................................................................................................... 293.2.1.1 Ventajas.....................................................................................................................30 3.2.1.2 Desventajas:..............................................................................................................30

3.2.2 Pensando en Voz Alta ............................................................................................... 303.2.2.1 Tipos..........................................................................................................................30 3.2.2.2 Ventajas.....................................................................................................................31 3.2.2.3 Desventajas...............................................................................................................31

3.2.3 Co-descubrimiento..................................................................................................... 313.2.2.2 Ventajas.....................................................................................................................31 3.2.2.3 Desventajas...............................................................................................................31

3.2.4 Cuestionarios............................................................................................................. 323.2.5.2 Ventajas.....................................................................................................................33 3.2.5.3 Desventajas...............................................................................................................33

3.2.5 Entrevistas (Interview) ............................................................................................... 343.2.5.1 Tipos de entrevista ....................................................................................................34 3.2.5.2 Ventajas.....................................................................................................................34 3.2.5.3 Desventajas...............................................................................................................35

3.2.6 Encuesta (Survey) ..................................................................................................... 353.2.6.2 Ventajas.....................................................................................................................35 3.2.6.3 Desventajas...............................................................................................................35

3.2.7 Resumen de las caractersticas de las tcnicas revisadas....................................... 36

3. 3 HERRAMIENTAS DE EVALUACIN DE USABILIDAD ................................................... 373.3.1 WAMMI ...................................................................................................................... 373.3.1.1 Aspectos de medicin ...............................................................................................37

3.3.2 ISOMETRICS ............................................................................................................ 383.3.2.1 Aspectos de medicin ...............................................................................................39

3.3.3 SUMI.......................................................................................................................... 393.3.3.1 Aspectos de medicin ...............................................................................................40

3.3.4 MUMMS..................................................................................................................... 403.3.4.1 Aspectos de medicin ...............................................................................................40

3.3.5 PROKUS.................................................................................................................... 413.3.5.1 Aspectos de medicin ...............................................................................................42

3.3.6 QUIS .......................................................................................................................... 423.3.6.1 Aspectos de medicin ...............................................................................................43

3.3.7 DRUM ........................................................................................................................ 433.3.7.1 Aspectos de medicin ...............................................................................................44

3.3.8 SMEQ ........................................................................................................................ 453.3.8.1 Aspectos de medicin .........................................................................................45

3.3.9 TLX ............................................................................................................................ 453.3.9.1 Aspectos de medicin ...............................................................................................46

3.3.10 Resumen de las caractersticas de las herramientas revisadas ............................. 463.3.10.1 Anlisis de la coincidencia entre las herramientas..................................................47

CAPTULO 4: PANORAMA DE ALGUNAS METODOLOGAS Y PROYECTOS DE EVALUACIN RELACIONADOS CON LA USABILIDAD ........................................................ 50

4.1 METODOLOGAS.................................................................................................... 504.1.1 Metodologa de evaluacin de usabilidad remota asistida por modelo. RemUSINE (RemUSINE, Remote USer Interfaz Evaluator) ................................................................. 504.1.1.2 Herramienta de soporte: REMUSINE........................................................................50 4.1.1.3 Fases.........................................................................................................................51 4.1.1.4 Ventajas.....................................................................................................................52 4.1.1.5 Desventajas...............................................................................................................52

4.1.2 Metodologa para la evaluacin de usabilidad distribuida en ambientes virtuales colaborativos....................................................................................................................... 524.1.2.1. Objetivos...................................................................................................................52 4.1.2.2. Fases........................................................................................................................53 4.1.2.3 Ventajas.....................................................................................................................54 4.1.2.4 Desventajas...............................................................................................................54

4.1.3 MiLE: Evaluacin de la usabilidad de sitios Web automtica ................................... 544.1.3.1 Objetivos....................................................................................................................54

Tabla de contenidos

iii

4.1.3.2 Fases.........................................................................................................................54 4.1.3.3 Ventajas.....................................................................................................................55 4.1.3.4 Desventajas...............................................................................................................55

4.1.4 MUPA-UOC Metodologa de usabilidad para aplicaciones de la Universidad Oberta de Catalunya....................................................................................................................... 554.1.4.1 Objetivos....................................................................................................................55 4.1.4.2 Fases.........................................................................................................................55 4.1.4.3 Ventajas.....................................................................................................................56 4.1.4.4 Desventajas...............................................................................................................56

4.2 PROYECTOS DE EVALUACIN DE USABILIDAD ........................................................ 564.2.1 Proyecto MAGICA ..................................................................................................... 564.2.1.1 Objetivos....................................................................................................................56 4.2.1.1 Mtodos de evaluacin en WAMMI ...........................................................................56

4.2.2 Proyecto MUSiC ........................................................................................................ 574.2.2.1 Objetivos....................................................................................................................57 4.2.2.2 Mtodos de evaluacin de MUSIC ............................................................................57

4.2.3 Proyecto TRUMP....................................................................................................... 584.2.3.1 Objetivos del proyecto TRUMP .................................................................................59 4.2.3.1 Enfoque de evaluacin de TRUMP ...........................................................................59 4.2.3.2 Mtodos de evaluacin TRUMP................................................................................59

CAPTULO 5: NECESIDAD DE UNA METODOLOGA ............................................................ 62

5.1 OBJETIVOS PERSEGUIDOS POR LA METODOLOGA .................................................. 625.1.1. Evaluacin mltiple................................................................................................... 62 5.1.2 Combinacin de mtodos.......................................................................................... 63 5.1.3 Configurabilidad de los mtodos de inspeccin ........................................................ 63 5.1.4 Consideracin de la audiencia .................................................................................. 63 5.1.5 Extensin de la evaluacin a las fases de anlisis y diseo..................................... 63 5.1.6 Configuracin de los parmetros de medicin .......................................................... 63

5.2 ESTRUCTURA DE LA METODOLOGA ....................................................................... 645.2.1 Etapa de Anlisis ....................................................................................................... 64 5.2.2 Etapa de Diseo ........................................................................................................ 65 5.2.3 Fase de Resultados: Recoleccin y Procesamiento ................................................. 65 CAPTULO 6: ETAPA DE ANLISIS: DETERMINACIN DE REQUISITOS Y ESPECIFICACIONES ................................................................................................................. 66

6.1 ESTABLECIMIENTO DEL PROPSITO DE LA EVALUACIN .......................................... 66 6.2 DEFINICIN DEL DOMINIO DE EVALUACIN.............................................................. 666.2.1 Seleccin de sitios Web educativos a evaluar .......................................................... 66

6.3 ESPECIFICACIN DE LA AUDIENCIA......................................................................... 676.3.1 Clasificacin de la audiencia por edades .................................................................. 68

6.4 DEFINICIN DE LAS METAS DE EVALUACIN............................................................ 686.4.1 Identificacin de las etapas en el ciclo de desarrollo del producto ........................... 68 6.4.2 Identificacin de los elementos de evaluacin .......................................................... 696.4.2.1 Elementos para la evaluacin por expertos ..............................................................69 6.4.2.1.1 Evaluacin Heurstica ........................................................................................69 6.4.2.1.2 Inspeccin de Consistencia ...............................................................................70 6.4.2.1.3 Inspeccin de Estndares..................................................................................70 6.4.2.1.4 Inspeccin de guas de comprobacin ..............................................................70 6.4.2.2 Elementos para la evaluacin de usuarios................................................................71 6.4.2.2.1 Elementos de evaluacin en ISO 9241..............................................................71 6.4.2.2.2 Elementos de evaluacin en ISO 9126..............................................................72 6.4.2.2.3 Anlisis de elementos considerados por mtodos y herramientas ....................73 6.4.2.2.4 Elementos considerados por los modelos educativos .......................................73 6.4.2.2.5 Seleccin de los elementos definitivos ..............................................................75

6.5 CONSIDERACIONES FINALES DE REQUISITOS .......................................................... 766.5.1 Herramientas de evaluacin...................................................................................... 76 6.5.2. Tiempo de evaluacin .............................................................................................. 76 CAPTULO 7: ETAPA DE DISEO: DISEO DE LA EVALUACIN DEL EXPERTO ............ 77

7.1 EVALUACIN DE EXPERTOS ................................................................................... 77

Tabla de contenidos

iv

7.2 SELECCIN DEL MTODO DE EVALUACIN: INSPECCIN ......................................... 78 7.3 OBJETIVOS DE LA EVALUACIN DE EXPERTOS ........................................................ 787.3.1 Estandarizacin de las reglas de evaluacin ............................................................ 78 7.3.2 Combinacin de mtodos de evaluacin .................................................................. 78 7.3.3 Valoracin de la usabilidad........................................................................................ 78 7.3.4 Valoracin del impacto de incumplimiento de las reglas........................................... 78 7.3.5 Establecimiento del efecto del evaluador.................................................................. 78 7.3.6 Especificacin de las mejoras propuestas por los expertos ..................................... 78

7.4 PROCESO DE EVALUACIN DE EXPERTO ................................................................ 797.4.1 Seleccin/Combinacin de mtodos de inspeccin .................................................. 797.4.1.1 Inspeccin heurstica.................................................................................................79 7.4.1.2 Inspeccin de consistencia........................................................................................81 7.4.1.3 Inspeccin de estndares..........................................................................................82 7.4.1.4 Inspeccin de guas de comprobacin ......................................................................84

7.4.2 Seleccin de evaluadores ......................................................................................... 857.4.2.1 Nmero de Evaluadores............................................................................................85

7.4.3 Seleccin del sitio educativo a evaluar ..................................................................... 85 7.4.4 Asignacin de mtodos a la etapa de desarrollo ...................................................... 86 7.4.5 Establecimiento de las medidas de evaluacin......................................................... 867.4.5.1 Verificacin mediante escala de valor nico .............................................................86 7.4.5.2 Verificacin mediante escala de medicin ................................................................86

7.4.6 Valoracin del impacto de incumplimiento ................................................................ 87

7.5 ESTABLECIMIENTO DEL EFECTO DEL EVALUADOR ................................................... 88CAPTULO 8: ETAPA DE DISEO: DISEO DE LA EVALUACIN DEL USUARIO............. 90

8.1 OBJETIVOS DE LA EVALUACIN DEL USUARIO ......................................................... 90 8.2 MODELO DE EVALUACIN DE USUARIO ................................................................... 918.3.1 Seleccin de participantes para la evaluacin .......................................................... 918.3.1.1 Nmero de participantes ...........................................................................................91 8.3.1.2 Balance de participantes ...........................................................................................93 8.3.1.3 Reclutamiento de participantes .................................................................................94 8.3.1.3.1 Fuentes de reclutamiento ..................................................................................94 8.3.1.3.2 Formas de reclutamiento ...................................................................................94

8.3.2 Categorizacin de los participantes........................................................................... 958.3.2.1 Perfil del usuario de sitios Web educativos ...............................................................95 8.3.2.2 Modelo para la determinacin del perfil del usuario ..................................................95 8.3.2.2 Definicin formal del perfil del usuario.......................................................................97

8.3.3 Seleccin de los parmetros de medicin de evaluacin ....................................... 1008.3.3.1 rbol de requisitos...................................................................................................101 8.3.3.2 Parmetros de primer nivel: Definicin de los criterios de evaluacin ....................101 8.3.3.3 Parmetros de segundo nivel: Definicin de las mtricas de evaluacin................102 8.3.3.4 Parmetros de tercer nivel: Definicin de los atributos de evaluacin ....................104 8.3.3.5 Relacin entre los niveles de medicin: rbol de requisitos....................................106

8.3.4 Establecimiento del rbol de requisitos de usabilidad para una audiencia especfica .......................................................................................................................................... 1068.3.4.1 Aplicacin de la tcnica Delphi ................................................................................106

8.3.5 Modelo de Medicin ................................................................................................ 1098.3.5.1 El modelo LSP.........................................................................................................110 8.3.5.2 Diseo del modelo de puntuacin: Aplicacin del modelo LSP ..............................112 8.3.5.2.1 Clasificacin de los parmetros del rbol de requisitos (DELPHI)...................112 8.3.5.2.2 Asignacin de pesos a los parmetros del rbol de requisitos (SMART) ........113 8.3.5.2.3 Puntuacin de los atributos..............................................................................115 Paso 1: Designacin de valor para el atributo............................................................115 Paso 2: Obtencin de la puntuacin elemental o de atributo .....................................115 Ejemplo.......................................................................................................................116

8.3.6 Clculo de la puntuacin de agregacin ................................................................. 1178.3.6.1 Definicin de la estructura de Agregacin...............................................................118 8.3.6.2 Seleccin de la funcin de agregacin....................................................................119 8.3.6.2.1 Modelo de agregacin para la funcin .............................................................119 8.3.6.2.2 Operadores lgicos de la funcin de agregacin.............................................120 8.3.6.2.3 Seleccin del tipo de agregacin lgica...........................................................122

Tabla de contenidos

v

8.3.6.2.4 Operadores aplicados a la metodologa propuesta .........................................123 8.3.6.2.5 Ejemplo ............................................................................................................123

CAPTULO 9: RECOLECCIN Y PROCESAMIENTO DE LOS RESULTADOS DE LA EVALUACIN........................................................................................................................... 127

9.1 TCNICAS DE RECOLECCIN EMPLEADAS PARA LA OBTENCIN DE DATOS ............. 1279.1.1 Obtencin de datos del usuario............................................................................... 1279.1.1.1 Cuestionario ............................................................................................................128

9.1.2 Obtencin de datos de la evaluacin del usuario.................................................... 1289.1.2.1 Cuestionario para nio ............................................................................................130 9.1.2.2 Cuestionario para joven...........................................................................................131 9.1.2.3 Cuestionario para adulto .........................................................................................132 9.1.2.4 Cuestionario para adulto mayor ..............................................................................133

9.1.3 Obtencin de datos de la evaluacin del experto ................................................... 1349.1.2.1 Lista de verificacin de heursticas..........................................................................134 9.1.2.2 Lista de verificacin de consistencia .......................................................................135 9.1.2.3 Lista de verificacin de estndares .........................................................................135 9.1.2.4 Lista de verificacin de guas de comprobacin......................................................135

9.2 CRITERIOS DE ACEPTABILIDAD DEL NIVEL DE USABILIDAD ..................................... 135 9.3 ANLISIS DE RESULTADOS .................................................................................. 1369.3.1. Anlisis de la evaluacin de usuarios..................................................................... 1369.3.1.2 Puntuacin total.......................................................................................................137 9.3.1.3 Puntuaciones parciales ...........................................................................................137

9.3.2 Anlisis de la evaluacin de Expertos ..................................................................... 1379.3.2.1 Puntuacin total.......................................................................................................137 9.3.2.2 Puntuacin parcial ...................................................................................................138

9.3.3 Evaluacin total ....................................................................................................... 138 9.3.4 Ejemplo.................................................................................................................... 1389.3.4.1 Audiencia.................................................................................................................139 9.3.4.2 Obtencin de la puntuacin agregada (PA) ............................................................140 9.3.4.3 Anlisis de la evaluacin de usuario .......................................................................140 9.3.4.3.1 Resultado total .................................................................................................140 9.3.4.3.2 Resultados parciales........................................................................................141 9.3.4.4 Anlisis de la evaluacin de Expertos .....................................................................146 9.3.4.4.1 Resultados Totales ..........................................................................................146 9.3.4.4.2 Resultados Parciales .......................................................................................147

9.4 HERRAMIENTA AUTOMATIZADA PARA SOPORTE A LA EVALUACIN. ........................ 149CAPTULO 10: NECESIDAD DE HERRAMIENTAS DE SOPORTE A LA METODOLOGA PROPUESTA ............................................................................................................................ 150

10.1

CARACTERSTICAS GENERALES DE LAS HERRAMIENTAS DE SOPORTE A LA METODOLOGA .......................................................................................................... 150 10.2 HERRAMIENTA DE EVALUACIN DE USUARIO ...................................................... 15110.2.1 Caractersticas deseables de la herramienta de evaluacin de usuario............... 15110.2.1.1 Soporte para la evaluacin....................................................................................151 10.2.1.2 Soporte para la medicin y procesamiento ...........................................................153

10.3 HERRAMIENTA DE EVALUACIN DE EXPERTO...................................................... 15310.3.1 Objetivos de la herramienta de evaluacin de experto ......................................... 15410.3.1.1 Soporte para la inspeccin ....................................................................................154 10.3.1.2 Soporte para el procesamiento de datos...............................................................155

CAPTULO 11: PROTOTIPOS DE LAS HERRAMIENTAS DE EVALUACIN...................... 156

11.1 PROTOTIPO DE LA HERRAMIENTA DE USUARIO .................................................... 15611.1.1 Funcionalidad proporcionada ................................................................................ 15611.1.1.1 Mdulo de registro.................................................................................................157 11.1.1.2 Mdulo de evaluacin............................................................................................158 11.1.1.3 Mdulo para la gestin bsica de la aplicacin .....................................................163

11.1.2 Diseo e Implementacin del prototipo ................................................................. 16511.1.2.1 Modelo conceptual de la aplicacin.......................................................................165 11.1.2.2 Modelo de clases...................................................................................................166 11.1.2.3 Diseo de la Base de Datos ..................................................................................188

Tabla de contenidos

vi

11.2 PROTOTIPO DE LA HERRAMIENTA DE EXPERTO ................................................... 19011.2.1 Funcionalidad proporcionada ................................................................................ 19011.2.1.1 Mdulo del experto ................................................................................................190 11.2.1.2 Mdulo de Gestin de Administracin...................................................................195

11.2.2 Diseo e Implementacin del prototipo ................................................................. 19711.2.2.1Modelo conceptual de la aplicacin........................................................................197 11.2.2.2 Diseo de la Base de datos...................................................................................198

CAPTULO 12: CONCLUSIONES............................................................................................ 201

12.1 PROCESO SEGUIDO EN EL DESARROLLO DE LA TESIS.......................................... 201 12.2 RESULTADOS MS DESTACABLES ...................................................................... 20312.2.1 Evaluacin sistemtica de la usabilidad de sitios educativos ............................... 203 12.2.2 Nuevo modelo de evaluacin ................................................................................ 203 12.2.3 Facilidad de ampliacin a diferentes perspectivas de evaluacin ........................ 203 12.2.4 Reduccin de costos ............................................................................................. 203 12.2.5 Facilidad de adaptacin a otros dominios ............................................................. 203 12.2.6 Reutilizacin del modelo de puntuacin................................................................ 204

12.3 VENTAJAS ........................................................................................................ 20412.3.1 Reduccin de tiempos y recursos empleados en la evaluacin ........................... 204 12.3.2 Adaptacin a la audiencia objetivo ........................................................................ 204 12.3.3 Seleccin o configuracin de los mtodos de inspeccin..................................... 204 12.3.4 Personalizacin de la evaluacin .......................................................................... 204 12.3.5 Reduccin del desinters por parte del evaluador ................................................ 205

12.4 TRABAJO Y LNEAS DE INVESTIGACIN FUTURA .................................................. 20512.4.1 Ampliacin de la metodologa al dominio de sitios Web educativos en general... 205 12.4.2 Ampliacin de la metodologa a nuevos y diferentes niveles de audiencia .......... 205 12.4.3 Modelo de puntuacin utilizando redes neuronales artificiales en la evaluacin de la usabilidad de sitios Web ................................................................................................... 205 12.4.4 Uso de herramientas colaborativas en el proceso de evaluacin......................... 205 12.4.5 Ampliacin de la herramienta de evaluacin de la usabilidad a tecnologas wap 206 12.4.6 Ampliacin de la herramienta de evaluacin incorporando audio y vdeo ............ 206 12.4.7 Desarrollo de una herramienta de anlisis de usabilidad ..................................... 206 REFERENCIAS......................................................................................................................... 207 APNDICE A: PARMETROS DEL RBOL DE REQUISITOS: SELECCIN Y CLASIFICACIN ...................................................................................................................... 222

A.1 LA TCNICA DELPHI ............................................................................................ 222 A.2 CARACTERSTICAS DEL MTODO DELPHI ............................................................. 222 A.3 CONFIGURACIN DEL PANEL DE EXPERTOS ......................................................... 223 A.4 EL EXPERIMENTO ............................................................................................... 223APNDICE B: OBTENCIN DE PESOS PARA LOS PARMETROS DE MEDICIN ......... 227

B.1 LA TECNICA SMART (SIMPLE MULTIPLE ATTRIBUTE RATING TECHNIQUE) ........... 227 B.2 OBTENCIN DE LOS PESOS ................................................................................. 227 B.3 PARTICIPANTES .................................................................................................. 228 B.4 ADAPTACIN DE LA TCNICA ............................................................................... 228 B.5 EXPERIMENTO .................................................................................................... 229APNDICE C: DEFINICIN DE LOS PARMETROS DEL RBOL DE REQUISITOS DE USABILIDAD ............................................................................................................................ 234

C.1 APRENDIZAJE ..................................................................................................... 235C.1.1 Eficacia.................................................................................................................... 236 C.1.2 Facilidad de aprendizaje ......................................................................................... 236 C.1.3 Ayuda ...................................................................................................................... 236 C.1.4 Documentacin/tutorial ........................................................................................... 237

C.2 OPERABILIDAD ................................................................................................... 237C.2.1.Facilidad de uso ...................................................................................................... 237 C.2.2 Facilidad de Navegacin......................................................................................... 238

Tabla de contenidos

vii

C.2.3 Entendibilidad.......................................................................................................... 238 C.2.4 Tolerancia al error ................................................................................................... 239 C.2.5 Personalizacin....................................................................................................... 239 C.2.6 Accesibilidad ........................................................................................................... 239

C.3 COMUNICACIN.................................................................................................. 240C.3.1 Control de la comunicacin..................................................................................... 240 C.3.2 Formas del mensaje................................................................................................ 240

C.4 CONTENIDO ....................................................................................................... 240C.4.1 Exactitud ................................................................................................................. 241 C.4.2 Audiencia ................................................................................................................ 241 C.4.3 Credibilidad ............................................................................................................. 241 C.4.4 Alcance ................................................................................................................... 242 C.4.5 Objetividad .............................................................................................................. 242 C.4.6 Contenido Pedaggico............................................................................................ 242

C.5 MTODO ............................................................................................................ 243C.5.1 Organizacin ........................................................................................................... 243 C.5.2 Adaptabilidad .......................................................................................................... 243

C.6 ATRACTIVO ........................................................................................................ 244C.6.1 Interfaz .................................................................................................................... 244 C.6.2 Personalizacin....................................................................................................... 244

C.7 SATISFACCIN ................................................................................................... 245C.7.1 Confiabilidad ........................................................................................................... 245 C.7.2 Satisfaccin fsica ................................................................................................... 245 C.7.3 Aceptabilidad........................................................................................................... 245 APNDICE D: CUESTIONARIO PRE-TEST PARA LA EVALUACIN DE LOS PARMETROS DE MEDICIN DE USABILIDAD DE ACUERDO A LA AUDIENCIA OBJETIVO ................................................................................................................................ 247

PARTE I: INTRODUCCION

Introduccin

2

Captulo 1: IntroduccinEn este captulo se expone la motivacin que ha llevado a la realizacin del trabajo presentado en esta memoria. Se describen los aspectos que han motivado la investigacin, algunos de los problemas o carencias que se han detectado en el rea de investigacin en que se enmarca este trabajo y que han dado lugar a la propuesta que se presenta al final del captulo, en la que se plantean las bases fundamentales de este trabajo.

1.1 MotivacinEs ampliamente reconocido que las computadoras juegan un papel especial en la mejora del aprendizaje [JON96], [BEL98], [NIE98]. El desarrollo de la tecnologa de informacin y comunicacin, unido a los esfuerzos contemporneos en el desarrollo de nuevos sistemas de enseanza-aprendizaje, ha influido en la adopcin de tecnologas para el desarrollo de aplicaciones educativas, as como en la rpida expansin de stas hacia aplicaciones basadas en Web. Esto es debido entre otros factores a la sofisticacin incremental de las tecnologas multimedia e interactivas, a las facilidades de acceso a Internet, as como la necesidad de aumentar la flexibilidad en el acceso a la educacin. Internet se ha convertido en el medio ms popular para la divulgacin de informacin, que ha influido en todas las actividades sociales de la humanidad, incluyendo en la forma de interaccin entre las personas. Esta forma de difusin de la informacin proporciona grandes ventajas sobre otros medios de difusin, como por ejemplo, poder difundir informacin a diferentes personas ubicadas en diferentes y variados sitios geogrficos, con la posibilidad de proveer textos, sonidos e imgenes informativas. Por su parte la World Wide Web proporciona una interfaz grfica para navegar por Internet, en donde el texto y las imgenes se convierten en puentes de comunicacin, que permiten acceder a otras pginas de la Web, no importando si estas pginas se encuentran en la misma computadora o en una ubicada al otro lado del mundo. En los ltimos aos se han desarrollado una gran cantidad de recursos Web, para la divulgacin de informacin, comercio, educacin e incluso interacciones personales, muchos de los cuales incluso de gran utilidad para el usuario, ya que les ofrece la posibilidad de contar con diferente nivel de informacin dependiendo de sus necesidades. Sin embargo, la pobre usabilidad que ofrecen estos sitios, los convierte en responsables del desperdicio de tiempo del usuario navegando en la red, desmotivndole a la exploracin y la navegacin puede derivar en desinters por parte del usuario por considerarlo complicado y tedioso para completar una tarea en l, lo que ha motivado investigaciones orientadas a la usabilidad y adaptatividad en el desarrollo de sitios Web [BRU02a], [BRUG02b] En el mbito educativo, Internet ofrece ciertas ventajas con respecto a la educacin tradicional que hacen que este medio sea muy atractivo tanto para los facilitadores de aprendizaje (profesores), como para los usuarios (alumnos) de este tipo de recursos, ya que permite a los facilitadores poner a disposicin de los usuarios, materiales educativos que puedan ser utilizados como complemento a su formacin [BRU98a], [BRU98b], [BRU00], entre otros. La informacin generalmente es organizada en forma de cursos educativos, facilitando a los estudiantes el acceso de manera ordenada a la misma. Por otro lado, permite poner a disposicin de los alumnos una gran cantidad de informacin independientemente de la localizacin de stos o el momento en que es usado. Esto permite, que los usuarios complementen su formacin en cualquier momento y cualquier lugar. Sin embargo, debido al gran nmero de usuarios potenciales que utilizan Internet como medio de estudio y/o complemento de aprendizaje, la interfaz de usuario, as como la presentacin de contenidos pueden resultar muy complicados para algunos de estos usuarios y/o muy triviales para otros dependiendo de factores como la edad, el conocimiento que puedan tener estos usuarios sobre el uso de Internet y los temas presentados, entre otros. Adems, normalmente los usuarios novatos (o principiantes) acceden a Internet para estudiar ciertos materiales educativos sin tener ningn conocimiento sobre el manejo de este tipo de sitios y /o el tema objeto de estudio y la mayora de veces incluso tienen dificultades para identificar los diferentes elementos de la interfaz y los enlaces que se les ofrecen se refieren a material completamente nuevo para ellos, por lo que a menudo se sienten totalmente desorientados por la presentacin y la cantidad de enlaces disponibles, sin saber a donde ir o por donde continuar. Por este motivo, es muy fcil que se pierdan o se sientan incapaces de cubrir sus expectativas en el conjunto de materiales educativos

Introduccin

3

disponibles. Por otro lado, los usuarios experimentados pueden sentir que la informacin que se les presenta no est acorde a sus necesidades, que la navegacin es muy tediosa, o que la secuencia para ejecutar una tarea es muy larga, sintindose insatisfechos por no poder avanzar de una manera ms rpida o personalizada. Aspectos como estos conducen a reformular el desarrollo de este tipo de aplicaciones, y su evaluacin permanente, que contemple una revisin de los requisitos de usabilidad como factor crtico de calidad, que permita no solo lograr que el usuario trabaje de una manera sencilla y fcil en el logro de sus objetivos, si no que adems se sienta satisfecho de haber utilizado la aplicacin Web. Evaluar la usabilidad de sitios Web viene convirtindose incrementalmente en un aspecto crtico, ms an en un sitio Web educativo, ya que en ellos, no solo es importante lograr los objetivos de aprendizaje, sino la generacin de un ambiente que sea atractivo al usuario y le motive para facilitarle el mismo. Por ello, la evaluacin de la usabilidad de un sitio educativo podra permitir establecer hasta que punto los componentes de la aplicacin cumplen los requisitos de usabilidad para dar soporte al proceso de enseanza-aprendizaje.

1.2 El problemaLa gran cantidad de informacin disponible en Internet, la complejidad y heterogeneidad de la misma, junto con las distintas caractersticas de los usuarios que acceden a dicha informacin, as como la gran competencia existente en la red, hacen crtico que el desarrollo de aplicaciones basadas en Web, y de manera particular los sitios Web educativos deban contemplar no solo aspectos de funcionalidad sino tambin de usabilidad, tomando en cuenta que estas aplicaciones no solo deben tener como objetivo poner a disposicin de los usuarios informacin exacta, sino orientar adecuadamente al usuario en su bsqueda, adecuando los caminos ms apropiados para cada usuario de acuerdo con sus objetivos, sus conocimientos previos o sus necesidades y perfiles. La usabilidad en este contexto, se enmarca en una pregunta sobre si una aplicacin Web educativa es lo suficientemente buena para satisfacer las necesidades y requerimientos del usuario. Es decir, la usabilidad corresponde a una variable en el marco de la aceptacin prctica de un sitio Web educativo. As, para que un sitio Web pueda ser utilizado para alcanzar alguna tarea, tiene que cumplir con criterios de utilizacin (es decir referido a la funcionalidad: puede hacer lo que se necesita) y usabilidad (cun bien los usuarios pueden usar esa funcionalidad del sitio Web). La usabilidad considera todos los aspectos de un sitio Web educativo con el que el usuario puede interactuar y sus principales criterios de evaluacin (aprendizaje, operabilidad, comunicacin contenido, etc.). Por ejemplo, el sitio debe cumplir una funcionalidad de presentar determinado tipo de contenido, pero este contenido debe ser presentado de una manera atractiva y sencilla al usuario y que adems el aprendizaje de su uso y navegacin sea intuitiva y fcil, para llevar a cabo un proceso de aprendizaje rpido y eficaz. Muchos son los autores que han investigado y propuesto recomendaciones (guas, listas de comprobacin, principios, etc.) para el desarrollo de aplicaciones usables ([NIE90a], [NIE94a], [SHN98], [BEV93] entre otros), y muy pocos sobre la evaluacin de la usabilidad de sitios Web educativos [GON03], [CAR02]. Sin embargo, basta hacer una exploracin en la Web para comprobar que esto an sigue siendo un problema. Si tenemos en cuenta que existe una diversidad de dominios de aplicacin basadas en Web, comerciales, ocio, entretenimiento, educacin, etc.; una mala usabilidad en sitios comerciales, de ocio o incluso de noticias puede significar simplemente que el usuario busque otro lugar. Sin embargo, en el caso de sitios de carcter educativo el problema se agudiza ya que una mala usabilidad puede repercutir fuertemente en los objetivos de aprendizaje. Es decir, los requisitos de usabilidad de un sitio Web comercial de venta de herramientas de carpintera orientado a aquellos profesionales del rea o personas aficionadas a la carpintera, cuyo inters esta centrado en encontrar un producto de carpintera determinado al mejor precio, ser diferente de los requisitos de usabilidad del sitio Web de algn curso de una universidad o institucin educativa, en principio por que las motivaciones de los usuarios son distintas, el perfil de ellos tambin lo es, as como las metas a alcanzar por cada uno. As preparar el proceso de evaluacin de usabilidad de un sitio comercial no ser el mismo que el de un sitio educativo aunque ambos buscan cubrir un servicio, lograr la satisfaccin del usuario y en algunos casos ambos pretendan lograr dividendos econmicos. Los sitios Web educativos tienen un aadido fundamental, y es la transmisin y adquisicin del conocimiento. Por ende un factor importante de evaluacin es el aspecto educativo y su presentacin de contenidos. La consideracin de la usabilidad como un factor importante en el desarrollo de aplicaciones Web ha ido en aumento en los ltimos aos. Basndose en el fundamento terico de la usabilidad de software tradicional, y en los principios establecidos por los estndares internacionales y en la

Introduccin

4

experiencia adquirida por el diseo y desarrollo de aplicaciones Web, se han desarrollado metodologas y guas para el desarrollo de aplicaciones Web con criterios de usabilidad. Estas permiten realizar un proceso de evaluacin de usabilidad, pero limitados a aspectos especficos de la misma, y enfocados a la evaluacin de sitios comerciales, que aunque sealan su extensin a sitios educativos, los criterios considerados no se ajustan a los requisitos de usabilidad de estas aplicaciones. En la actualidad existen diferentes mtodos que pueden ser usados durante una evaluacin de usabilidad. Dependiendo del propsito de medicin, del tipo de medida a obtener, de la etapa del ciclo de vida, etc., unos u otros son usados para asegurar referencias que mejoren la usabilidad o establezcan si esta es lo suficientemente buena. Desafortunadamente, no hay un acuerdo respecto a la denominacin, uso y aplicacin de los mtodos existentes en el desarrollo de aplicaciones Web. As los diferentes autores los denominan de acuerdo a sus preferencias y juicio o experiencia (Kirakowski: Indagacin, [KIR95]), (Nielsen: las Heursticas, Nielsen [NIE94], [NIE90c]), (Preece: Evaluacin de expertos [PRE93]), (Scriven: Formativa/Sumativa [SCR67]). Los mtodos de evaluacin de usabilidad por un lado tienen fortalezas y debilidades, y por otro estn enfocados a evaluar determinados aspectos o requisitos de usabilidad, por lo que es recomendable combinarlos en una evaluacin para complementar unos con otros en cuanto a sus fortalezas y lograr cubrir un mayor nmero de aspectos de evaluacin. La seleccin y combinacin de los mtodos de evaluacin depender de restricciones financieras y de tiempo, de las fases en el ciclo de desarrollo y de la naturaleza del sistema bajo desarrollo (Bevan, [BEV94]), (Nielsen, [NIE94b]). En la aplicacin de los mtodos de evaluacin de usabilidad, los evaluadores hacen uso de un conjunto de tcnicas diseadas para la recoleccin de datos de usabilidad, y definidas en trminos del mtodo que soportan, su aplicabilidad en las diferentes etapas de desarrollo, costos y nmero de participantes necesarios para la obtencin de la informacin. (Focus Group [NIE97c], Think Aloud [BOR00], cuestionarios, entre otros). Es importante establecer que al igual que con los mtodos es necesario seleccionar las tcnicas ms adecuadas en funcin a sus caractersticas y fortalezas, as como combinarlos adecuadamente para la obtencin de una mayor cantidad de informacin que sea segura y confiable. Hasta ahora, se han desarrollado muchas herramientas de soporte para la aplicacin de determinados mtodos de evaluacin de usabilidad, y aunque estas estn basadas en un mismo mtodo y utilizan tcnicas comunes en la coleccin de datos, no se ha logrado establecer un acuerdo respecto a los criterios de evaluacin ni entre ellos, ni respecto a los estndares establecidos. En su mayora han sido desarrolladas para dar soporte a la evaluacin de una aplicacin particular en un contexto muy especfico, principalmente aplicaciones comerciales. A la actualidad se han desarrollado algunas metodologas para evaluar la usabilidad de aplicaciones basadas en Web, en su mayora orientadas principalmente a sitios comerciales. Ante esta situacin creemos necesario un modelo de evaluacin de usabilidad orientada especficamente a las aplicaciones educativas basadas en Web, que contemple los objetivos propios de este dominio, y aspectos como las necesidades de la audiencia destino y el perfil del usuario final.

1.3 La propuestaAnte la problemtica planteada en el apartado anterior, se hace necesario un modelo de evaluacin de usabilidad que afronte los siguientes aspectos fundamentales: 1. Expertos y usuarios representativos. Creemos que la diversidad de lenguajes y plataforma de desarrollo de hipertexto y manejo de datos en el desarrollo de paginas Web estticas y/o dinmicas hace muy difcil o casi imposible lograr una evaluacin de la usabilidad confiable y completa, es decir que se logre evaluar la mayor proporcin del cdigo para analizar ciertos aspectos ( como color, texto, fondos, imgenes, tamaos de letra, acceso y manejo de datos, etc.), por lo que es necesario el uso de expertos que evalen la conformidad de las aspectos mencionados respectos a los estndares de diseo, y el uso de usuarios representativos que logren evaluar la mayor proporcin de caractersticas de usabilidad para el dominio de aplicaciones educativas en la Web. Clasificacin de usuarios. Tomando en cuenta la naturaleza de este tipo de aplicaciones, estas son accedidas por colectivos de usuarios muy diversos, dispersos y de contextos de uso tambin muy diverso, por lo que es necesario delimitar el dominio de tipo de sitio educativo, es decir definir la audiencia de usuario final para la cual el sitio ha sido desarrollado (en funcin a la edad: nios, jvenes, adultos, etc.), as como establecer el perfil de esta audiencia (Novato, intermedio, avanzado) aunque estos se encuentren geogrficamente dispersos.

2.

Introduccin

5

3.

Fases de aplicabilidad de la evaluacin. Es necesario un enfoque de evaluacin que incorpore el proceso de evaluacin en las etapas de prototipado, prueba e incluso cuando la aplicacin ha sido lanzada, es decir hasta que se haya logrado una solucin satisfactoria. Requisitos de acuerdo al tipo de usuario. La evaluacin de la usabilidad de un sitio educativo estar principalmente relacionada a la facilidad para aprender, facilidad de uso, usabilidad del contenido, comunicacin y operabilidad, as como la satisfaccin y atractividad del sitio. Esto significa satisfacer los requisitos de usabilidad a travs de un conjunto de parmetros adecuados al tipo de audiencia objetivo del sitio Web educativo. Adecuado al tipo de dominio especfico. Nos interesa conocer el grado en que el desarrollo del sitio del dominio cumple los requisitos de usabilidad mnimos para el logro del objetivo de enseanza desde la perspectiva del usuario (aprendiz) y desde la perspectiva del experto. Por ello es necesario delimitar con claridad el dominio de evaluacin (sitios institucionales, de recursos educativos, de tele-formacin, materiales didcticos), con el fin de enfocar adecuadamente el conjunto de parmetros de evaluacin a utilizar.

4.

5.

La propuesta de este trabajo es desarrollar una metodologa de evaluacin de usabilidad orientada a valorar la usabilidad de sitios Web educativos. Una metodologa que incluya tanto la perspectiva del experto como la del usuario en la evaluacin de un sitio en etapa de prototipo o en su versin final. Esta metodologa contempla dos partes:

La evaluacin de la usabilidad de un sitio educativo por parte de expertos mediante mtodos de inspeccin, a fin de medir el nivel de concordancia del sitio Web evaluado respecto a un conjunto preestablecido de pautas de diseo de sitios Web con criterios de usabilidad, y La evaluacin de la usabilidad desde la perspectiva del usuario real mediante mtodos de indagacin (utilizando bsicamente la tcnica del cuestionario) que permita reportar incidentes crticos de usabilidad orientados a permitir proponer mejoras mas objetivas y centrar de mejor manera el proceso de rediseo.

Esta metodologa esta orientada a proponer un proceso de evaluacin en la que tanto usuarios como expertos realicen la evaluacin desde su propio contexto de trabajo y desde su propio mbito geogrfico, de tal manera que el proceso de evaluacin resulte ms econmico en la medida en que no ser necesario implementar laboratorios especiales para la evaluacin o incurrir en gastos de traslado por parte de los evaluadores. Para maximizar la efectividad en la aplicacin de la metodologa planteada se ve necesario el desarrollo de dos herramientas de evaluacin en lnea que permitan realizar la evaluacin de experto y la evaluacin de usuario respectivamente, reduciendo de esta manera costos de coleccin y anlisis de datos. El modelo utilizado en el desarrollo de los mdulos de evaluacin de ambas herramientas es configurable en el sentido de que:

En la evaluacin de usuario, el podr configurar los parmetros de evaluacin mediante la articulacin de sus preferencias incorporando sus propias prioridades a los criterios de decisin/evaluacin. El modelo de evaluacin del usuario propuesto en la herramienta identifica plenamente los criterios, mtricas y atributos a considerar en la evaluacin de los sitios Web educativos. En la evaluacin del experto, este puede configurar el mtodo de inspeccin a utilizar en funcin a la etapa de desarrollo del sitio, y su experiencia en el manejo o participacin de evaluaciones de este tipo, que determina el tipo de inspeccin.

PARTE II PANORAMA DE LA EVALUACIN DE LA USABILIDAD

Captulo 2: Evaluacin de la Usabilidad: Mtodos

7

Captulo 2: Mtodos2.1 Usabilidad

Evaluacin

de

la

Usabilidad:

2.1.1. Definiciones de usabilidad2.1.1.1 Definicin ISO 9241-11El estndar ISO 9241 (Ergonomic requirements for office work with visual display terminals VDTs) [ISO93a], describe los requisitos ergonmicos para trabajo de oficina con terminales de despliegue visual y explica algunos de los principios bsicos subyacentes. El borrador internacional del estndar ISO/DIS 9241-11 (Guidance on Usability) [ISO93b] define como especificar y medir la usabilidad de productos y aquellos factores que tienen un efecto en la usabilidad. La usabilidad de acuerdo al estndar ISO/DIS 9241-11 es: La extensin para la que un producto puede ser usado por usuarios especficos, para lograr metas especificas con efectividad, eficacia y satisfaccin en un contexto de uso especifico Para especificar o medir la usabilidad es necesario identificar las metas y descomponer la efectividad, eficiencia y satisfaccin, as como los componentes del contexto de uso en subcomponentes con atributos medibles y verificables:

Eficacia: definido en trminos de la exactitud y completitud con que usuarios especficos pueden lograr metas especficas en ambientes particulares. Eficiencia: referido a los recursos gastados en relacin con la precisin y completitud de la meta lograda, es decir recursos de tiempo, financieros y humanos. Satisfaccin: que evala el confort o comodidad y la aceptabilidad del trabajo del sistema para sus usuarios y otras personas afectadas por su uso.

Los componentes y la relacin entre ellos son ilustrados en la figura 2.1.

Fig. 2.1. Marco de definicin de Usabilidad de acuerdo a (ISO 9241-11)

ISO 9241 define la usabilidad en trminos de la calidad del trabajo de un sistema en uso, la cual depende de todos los factores que pueden influenciar el uso de un producto en el mundo real: factores organizacionales (practicas de trabajo, ubicacin o apariencia de un producto), diferencias individuales entre usuarios (factores culturales y preferencias), experiencia, etc.

Captulo 2: Evaluacin de la Usabilidad: Mtodos

8

Esta aproximacin tiene la ventaja de concentrarse en los propsitos reales de diseo de una aplicacin, que es encontrar las necesidades de usuarios reales ejecutando tareas reales en un ambiente tcnico, fsico y de organizacin real.

2.1.1.2 Definicin ISO/IEC 9126De acuerdo al estndar ISO/IEC 9126 (Software Product Evaluation - Quality Characteristics and Guidelines for the User) [ISO91], usabilidad es un atributo de la calidad del software. El trmino es utilizado para referirse a la capacidad de un producto para ser usado fcilmente. Esto corresponde a la definicin de usabilidad como parte de la calidad del software, siendo la calidad del software definida por el estndar como: Un conjunto de atributos de software que se sostienen en el esfuerzo necesitado para el uso y en la valoracin individual de tal uso por un conjunto de usuarios declarados o implicados. Esto esta relacionado con la capacidad del producto software para ser entendido, aprendido, usado y atractivo para el usuario, cuando es utilizado bajo condiciones especficas. En la parte ISO 9126-1[ISO01] de este estndar, la usabilidad es analizada en trminos de su comprensibilidad, aprendizaje, operabilidad, atractividad y complacencia, tal como se describe a continuacin [BEV97]:

Comprensibilidad, define la capacidad del producto software para permitir al usuario entender si el software es adecuado, y como puede ser usado para tareas y condiciones de uso particulares. Aprendizaje, referido a la capacidad del producto software para permitir a los usuarios aprender a usar sus aplicaciones. Operabilidad, es la capacidad del producto software para permitir al usuario operarlo y controlarlo. Aspectos de conformidad, mutabilidad, adaptabilidad e instalacin pueden afectar a la operabilidad. Tambin este atributo corresponde a la tolerancia de error, y conformidad con las expectativas del usuario. En un sistema, sobre el que opera un usuario, la combinacin de funcionalidad, confiabilidad, usabilidad y eficiencia pueden ser medidas externamente por la calidad de uso. Atractivo, es la capacidad del producto software para ser atractivo al usuario. Est referido a los atributos del software pensados para hacer el software ms atractivo al usuario, tal como el uso de color y la naturaleza del diseo grafico. Conformidad a estndares y pautas, referido a la capacidad del producto software para adherirse a estndares, convenciones, guas de estilo o regulaciones relacionadas con la usabilidad.

En la figura 2.2, se muestran los factores claves de calidad de acuerdo a ISO 9126 [ISO91], y la inclusin de la usabilidad como factor de calidad.

Fig. 2.2: La usabilidad como un atributo de la calidad del software de acuerdo a ISO/IEC 9126

Captulo 2: Evaluacin de la Usabilidad: Mtodos

9

2.1.1.3 Definicin de NielsenDesde la visin de Nielsen [NIE93b], la usabilidad se define en trminos de cinco atributos de usabilidad: aprendizaje, eficiencia, memorizacin, prevencin de error y satisfaccin subjetiva.

Aprendizaje, significa que nuevos usuarios deberan aprender fcilmente a usar el sistema. Eficiencia, el sistema debera ser eficiente para uso cuando el usuario ha aprendido a usarlo. Memorizacin, el sistema deber ser fcil de recordar incluso despus de algn periodo sin uso. Prevencin de error, el sistema deber tener un bajo porcentaje de error y el usuario deber fcilmente recuperarse de posibles errores. Satisfaccin, significa que el sistema debe ser agradable de usar.

En el modelo de Nielsen, la usabilidad es Parte de la utilidad del sistema, la cual es parte de la aceptabilidad prctica y, finalmente parte de la aceptabilidad del sistema, tal como muestra la figura 2.3.

Fig. 2.3: Marco de definicin de usabilidad de acuerdo a Nielsen

2.2 El Proceso de evaluacinEl proceso de evaluacin de productos software [ZUL00] puede ser descrito de acuerdo al modelo de evaluacin mostrado en la figura 2.4. En una cierta fase de diseo, algunas herramientas de evaluacin, que estn basadas en diferentes mtodos y tcnicas de evaluacin, pueden ser utilizadas para fijar y evaluar el producto. La seleccin del mtodo y tcnica de evaluacin depender de los requisitos generales relacionados con el propsito de la evaluacin, y estos requisitos pueden ser derivados de la demanda de los usuarios, las tareas realizadas con el producto software y el estado de la tcnica.

Fig.2.4: Modelo bsico de evaluacin

Captulo 2: Evaluacin de la Usabilidad: Mtodos

10

2.3 Evaluacin de la usabilidadLa evaluacin de la usabilidad es un proceso para producir una medida de la facilidad de uso. En la evaluacin, hay un objeto que esta siendo evaluado y un proceso a travs del cual uno o ms atributos son juzgados o se les da un valor [KAR97]. La evaluacin de usabilidad para algunos autores como Mayhew [MAY99], es un estudio emprico con usuarios reales del sistema propuesto, con el propsito de proporcionar retroalimentacin en el desarrollo de software durante el ciclo de vida de desarrollo iterativo. El campo de desarrollo de software ha reflejado un creciente inters en pruebas de usabilidad, que son generalmente ejecutadas en los estados de desarrollo de nuevos hardware y software. El concepto de evaluacin de usabilidad es para permitir la validacin de todos los requisitos, para hacerlo tan til como sea posible y as aumentar la calidad del producto y la satisfaccin del cliente del producto potencial. La evaluacin de la usabilidad, es una de las tareas ms importantes que debe emprenderse cuando se desarrolla una interfaz de usuario [WOO98]. Las interfaces pobres pueden, en el ambiente comercial, ahuyentar a clientes potenciales o en el ambiente educativo llevar al fracaso a un aprendiz. En el mundo competitivo de ingeniera de software, una interfaz pobre puede empujar a los usuarios a las manos de la competencia. Algunos mtodos de evaluacin pueden requerir un completo laboratorio de usabilidad y otros pueden lograrse con poco ms que una interaccin semi-formal entre el grupo de desarrollo y los usuarios. Incluso con una inversin relativamente pequea en mtodos de usabilidad puede obtenerse una mejora significativa de la usabilidad de un sistema de software [NIE90a]. Analizando lo anterior podemos establecer que el propsito de la evaluacin de usabilidad es entre otros: 1. Proporcionar retroalimentacin para mejorar el diseo 2. Valorar que objetivos de usuarios y organizaciones estn siendo logrados 3. Monitorizar el uso de productos o sistemas a largo plazo. Ya en los aos 80, se haba reconocido que las pruebas de usabilidad fallaban para encontrar los pre-requisitos, como sugiere Whiteside et.al. [WHI88], debido principalmente a que: Algunos estudios de laboratorios se realizaron en condiciones tan distantes del uso real del sistema que la relacin de los datos obtenidos respecto a la vida real obtenidos son irrelevantes y distorsionadas. b) El uso de usuarios no representativos (vistos como sujetos de experimento), condujo a que en los aos noventa ya se hubiera determinado que los dos pre-requisitos principales para tener resultados vlidos y tiles en cualquier evaluacin de usabilidad [WHI91] eran: Los datos, los cuales deban deducirse de circunstancias que tuvieran validez aceptable La aplicacin de la tcnica de anlisis de datos ms apropiada para los datos obtenidos. Por otro lado, para efectos de la evaluacin de la usabilidad no solo es de inters el escenario fsico y de organizacin de la evaluacin, sino tambin las caractersticas de los usuarios y de las tareas. Ya que una evaluacin basada en el usuario puede estudiar slo un subconjunto de todas las posibles tareas que un sistema puede soportar, la evaluacin debe estar basada en el estudio de las tareas ms representativas, escogidas por su frecuencia o criticidad. Las caractersticas del usuario son tambin importantes en la determinacin de la usabilidad, de forma que es fundamental que sta pueda ser evaluada por un grupo de usuarios representativos de usuarios y no por los propios desarrolladores que poco pueden aportar del uso real. a)

2.4 Revisin de mtodos de evaluacinUn mtodo es un proceso disciplinado para generar un conjunto de modelos que describen varios aspectos de un sistema (software) en desarrollo, utilizando alguna notacin bien definida [BOO96]. Un mtodo de evaluacin de usabilidad es un procedimiento sistemtico para grabar datos relacionados con la interaccin del usuario final con un producto software o sistema [FIT01]. Los datos recolectados son analizados y evaluados para determinar la usabilidad del producto. Respecto a los nombres de los mtodos se observa que la mayora d