Propuesta metodologica para evaluar aplicaciones de TVDI - Mario Solarte

1

Propuesta metodológica para evaluar la usabilidad de aplicaciones de Televisión Digital Interactiva

Exposición presentada por Mag. Mario Solarte

Reunión de Coordinación RedAUTI 2012


Trabajo presentando originalmente en el Séptimo Congreso Colombiano de Computación por

Andrés Fernando SolanoCristian Rusu

César Alberto CollazosJosé Luis Arciniegas

Reunión de Coordinación RedAUTI 2012

3

Agenda


2 Propuesta metodológica

3 Experimentación

4 Conclusiones y trabajo futuro

Introducción 1

4

Introducción (1/2) La Televisión Digital Interactiva (TDi) está creciendo en popularidad. La TDi está llamada a garantizar un grado de cubrimiento > Internet Las aplicaciones interactivas están dirigidas a un público cada vez más amplio –> la

usabilidad se convierte en un atributo fundamental para el éxito de aplicaciones.


X. Ferré, "Marco de integración de la usabilidad en el proceso de desarrollo software," Tesis Doctoral, Lenguajes y Sistemas Informáticos e Ingeniería del Software, Universidad Politécnica de Madrid, 2005.

La usabilidad engloba una serie de métricas y métodos con el objetivo de obtener sistemas fáciles de usar y de aprender. Es la característica de calidad más visible.

Los métodos de evaluación de usabilidad (MEU) son bastante diversos. Categorías: inspección y prueba. Su realización depende de varios factores (costos, disponibilidad de tiempo,

recursos humanos que interpreten los resultados, etc.). “Es recomendable combinarlos en una evaluación para complementarlos entre sí”.

La elección de un método para evaluar la usabilidad no resulta sencilla. Necesidad de establecer una propuesta metodológica que incluya MEU precisos.

5

Introducción (2/2) Varios MEU pueden ser realizados sobre aplicaciones de TDi. Incógnita: nivel de la información que entrega cada uno de ellos y/o la combinación de

unos con otros.Problema

Pregunta ¿Cuáles de los MEU existentes son los más pertinentes para ejecutar sobre

aplicaciones de TDi?


Evaluación Heurística

Recorrido cognitivo

Recorrido pluralista

Medida de prestaciones

Experimentos formales

Interacción constructiva

Entrevistas

Cuestionarios

Método del conductor

Observación de campoFocus group

Inspección de estándares

Análisis de acciones

6

Agenda

1 Introducción

3

4

Propuesta metodológica2

Experimentación

Conclusiones y trabajo futuro


7

MEU objeto de estudio.

Métodos de Inspección:

Pensando en voz altaInteracción constructiva

Experimentos formalesMedida de prestaciones

Prueba/Prototipos en papelMétodos de interrogación (Entrevistas - Cuestionarios)

Métodos de Prueba:

Propuesta metodológica (1/4)

Recorrido pluralista Análisis de acciones Evaluación heurística

Recorrido cognitivo Inspección de estándares

Aplicaciones de TDi objeto de estudio –> EPG, Tablón y Chat.


Ejecución de los MEU sobre aplicaciones de TDi.

8

Propuesta metodológica (2/4) Aplicaciones de TDi objeto de estudio.


9

Propuesta metodológica (3/4) Análisis de resultados de los MEU.

Tiempo transcurrido (Preparación – Proceso – Análisis). Problemas identificados. Particularización de los MEU sobre aplicaciones de TDi (Ventajas – Desventajas

– Otras características).

Identificación de lo métodos a conformar la propuesta metodológica para la evaluación de la usabilidad de aplicaciones de TDi. 3 caminos de evaluación:

• Global• Específica • Completa


10


Interacción Constructiva

Métodos de Interrogación


Interacción Constructiva

Experimentos Formales


• Evaluación Global

• Evaluación Específica

• Evaluación Completa (sin restricciones de tiempo)


Experimentos Formales


Propuesta metodológica (4/4)


11

Agenda

1 Introducción

2 Propuesta metodológica

4

Experimentación3

Conclusiones y trabajo futuro


12

Sesión de Focus Group.

Experimentación (1/3)

… Realimentación, que en general, es buena y favorece la propuesta metodológica.


Laboratorio de TDi de la Universidad del Cauca. 5 expertos en: usabilidad y diseño/desarrollo de aplicaciones de TDi.

13

Evaluación de la usabilidad de aplicaciones de TDi.


Aplicaciones de TDi objeto de estudio –> EPG, Tablón y Chat. Ejecución de los caminos de evaluación:

Evaluación heurística Interacción constructiva Experimentos formales Métodos de interrogación


14

Análisis de resultados –> Tiempo



15

Agenda

1

2

3 Objetivos

Conclusiones y trabajo futuro4

Propuesta de investigación

Contexto


16

Conclusiones y trabajo futuro (1/3)

• Identifica un buen número de problemas de usabilidad.• Entrevistas confirman buena cantidad de problemas identificados por los otros dos

métodos.


Conclusiones de la propuesta metodológica Evaluación Global

• Los experimentos formales realizan un eficiente análisis de las funcionalidades/áreas/escenarios de interés.

• Los experimentos formales y cuestionarios se complementan bien por su carácter objetivo.

Evaluación Específica

• Camino a tomar si la disponibilidad de tiempo es alta.• La información sobre la usabilidad será más completa. • Estos MEU se complementan de muy buena forma.

Evaluación Completa (sin restricciones de tiempo)

17

Conclusiones y trabajo futuro (1/6) La propuesta metodológica se ha planteado mediante el análisis de un caso de

estudio que incluyó tres aplicaciones representativas. Luego, la evaluación se realizó a través de otro caso de estudio, el cual permitió, exitosamente, confirmar que la propuesta metodológica es aplicable a las aplicaciones de TDi. Así, dependiendo de los objetivos de evaluación, los tres caminos planteados permiten obtener resultados de la medida de la usabilidad de manera confiable.


La propuesta metodológica se integra sin mayor dificultad al proceso de desarrollo de las aplicaciones.

Trabajo futuro Refinamiento de la propuesta metodológica. Se propone el estudio con otros estándares de transmisión y en otros entornos

relacionados a la TV digital como IPTV (Internet Protocol Television), Televisión Móvil, entre otros. Trabajo futuro –> extender la investigación a una metodología completa de evaluación de la usabilidad para aplicaciones de TDi.

La propuesta metodológica podría utilizarse para evaluar la usabilidad de aplicaciones de otros contextos.

18

Conclusiones y trabajo futuro (5/6)


Se ha considerado como eje central el concepto de usabilidad, por lo que conviene ampliar el alcance del trabajo, pasando de “evaluación de usabilidad” a “evaluación de la experiencia de usuario”. Así, para estudios posteriores relacionados con el tema, debe considerarse la dimensión afectiva (emocional), multicultural, entre otros aspectos.

Realizar estudio detallado, en un ambiente controlado, que permita obtener información precisa acerca del tiempo demorado en ejecutar los MEU que conforman los distintos caminos.

Realizar estudio detallado de la relación coste/beneficio o del ROI (Retorno de la Inversión) para los distintos caminos de evaluación planteados en la propuesta metodológica.

Agradecimientos

19

• Servicios de T-Learning para el soporte de una Comunidad Académica Virtual (ST-CAV), financiado por Colciencias y el SENA.

• Programa de estancias cortas de LACCIR (Latin American and Caribbean Collaborative ICT Research).

• Lineamientos de usabilidad para el diseño de aplicaciones de Televisión Digital Interactiva. Código 3583 de la Vicerrectoría de Investigaciones de la Universidad del Cauca (Colombia).


• Mecanismo para la interpretación de emociones en la evaluación de usabilidad de entornos virtuales de aprendizaje, financiado por el Ministerio de Educación Nacional de Colombia (MEN) y el Centro de Investigación de las Telecomunicaciones (CINTEL).

20

Gracias por su atención…


Technology

Propuesta metodologica para evaluar aplicaciones de TVDI - Mario Solarte