Evaluación de Usabilidad y Experiencia de Usuario Aldo Gordillo, Enrique Barra Departamento de...

Evaluación de Usabilidad y

Experiencia de Usuario

Aldo Gordillo, Enrique Barra

Departamento de Ingeniería Telemática Universidad Politécnica de Madrid

¿Por qué es tan importante?

Afecta a nuestra vida cotidiana

Mundo empresarial: una buena usabilidad y experiencia de usuario se traduce en un incremento de beneficios y/o disminución de costes

Su evaluación se ha convertido en una parte esencial en el desarrollo de sistemas, productos y servicios

Tiene un rol importante en nuestras vidas…

Más ejemplos….

Cajero de un banco

Sistema de entretenimiento de vuelo

Shutdown de Ubuntu

Y más… Un microondas

Usabilidad y Experiencia de Usuario

Usabilidad (Usability)

La usabilidad se suele considerar como la facilidad con la que un usuario utiliza un sistema o producto para realizar una tarea de forma satisfactoria.

Experiencia de Usuario (User Experience – UX)

La experiencia de usuario abarca un campo más amplio, considerando todos los aspectos de la interacción del usuario con el sistema. No cubre solamente la facilidad de uso sino también otros aspectos como los pensamientos, emociones y percepciones que resultan de la interacción.

Usabilidad vs Experiencia de Usuario

Usabilidad

Calidad pragmática• Rendimiento

ej: tiempo empleado en la realización de tareas, % éxito

Parcialmente objetiva

Relativamente persistente

Métricas estandarizadas

Experiencia de Usuario

Calidad hedónica• Emociones

ej: frustración, curiosidad

• Satisfacción

Altamente subjetiva

Intrínsecamente dinámica

No hay métricas estandarizadas

Relación entre Usabilidad y Experiencia de Usuario

Fuente: Measurability and Predictability of User Experience (UX), Effie Law

Usabilidad y Experiencia de usuario

Es posible evaluar y medir la usabilidad y experiencia de usuario de un sistema o producto

• Mediciones cualitativas

• Mediciones cuantitativas

Existen métricas para casi cualquier tipo de fenómeno que se quiera evaluar

Aunque hay quien pone en entredicho que la experiencia de usuario pueda ser medida…

Métricas

Una métrica es una forma de medir o evaluar de forma cuantitativa un fenómeno u objeto.Ej: tiempo (segundos), distancia (metros), peso (gramos), …

Observables

Cuantificables (números)

Los campos de la usabilidad y experiencia de usuario tienen sus propias métricas Ej: éxito en las tareas (%), tiempo tareas (segundos), satisfacción

Estas métricas revelan algo acerca de la interacción entre el usuario y el sistema

Tipos de métricas

EficaciaSer capaz de realizar una tarea

EficienciaEsfuerzo requerido para la realización de la tarea

SatisfacciónEl grado en el que el usuario estaba contento en cuanto a su experiencia de uso durante la realización de la tarea

¿Para qué valen las métricas?

¿Les gustará el producto/sistema a los usuarios?

¿Este nuevo producto es más eficiente en cuanto al uso que el producto actual?

¿Cómo es la usabilidad y experiencia de usuario de este producto comparado con el de la competencia?

¿Cuales son los problemas de usabilidad más significativos de este producto?

¿Para qué valen las métricas?

Mejorar (detección y priorización de problemas)

Predecir y prevenir puestas en producción de sistemas poco usables

Comparar (versión anterior, competencia, …)

Fuente de información para la toma de decisionesy cálculo del ROI (retorno de inversión)Corazonadas / Los usuarios dicen vs Los usuarios hacen

Entender mejor al usuario final

Recolección de métricas

Existen diferentes métodos de evaluación en función del tipo de métrica que se quiera obtener

No tiene un coste excesivamente elevado en términos de tiempo o dinero

Es posible obtener datos fiables con una muestra relativamente pequeña

Existen métricas para casi cualquier tipo de fenómeno que se quiera estudiar

Es necesario diseñar un estudio de usabilidad

Diseñando un estudio de Usabilidad

1. ¿Qué tipo de participantes necesito?

2. ¿Cuántos participantes?

3. ¿Voy a comparar datos de un grupo de participantes, o de varios?

4. ¿Es necesario ajustar el orden de las tareas?

1. Seleccionando participantes

1. Deben ser representativos de tu público/usuarios finalesej: niños, ancianos, médicos, profesores, población general

2. Decidir si se quiere separar los participantes en grupos, y elegir los grupos, por ejemplo, en función de:

Experiencia (principiante, intermedio, experto)

Frecuencia de uso (nº interacciones por semana)

Factores demográficos (sexo, edad, lugar, etc.)

1. Seleccionando participantes

3. Elegir una estrategia de muestreo

Muestreo aleatorio: selección equiprobable

Muestro sistemático: selección en base a un criterio predefinido

Muestro estratificado: selección para varios subgrupos

Muestras de conveniencia: seleccionar al que quiera participar

2. Tamaño de la muestra

¿Cuántos participantes necesito para mi estudio de usabilidad? No hay reglas de oro.

El tamaño de la muestra necesario dependerá de los objetivos de nuestro estudio y del margen de error que estemos dispuestos a asumir.

Sistemas complejos requieren más muestras

Cuanto mayor sea la muestra menor será el error

El grado de confianza de la muestra se puede analizar mediante estadística aplicada*

* El área de la estadística que se ocupa de inferir resultados sobre una población a partir de una o varias muestras

2. Tamaño de la muestra

Si 8/10 participantes completan una tarea con éxito en un test de usabilidad, ¿podemos decir que el 80% de la

población será capaz de completarla?

2. Tamaño de la muestra

Si 8/10 participantes completan una tarea con éxito en un test de usabilidad, ¿podemos decir que el 80% de la

población será capaz de completarla?

No

2. Tamaño de la muestra

Si 8/10 participantes completan una tarea con éxito en un test de usabilidad, podemos decir (con un 95% de confianza) que entre el

48% y el 95% de las personas de la población general será capaz de completar la tarea con éxito.

Fuente: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics

3. Comparación de datos

Elegir el enfoque para el estudio de usabilidad

• Estudio Within-SubjectsPara cada participante, se comparan diferentes datos (ej: % éxito para diferentes diseños/versiones de un sistema)Lo que varía entre medidas es el sistema.

• Estudio Between-SubjectsSe comparan los datos entre los participantes(ej: % éxito para diferentes grupos de edad)Lo que varía entre medidas es el tipo de usuario.

• Estudios Mixtos: Between & Within-SubjectsSe comparan datos entre participantes a lo largo de diferentes diseños/versiones del sistema

3. Estudio Within-Subjects

Cada participante se compara consigo mismo, varía el sistema

• Las diferencias en las medidas no pueden ser atribuidas a diferencias entre participantes

Útil para evaluar como de fácil/complicado aprenden los usuarios a utilizar un sistema concreto

Pueden existir efectos de arrastre (práctica, fatiga) los cuales deben ser contrarrestados Por ej: especificar un orden de tareas diferente para cada participante

3. Estudio Between-Subjects

Compara resultados de diferentes participantes

• % éxito de Jóvenes vs Adultos vs Ancianos

• tiempo empleado de Novatos vs Expertos

• satisfacción de Hombres vs Mujeres

No es necesario contrarrestar los efectos de arrastre porque afectan a todos los grupos por igual

4. Contrarrestando efectos de arrastre

Puede ser necesario en estudios within-subjects

Se puede conseguir siguiendo un orden de tareas específico en el estudioej: Plan para un estudio con 4 participantes y 4 tareas

Fuente: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics

Datos coleccionados

Tipos de datos

• Nominal (“verde”, “rojo”, …)

• Ordinal (“excelente”, “bueno”, …)

• Intervalos (8/10 de opinión general, 2/5 en …)

• Ratio (10 segundos, 0 errores, …)

Cada tipo de dato debe tratarse/analizarse de forma diferente

Datos coleccionados

Al presentar los datos gráficamente, es esencial utilizar el tipo de gráfico apropiado

• Gráficos de barra/columna

• Circulares (de tarta)

• Gráficos de línea

• Diagramas de dispersión

• Gráficos de barras apiladas

Planificación de un estudio de usabilidad

1. Definir los objetivos del estudio

• ¿Evaluación formativa o sumativa?

• Investigación

2. Escoger las métricas adecuadas

3. Presupuesto y calendario

4. Escoger métodos de evaluación

5. Escoger y conseguir participantes

6. Recolección y análisis de datos

Estudios de investigación de usabilidad Objetivo: responder a las preguntas de investigación• ¿Las personas mayores tienen más problemas para usar el

sistema?• ¿Los expertos tardan menos tiempo que los novatos en

realizar las tareas?

Variable independienteEs la que nosotros manipulamos (edad, grado de experiencia, etc.) para responder a las preguntas de investigación

Variable dependienteTodas aquellas que medimos al cambiar la variable independiente. Todas las métricas: %éxito, tiempo, etc.

Debemos tener muy claras las variables independientes y dependientes de nuestro estudio antes de realizarlo

Escoger las métricas adecuadas

Fuente: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics

Métodos de evaluación

Entrevistas individuales o en grupo

Encuestas (papel/online)

Sistemas de tracking (seguimiento)

Evaluaciones realizadas por expertos

Recolección de feedback (comentarios, sugerencias, …)

Más de 80 métodos: http://www.allaboutux.org

Entrevista individual

Eye Tracking (Seguimiento de Ojos)

Heatmaps (Mapas de calor)

Clickmaps (Mapas de click)

Scrollmaps (Mapas de scroll)

Face Reader (Lector de Caras)

Emocards (Medición de emociones)

Me interesa el tema…

¿Preguntas?

Aldo Gordillo - agordillo@dit.upm.es

Enrique Barra - ebarra@dit.upm.es