View
232
Download
5
Category
Preview:
Citation preview
Usabilidad, UX … ¿cómo medimos?
Universidad AUTÓNOMA de Occidente
Cali, ColombiaToni Granollers (julio, 2015)
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
UsabilidadInterfaz Amigable
User FriendlyUser eXperience
Factores humanosAccesibilidad
……
2 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
PeroQué pasaba hace
tan solo unos años?
3 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Usaqué ?
2000 2013
4 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Índice• Contextualización• Usabilidad• UX• HCI / IPO
• Medición de la usabilidad• a partir de los atributos que la definen• System Usability Scale (SUS)
• Medición del componente emocional
5 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Evolución de las TICs
1981
6 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
1983: 400 computers on the #internet. Today: one billion + (plus smart phones!)
http://vimeo.com/album/3096607/video/110794988
7 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Usabilidad
• Definición “coloquial” [J. Preece, 1994]
• Sistemas fáciles de usar y de aprender
• Definición formal [ISO 9241-11]
• la medida en la que un producto se puede usar por determinados usuarios para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso especificado”
8 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Usabilidad
USABILIDAD
9 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Dimensiones de la usabilidad
puede ser medida o evaluada por observación del usuario mientras realiza tareas de interacción y se puede medir mediante métodos tradicionales
indica la usabilidad percibida o satisfacción de uso, y es difícil de entender y de medir
Usabilidad OBJETIVA o inherente
Usabilidad SUBJETIVAo aparente
10 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Usabilidad en Objetos cotidianos
Los objetos bien diseñados son fáciles de interpretar y de comprender.
Los objetos mal diseñados pueden ser difíciles de utilitzar y frustran al usuario
?11 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
No confundir usabilidad con otros atributos de la interfaz de usuario (UI)
http://www.awwwards.com
The awards for design, creativity and innovation on the Internet
12 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
UsereXperienc
e
13 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Car UXhttp://www.teslamotors.com/models/photo-gallery
14 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 15 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
UI UX
16 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
UX design is about usability
submit
submit
vs
UI design
Function: it works
submit
vs
Usbility design
Action: it works WELL
cancel
submit cancel
Yes, complete my order
UX design
Emotion: it works well and makes me say Wow!
No, thanks
17 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
User Experience HoneycombPeter Morville
http://www.pageportfolio.net/2013/05/31/ux-services-i-provide
18 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Experiencia de usuario User eXperience (UX)
“La experiencia de usuario atiende a todos los factores, tanto internos como externos del usuario y del sistema
interactivo, que causen alguna sensación a quien esté utilizando un sistema interactivo concreto en un determinado
contexto de uso.”
• Is a “consequence of the presentation, functionality, system performance, interactive behaviour, and assistive capabilities of the interactive system”
• It includes aspects such as human factors, design, ergonomics, HCI, accessibility, marketing as well as usabilityhttp://usabilitygeek.com/the-difference-between-usability-and-user-experience
19 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Human-Computer Interaction (HCI)Interacción Persona-Ordenador (IPO)
• Disciplina relacionada con el diseño, implementación y evaluación de sistemas informáticos interactivos para el uso de personas y con el estudio de los fenómenos más importantes con los que se relaciona
[ACM SIGCHI curriculla, 1992, p 6]http://sigchi.org
20 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
ÍndiceContextualización
UsabilidadUXHCI / IPO
• Medición de la usabilidad• a partir de los atributos que la definen• System Usability Scale (SUS)
• Medición del componente emocional
21 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Los humanos tenemos la
necesidad de medirlo todo
22 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 23 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 24 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 25 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Fuente. http://www.cida.ve/cida_home/index.php?option=com_content&view=article&id=601:-el-cida-promueve-proyecto-eratostenes-america&catid=1:ultimas-noticias&Itemid=54
26 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
pero .... ¿cómo medimos la
usabilidad y/o la UX ?
27 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición de la Usabilidad• Inicialmente, la medición de la usabilidad
SOLO estaba enfocada a la efectividad y a la eficiencia• did people reach the right conclusion with a
minimum expenditure of effort and as few mistakes as possible?
• effectiveness and efficiency were key to the safety of industrial processes, or decisions with potentially serious consequences.
mitad
80’s
28 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición de la Usabilidad• Posteriormente, especialmente desde la
emergencia de la ofimática, las opiniones de lo susuarios finales adquiren relevancia• If a system gained a reputation for being difficult to
use, that often led to greater requirements for support (and consequent costs), both within the organization deploying the system, and for the vendor of the system, and potentially had a major influence on initial decisions to purchase the system
• Surge la necesidad de medir las opiniones subjetivas sobre el uso de un sistema
mitad
90’s
29 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición de la Usabilidad• No concreta sobre la usabilidad, solo que
algo es usable si es apropiado en su contexto de uso
ISO
9241part 11
El contexto incluye:• Las tareas• El backgroud• La experiencia del usuario• El entorno
30 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Unix shell command line interface
es usable
esta interfaz?Fuera de su contexto (mediados 70’s, para ingenieros y
científicos que manipulaban expresiones simbólicas)
NO31 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición de la Usabilidad
USABILIDAD
si la gente puede completar sus tareas y alcanzar sus metas
el grado en que se consumen los recursos en la consecución de sus objetivos
el nivel de comodidad que experimentan en el logro de esos objetivos
32 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
EFECTIVIDAD
Medición de la Usabilidad• Atributo definido en función de las
TAREAS por las cuales un sistema es utilizado
• Expresado en términos de recursos utilizados o en actividad no productiva (cómo en solucionar errores), TIEMPO.
EFICIENCIA
Parámetros relativamente fáciles de medir
33 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SATISFACCIÓN
Medición de la Usabilidad• Expresado en términos de OPINIONES
subjetivas de un conjunto de usuarios.• Condicionado por:• Conocimiento de otros sistemas (comparación)• Cada uno tiene su percepción personal• Estado anímico/emocional (una misma persona
puede dar opiniones diferentes sobre un mismo sistema)• Tiempo de medición
Parámetro altmente difícil de medir
34 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SYSTEM USABILITY SCALE (SUS)
The System Usability Scale (SUS) was released by John Brooke in 1986Una “vieja” herramienta muy actual y con mucho recorrido
Font
: htt
ps:/
/ww
w.m
easu
ringu
.com
/blo
g/10
-thi
ngs-
SUS.
php
35 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
System Usability Scale (SUS)• A tool that would allow us (usability analysts) to take a
quick snapshot of people’s satisfaction with using the systems that we were asking them to use, and that we could use as a yardstick to compare one system with another or to compare a new version of a system with an earlier incarnation.
Es este atributo más importante que los anteriores? Seguramente NO, pero las evaluaciones
subjetivas suelen ser determinantes a la hora de recomendar un sistema a otras personas.
36 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: contexto• Vax/VMS system by Digital Equipment
Corporation (DEC), in the mid-1970s
This was not a very exciting system from a user interface design point of view, having a menu interface on VT100 terminals. However, we also worked on a number of other products that were very much on the cutting edge of technology at the time, such as DECtalk Mail Access, which used the DECtalk text-to-speech synthesizer (the voice synthesizer used by Stephen Hawking sounds pretty much identical to DECtalk’s “Perfect Paul” voice) to read your ALL-IN-1 emails over the phone when you were out on the road—pretty new and exciting stuff for 1984.
37 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
System Usability Scale (SUS)• Un cuestionario de tan solo 10 preguntas:
1. I think that I would like to use this system frequently.2. I found the system unnecessarily complex.3. I thought the system was easy to use.4. I think that I would need the support of a technical person to be able
to use this system.5. I found the various functions in this system were well integrated.6. I thought there was too much inconsistency in this system.7. I would imagine that most people would learn to use this system very
quickly.8. I found the system very cumbersome to use.9. I felt very confident using the system.10.I needed to learn a lot of things before I could get going with this
system.
38 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Puntos importantes• Alternancia de ítems para evitar distorsión en las
respuestas.• El cuestionario invita a responder rápidamente, aunque
la alternancia de respuestas negativas con positivas fuerza al usuario a leer con mayor atención para responder si estan o no de acuerdo con cada pregunta
“all-positive” SUS versionSauro. J., & Lewis, J. (2011). When designing usability questionnaires, does
it hurt to be positive? Proceedings of the Conference in Human Factors in Computing Systems (CHI 2011). Vancouver, BC, Canada: ACM.
39 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
# All Positive SUS Originial SUS1 I think that I would like to use the website
frequently.I think that I would like to use this system frequently.
2 I found the website to be simple. I found the system unnecessarily complex.
3 I thought the website was easy to use. I thought the system was easy to use.
4 I think that I could use the website without the support of a technical person.
I think that I would need the support of a technical person to be able to use this system.
5 I found the various functions in the website were well integrated.
I found the various functions in this system were well integrated.
6 I thought there was a lot of consistency in the website. I thought there was too much inconsistency in this system.
7 I would imagine that most people would learn to use the website very quickly.
I would imagine that most people would learn to use this system very quickly.
8 I found the website very intuitive. I found the system very cumbersome to use.
9 I felt very confident using the website. I felt very confident using the system.
10 I could use the website without having to learn anything new.
I needed to learn a lot of things before I could get going with this system.
Font: http://www.measuringu.com/positive-negative.php40 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Utilización• SUS se utiliza generalmente
• después de que un usuario ha tenido la oportunidad de utilizar un sistema y
• antes de que cualquier informe o discusión tenga lugar. • Se solicitará a los usuarios el registro inmediato de su
respuesta a cada punto, sin dar lugar a pensar o reflexionar sobre los mismos.
• Todos los puntos han de ser comprobados. • Si el usuario no se siente capaz de responder a alguna cuestión
en particular, deberá señalar el valor central de la escala.
41 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Utilización• Puntuación de la escala SUS• Escala tipo Likert que genera un único número que representa
una medida compuesta de la usabilidad del sistema global sometido a estudio:
Para equiparar las valoraciones positivas con las negativas
a) Preguntas POSITIVAS (1, 3, 5, 7 y 9), la contribución será el valor de la escala menos 1
b) Preguntas NEGATIVAS (2, 4, 6, 8 y 10), la contribución será 5 menos el valor de la escala.
c) Finalmente, se multiplica la suma de los resultados por 2.5 para obtener el valor global del SUS
Para obtener un valor entre 0 y 100
42 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Interpretación
CUIDADOel valor de la escala
NO debe interpretarse cómo un valor porcentual (porcentaje de usabilidad
del sistema evaluado)
Figure. Grade rankings of SUS scores from “Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and J.T. Miller, 2009,Journal of Usability Studies, 4(3), 114-123
Figura obtenida tras valorar más de 3,500 test de SUS
43 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Interpretación
Figure. Percentile rankings of SUS scores from “A Practical Guide to the System Usability Scale: Background, Benchmarks, & Best Practices,” by J. Sauro, 2011, Denver, CO: Measuring Usability LLC
… pero si cómo un percentil
44 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Ejemplo
1 2 3 4 51 Creo que me gustará visitar con frecuencia este website 5 42 Encontré el website innecesariamente complejo 4 13 Pensé que era fácil utilizar el website 2 14 Creo que necesitaría del apoyo de un experto para recorrer el website 1 45 Encontré las diversas posibilidades del website bastante bien integradas 2 16 Pensé que había demasiada inconsistencia en el website 3 27 Imagino que la mayoría de las personas aprenderían muy rápidamente a utilizar el website 2 18 Encontré el website muy grande al recorrerlo 4 19 Me sentí muy confiado en el manejo del website 5 410 Necesito aprender muchas cosas antes de manejarme en el website 2 3
22x 2,5
Positivas: valor - 1Negativas: 5 - valor
55
Grado de aceptación BAJOPercentil 20%
45 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Sigue siendo válido para la tecnología moderna
• Adaptando la terminología (web, celular, tablet, ...) el cuestionario es totalmente vigente• Las preguntas no hacen referencia a la tecnología
en sí misma sino que preguntan respecto a su uso• La ponderación de las 10 respuestas proporciona
una medida genérica de la usabilidad percibida. Pero NO deben tomarse cómo la ÚNICA MEDIDA de usabilidad
siempre fue así …SUS is pretty much technology-neutral
46 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: comparativa
“A Comparison of Questionnaires for Assessing Website Usability,” by T. S. Tullis and J. N. Stetson, 2004, Proceedings of UPA 2004 Conference
SUS enables you to get a measure of the
perceived usability of a system with a small sample
(say, 8-12 users)
• SUMI, Software Usability Measurement Inventory•WAMMI, Website Analysis and
MeasureMent Inventory•QUIS, Questionnaire for User
Interaction Satisfaction•UEQ, User Experience
Questionnaire
47 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: conclusiones• Fiable. Los usuarios responden de forma consistente y ha demostrado
su utilidad para tamaños de muestra más pequeños que otros cuestionarios.
• Válido. Es decir, se mide lo que pretende medir.• No es un diagnóstico. No dice lo que hace que un sistema sea usable o
no.• El valor NO es porcentaje. Aunque pueden interpretarse cómo
percentiles.• El valor SUS tiene muy poca relación con el desempeño o el
rendimiento de las tareas, • por lo que no es de extrañar que las evaluaciones subjetivas de las personas
pueden no ser compatibles con si o no tuvieron éxito usando un sistema. • Las evaluaciones subjetivas de la usabilidad son sólo un componente de la
construcción general de la usabilidad.
48 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
ÍndiceContextualización
UsabilidadUXHCI / IPO
Medición de la usabilidada partir de los atributos que la definenSystem Usability Scale (SUS)
• Medición del componente emocional
49 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición del componente EMOCIONAL de la UX
PANAS, Positive and Negative Affect ScaleEscala de afecto positivo y negativo (1988)
50 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición del componente EMOCIONAL de la UX
PrEMO (2004)
Emocards (2001)LemTool (2013)
GEW (2012)
51 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición del componente EMOCIONAL de la UX
GEW+ (2015)
52 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Medición del componente EMOCIONAL de la UX
Emotiv EPOC
53 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
... Para FINALIZAR un ejemplo
Liquid Galaxy
Space Navigator
54 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 55 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 56 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Conclusión• Tras una contextualización a los conceptos de
básicos del “mundo HCI” (cómo son Usabilidad y UX),
• he dedicado la mayor parte de mi charla a insistir en la “Medición de la usabilidad”,
• centrando mi exposición en el método largamente utilizado y totalmente válido actualmente System Usability Scale (SUS), y
• en cómo medir del componente emocional de la UX
57 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Bibliografia
“A Practical Guide to the System Usability Scale: Background, Benchmarks & Best Practices”Jeff Sauro2011
“Quantifying the User Experience: Practical Statistics for User Research”Jeff Sauro2012
“Excel and R Companion to Quantifying the User
Experience: Rapid Answers to over 100 Examples and
Exercises”James R Lewis & Jeff Sauro
2012
“Measuring the User Experience: Collecting,
Analyzing, and Presenting Usability Metrics (Interactive
Technologies) 2nd Edition”William Albert & Thomas Tullis
2013
58 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
SUS: Bibliografia
• Measuring Usability with the System Usability Scale (SUS), Jeff Sauro• http://www.measuringu.com/sus.php
• “Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and J.T. Miller, 2009, Journal of Usability Studies, 4(3), 114-123
• Brooke, J. SUS: A Retrospective, by John Brooke. Journal of Usability Studies. Vol. 8, Issue 2, February 2013 pp. 29-40• http://uxpajournal.org/sus-a-retrospective
59 / 60
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]
Gracias por su atención !!!
Toni GranollersEscola Politècnica Superior
Universitat de Lleida (UdL)
C/ Jaume II, 69
25001 – Lleida (Catalonia)
(+34) 973 702750
antoni.granollers@udl.cat
@DCU_MPIUA
slideshare.net/DCU_MPIUA
@
60 / 60
Recommended