Evaluación del Software del Proyecto OLPC

Universidad Nacional de Ingeniería

Evaluación de la Usabilidad del software del proyecto OLPC

Carlos Mauro Cárdenas FernándezUniversidad Nacional de Ingeniería


Índice• Resumen

• Proyecto OLPC.– Ergonomía de la OLPC– Software: SUGAR.

• Evaluación de Usabilidad en Niños.– Pruebas de Usabilidad– Diseño de la Prueba.– Resultados!!!

• Conclusiones y Propuestas.

• Trabajos Futuros.


Resumen

• Se presenta la evaluación de Usabilidad realizada al Software de escritorio SUGAR del Proyecto de Una Laptop Por Niño (One Laptop for Children).

• El estudio se centra en el grado de aceptación del software en el primer uso, esperando ser una ayuda a la generación de una elección para el uso de contenidos educativos en el aula evitando la degradación del equipo y desuso del recurso.


Proyecto OLPC


Proyecto OLPC

• A finales de noviembre de 2005, fue anunciado el proyecto durante una convención sobre Internet en Túnez, la ONU estuvo presente en una posterior exposición de este producto.

• El proyecto cuenta con apoyo de Google, AMD, Red Hat, News Corp, Brighstar y la colaboración de otras empresas.

• El sistema está basado en GNU con núcleo Linux y un sistema de escritorio ultra-simple en el que las ventanas siempre se encuentran maximizadas


OLPC en Perú

En esta primera etapa del programa son favorecidos los alumnos y profesores de 569 Instituciones Educativas de las regiones: Amazonas (1,921), Ancash (2,105), Apurímac (1,171), Arequipa (472), Ayacucho (1,872), Cajamarca (5,895), Cusco (2,768), Huancavelica (2,200), Huánuco (2,945), Ica (364), Junín (2,315), La Libertad (2,566), Lambayeque (912), Lima (764), Loreto (3,332), Pasco (708), Piura (2,979), Puno (2,460), San Martín (1,948) y Ucayali (316).


SUGAR

• Software de Escritorio diseñado por la empresa RedHat, MIT Lab y Pentagram.

• Se define 4 niveles de trabajo: Barrio, Aula, Hogar, Actividad (Software en Uso)

• Software embebido en chipset y el SD interno.

• Creado en base a lineamientos Constructivistas.


SUGAR



Visita Arahuay

• Por encargo del Ministerio de Educación el Instituto de Investigación de la Facultad de Ingeniería Industrial y de Sistemas de la UNIVERSIDAD NACIONAL DE INGENIERÍA se realizó un INFORME TECNICO del proyecto OLPC.

• Se suma la iniciativa de un Estudio de Campo al Piloto de ARAHUAY en OCTUBRE del 2007.



Descripción del Problema

• No se cuenta con estudios de usabilidad publicados que sobre el software SUGAR.

• Con la ausencia de guias de uso de las OLPC pueden acelerarse procesos de desgaste de los equipos y pérdida del interés de los niños por el uso efectivo de los mismos.

• Las guías necesitan ser creadas basándose en estudios objetivos

• Se necesita estar ligado a un plan que instrumentalice los recursos que se disponen para el aprendizaje contando con guías para los maestros y desarrolladores a fin de facilitar


Evaluación de Usabilidad en Niños.


Justificación

• Al no contarse con comparaciones entre los diferentes productos de laptops y su usabilidad con el software SUGAR. Se apuesta a este estudio para mejorar su implantación en estos equipos.

• SUGAR LABS apuesta por SUGAR como plataforma universal de software educativo.

• Es incipiente el aseguramiento en la calidad del software en su ciclo de vida.


Alcances

• Es un estudio cuyo origen es una propuesta de tesis sobre el Uso de la Ingeniería de Usabilidad de Software Para Evaluar la OLPC.

• Uso de las Pruebas de Usabilidad a usuarios novatos.


Limitaciones

• Se usará la OLPC y la Classmate para los Test de Usabilidad.

• En el idioma español.• Las pruebas se realizarán fuera de laboratorio,

en un aula del colegio.• Los niños empiezan a leer (5 a 7 años) .• Se utilizarán una lista de programas

personalizados para el Perú propuestos en las discusiones de los desarrolladores de SUGAR.


Evaluación de la Usabilidad


Usabilidad de Software



Test de Usabilidad

• A comienzos del decenio de 1990, Jakob Nielsen, en ese momento un investigador de Sun Microsystems. Su argumento es que, una vez que se comprobó que dos o tres personas son totalmente confundido por la página de inicio, poco se gana viendo más personas sufren por el mismo diseño defectuoso. Los mejores resultados provienen de ensayos no más de 5 usuarios y ejecutando el mayor número de pequeñas pruebas como se lo puede permitir.

U = 1 − (1 − p)^n


Antecedentes de la Investigación

Interacción arquitectura para un sistema con requisitos mínimos. Proyecto propuesto en OpenUsability Season.3

Estudio de Usabilidad en el Rochester Institute of Technology (RIT). El profesor Keith Karn en el Departamento de Tecnología de la Información del RIT NY. En estudio

2

1Evaluación de Usabilidad en Universidad Tecnológica de la Mixteca. Concluido

Extraidos del Wiki OLPC, Papers y OpenSusability


Objeto de Investigación

• El objeto de la investigación será el alumno de primer de primaria (5 a 6 años) del Colegio Julio C. Tello Nro. 1173 ubicado en el distrito de San Juan de Lurigancho, la ciudad de Lima Metropolitana. A los cuales se les tomará 3 test de usabilidad para determinar el grado de adaptación del niño con el Software SUGAR.


CN Julio C. Tello 1ro A – Prof Sonia Lazón



Población y Tamaño

• Selección de Participantes– Se tomó una prueba de preguntas al salón de

1ro A de primaria con un número de 19 alumnos registrados.

– Se seleccionó 12 alumnos 6 hombres y 6 mujeres

Paper: Virzi, R.A., Refining the Test Phase of Usability Evaluation: How Many Subjects is Enough? Human Factors, 1992. 34(4): p. 457-468.


Hipótesis

• Hipótesis General: Ho = El número de errores encontrado en la pruebas de test de usuarios con escritorio SUGAR es menor en un 70 % que los usuarios con laptos de OLPC.

• Específicas:– ho1: Los Niños tienen un 30% mas de errores

en SUGAR que las Niñas.


Cerrar la Tortuga5

Hacer clic al Bloque4

Desplazar un Bloque3

Hacer clic la Tortuga2

Identificar el Icono Tortuga1

Tareas

Experimentación


Pruebas Pilotos

• Clase Maestra a los Alumnos

• Prueba por 10 a 15 min.

• Uso de asesoría docente.

• Filmada.

• Video de Pruebas.






Test Piloto OLPC


Test Piloto OLPC


Observaciones Cualitativas

• Las Classmate tienen una versión antigua de SUGAR y no se adapta al software para Perú de la OLPC.

• Las Classmate carecen de teclas funcion adecuadas para el SUGAR

• Las OLPC en el programa Turtle presenta un diseño gráfico muy reducido dificultando la visión

• El padmouse en la OLPC no se diferencia



Evaluación del Escritorio

• Tareas:• 1. Identificar el Cursor.

• 2. Ir a la Vista Hogar.

• 3. Ir a la Vista Grupo.

• 4. Ir a la Vista Vecindario.

• 5. Hacer Click en un enlace de internet.

• 6. Ir a Hogar.

• 7. Navegar por las Pestañas de Actividades.


Indicadores

• Acciones Concluidas

• Acciones No Concluidas

• Porcentaje de Acciones Concluidas

• Porcentaje de Acciones No Concluidas

• Nro. Ayudas

• Errores en Software

• Porcentaje de Errores Software

• Errores en Hardware

• Porcentaje de Errores Hardware

• Errores de los Niños

• Porcentaje de Errores en Niñas


Niñas

1ro 2do 3ro 4to 5to 6to

Concluido 7 7 6 7 6 7 6.67

No Concluido 0 0 1 0 1 0 0.33

% Concluido 100.00% 100.00% 85.71% 100.00% 85.71% 100.00% 95.24%

% No Concluido 0.00% 0.00% 14.29% 0.00% 14.29% 0.00% 4.76%

Tiempo 275.72 280.78 294.54 218.98 318.02 334.65 287.12

% de Tiempo 57.44% 58.50% 61.36% 45.62% 66.25% 69.72% 59.82%

Nro. Errores 2 3 6 4 3 5 6

Nro. Ayudas 3 3 7 4 7 6 5.00

% Err / Preg. 28.57% 42.86% 85.71% 57.14% 42.86% 71.43% 85.71%

Err. Software 1 2 2 2 1 1 1.5

Err. Hardware 1 1 1 1 1 1 1.00

Niño 0 1 3 1 1 3 1.50

% Niño 0.00% 33.33% 50.00% 25.00% 33.33% 60.00% 59.82%


Niños

1ro 2do 3ro 4to 5to 6toConcluido 7 7 7 5 7 6 6.5No Concluido 0 0 0 2 0 1 0.5% Concluido 100.00

%100.00% 100.00% 71.43% 100.00% 85.71% 92.86%

% No Concluido 0.00% 0.00% 0.00% 28.57% 0.00% 14.29% 7.14%

Tiempo 295.83 285.51 583.92 446.43 652.073 405.87 444.94% de Tiempo 61.63% 59.48% 121.65% 93.01% 135.85% 84.56% 92.70%

Nro. Errores 3 1 5 7 3 6 7

Nro. Ayudas 3 3 7 7 2 4 4.33

% Err / Preg. 42.86% 14.29% 71.43% 100.00% 42.86% 85.71% 100.00%

Err. Software 1 1 1 1 1 1 1.00

Err. Hardware 1 1 1 1 1 1 1.00

Niño 1 1 3 5 1 4 2.50% Niño 33.33% 100.00% 60.00% 71.43% 33.33% 66.67% 92.70%


Evaluaciones Realizadas

Niños Niñas

OLPC Sugar Build 703 Rel. 8.1.0

Test de Usabilidad de Sugar Desktop 5 5

Test de Usabilidad de Grabar 6 6

Test de Usabilidad de Memoria 3 3

Test de Usabilidad de Pintar 1 1

OLPC Sugar Build 656 Rel. 7.2.0

Test Piloto de Usabilidad de Turtle Art 1 1

ClassMate Ubuntu

Test Piloto de Usabilidad de Turtle Art 1 1

OLPC Sugar Build 767 Rel 8.2.0

Test de Usabilidad de Sugar Desktop 6 6


CONCLUSIONES


Conclusiones

• Aplicación del estudio a Proyectos Similares: Asus EEEPC o PC Normal.

• Creación de buenas prácticas para la conservación y manejo de las OLPC.

• Mejora de las líneas guías para realizar interfaces gráficas.

• Con el desarrollo de modelo de solución se propone un método de evaluación comparativa de usabilidad por medio de pruebas.

• Mejorar el proceso de Aseguramiento de Calidad para el software dela OLPC.


Productos Parecidos

Producto Empresa Costo Lanzamiento

eeePC Asustek Computer

249 11/06/2007

CloudBook Everex 399 01/03/2008

MiniNote hiVision 98 01/09/2008

Noahpad E-Lead 120 12/12/2007

Classmate Intel 350 28/09/2006


Trabajos Futuros


Trabajos Futuros

• Terminar los test de usabilidad• Desarrollar el framwork de Usabilidad

SUGAR.• Estudio de Campo a Septiembre

Octubre (Sierra Lima, Ancash, Ica Ferreñafe).

• Presentación a Congreso CHI



Trabajos de Usabilidad

• Proyecto Aprobado Test Usability OLPC:http://wiki.laptop.org/go/Projects/TestUsabilityOLPC

• Revisión de la Usabilidad y Accesibilidad del Proyecto Zikula.(Programa GOOGLE Summer of Code 2008)

http://code.zikula.org/usability


Bibliografía

• Jackob Nielsen. Usability engineering. 1993.• Jakob Nielsen. Usability engineering (the morgan

kaufmann series in interactive technologies).• 1994.• Jean Piaget. La construcci´on de lo real en el ni˜no.

pages 1–7, 1965.• Janet Read and Matthew Horton. Recognition errors and

recognizing errors children writing• on the tablet pc. Child Computer Interaction Group,

1(4):14–27, 2007.• Rubin. Test usability. pages 7–8, 1994.


Mas Detalles

• Correo:

–[email protected]

• Test Usability OLPC:– http://wiki.laptop.org/go/Projects/

TestUsabilityOLPC

• Blog:

–http://unimauro.blogspot.com

Education

Evaluación del Software del Proyecto OLPC