View
200
Download
0
Category
Preview:
DESCRIPTION
Dentro de los eventos del 2o Coloquio Internacional Las Facetas de la Evaluación, presentaremos nuestra conferencia, en conjunto con nuestros amigos del Infotec.
Citation preview
1
Desarrollando un estudio de usabilidad para sitios
gubernamentales mexicanos: Caso de estudio
del Portal del Empleo Mario A Moreno Rocha, Carlos A Martínez Sandoval (UTM)
Jesús Salvador Aguilar Bautista (Infotec) Heriberto López Ramírez (UNSIS)
Noviembre, 2014
El#Fondo#de#Información#y#Documentación#para#la#
Industria#(INFOTEC)#es#un#organismo#público,#adscrito#al#
Consejo#Nacional#de#Ciencia#y#Tecnología#(CONACYT)#de#
México.#
##
Es#un#centro#público#de#innovación#y#desarrollo#
tecnológico,#contribuimos#en#proyectos#de#
compeJJvidad#del#gobierno#y#de#insJtuciones#privadas#
a#través#del#uso#de#las#tecnologías#de#información#y#
comunicaciones#(TIC).#
#
Uno$de$nuestros$clientes$más$importantes$es$la$Secretaría$del$Trabajo$y$Previsión$Social.$$$Entre$los$proyectos$que$tenemos$con$la$secretaría,$destaca$el$Portal$del$Empleo.$$$Es$un$portal$y$una$aplicación$web$orientada$a$dos$@pos$de$usuario:$Candidatos)y)Empresas.)
El#portal#debe#vincular#a#candidatos#con#las#ofertas#de#empleo#de#empresas#a#través#de#un#buscador#de#ofertas#de#empleo.##Además#debe$ofrecer$servicios$y$programas$de$apoyo$como:#
• Bolsa#de#trabajo#• Becas#de#capacitación#• Ferias#de#empleo#• Fomento#al#empleo#
La#aplicación#empresarial#maneja#la#parte#transaccional#del#portal.#En#ella,#se#hacen#registros#de#empresas,#solicitantes#y#ofertas#de#empleo.#Además#cuenta#con#diversas#funcionalidades#para#encontrar#las#mejores#opciones#de#empleo.##Espacio#con#funcionalidades#para#candidatos#y#empresas:##
• Buscadores#de#empleo#y#de#candidatos#• Actualización#de#perfil#de#candidatos#• Administración#de#ofertas#de#empleo#• Administración#de#postulaciones#
Gran%can'dad%de%información%y%servicios%a%través%del%portal%por%la%obligación%de%ofrecer%servicios%y%programas.%%Se%amplió%el%público%obje'vo:%nivel%básico%hasta%nivel%de%posgrados.%%Solicitamos%al%UsaLab%de%la%UTM%que%nos%ayudara%a%realizar%una%evaluación%de%la%Experiencia%de%Usuario,%a%través%de%un%estudio(contextual(y(pruebas(de(usabilidad.%
¿Quiénes somos?
7
Nuestra propuesta Servicio de Evaluación de Experiencia de Usuario del Portal del Empleo
1. Análisis Experto 2. Estudio Contextual 3. Estudio de Usabilidad/UX 4. Rediseño de la Interface
8
Definición de usuarios
9
Candidatos con nivel licenciatura
Definición de usuarios
10
Candidatos sin nivel licenciatura
Definición de usuarios
11
Responsables de RH
Objetivos de las pruebas
12
1.Efectividad – entendida como la medida en la cual el usuario logra completar la(s) tarea(s) propuestas con el sistema para realizar su trabajo.
2.Eficiencia – entendida como la rapidez con la que el usuario logró realizar la(s) tarea(s) propuestas para realizar su trabajo, y
3.Satisfacción – entendida como la preferencia general y gusto del usuario por el sistema por características identificadas por él en el software.
Objetivos de las pruebas
13
• Valor de la información desplegada para el usuario. • Detectar la información o elementos que necesita el usuario
para realizar sus tareas específicas. • Identificar aciertos, deficiencias o errores de ubicación,
jerarquía, diseño gráfico, etiquetado, etc. de los elementos dispuestos en la página.
• Identificar elementos confusos, poco entendibles o innecesarios para el usuario.
Cuatro sedes
14
Cd de MéxicoGuadalajara
Monterrey
Villahermosa
Participantes
15
• Número total de participantes = 36 • Candidatos = 26 • Reclutadores = 10
FOTO DE USUARIOS
Ejemplo: Guadalajara
16
Guadalajara - 8 pruebas en total (+ 1 prueba piloto)
26 Noviembre, 2013
Candidatos (5 usuarios)
70% Hombres 30% Mujeres
Ed. Básica: 20% - 1 usuario
Ed. Técnica: 20% - 1 usuario
Ed. Profesional: 40% - 3 usuarios
Empresa (2 usuarios + extras)
Empresarios, reclutadores de personal, Licenciados en Administración, Psicología, Trabajo Social,
generalmente usuarios de computadoras. Gerentes de Recursos Humanos y Dirección de grandes,
medianas y pequeñas empresas en el área metropolitana de Guadalajara. No aceptan empleos en
vigilancia pero sí empleos de mostrador, ventas y buscan para personas con discapacidad.
Escenarios
17
Iztapalapa
Iztapalapa
Iztapalapa
Guadalajara
Guadalajara
Monterrey
Monterrey
Villahermosa
Villahermosa
Resultados Cuantitativos:
Efectividad
27
Efectividad Candidatos
28
Notas:
* debido a problemas en la infraestructura tecnológica del lugar
** debido a que algunos par6cipantes ya estaban registrados a través de Ferias del Empleo
Nombre del Escenario Tareas realizada
s
Tareas exitosa
s
Efec5vidad
1. Home: elementos de información e interacción
234 211 90.17%
2. Búsquedas específicas Candidatos 115* 102 88.69%
3. Registro de Candidatos 21** 19 90.47%
4. Mi Espacio 21* 21 100%
5. Postulación a un empleo 84* 82 97.61%
Efectividad Reclutadores
29
Notas:
* debido a problemas en la infraestructura tecnológica del lugar
Nombre del Escenario Tareas realizadas
Tareas exitosas
Efec5vidad
1. Home: elementos de información e interacción 30 30 100%
2. Registro de empresa 8* 5 62.5%
3. Mi Espacio 8* 8 100%
4. Crear vacante / mejor candidato 48* 30 62.5%
Efectividad Total
30
Estudio realizado
Pruebas realizadas
Tareas realizadas
Tareas exitosas
EfecQvidad promedio
1 112 475 435 91.57%
Estudio realizado
Pruebas realizadas
Tareas realizadas
Tareas exitosas
EfecQvidad promedio
1 34 94 73 77.65%
Candidatos
Reclutadores
Resultados Cuantitativos:
Eficiencia
31
Efectividad Candidatos y Reclutadores
32
Sede Usuario Mínimo Máximo Promedio
Cd de México Candidatos 0:26:10 0:51:41 0:37:46
Empresarios 0:56:36 1:02:15 1:00:00
Guadalajara Candidatos 0:29:10 0:46:43 0:38:03
Empresarios 1:02:56 1:08:01 1:05:29
Monterrey Candidatos 0:37:28 0:53:32 0:45:48
Empresarios 0:55:09 0:57:40 0:56:24
Villahermosa Candidatos 0:26:00 1:06:35 0:46:38
Empresarios 0:48:24 1:03:35 0:56:00
Resultados Cualitativos: Satisfacción
33
Candidatos
34
Reclutadores
35
Cuestionarios en Línea
36
37
Pregunta Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de
acuerdo
1. ¿Recomendaría este sitio a mis familiares y amigos? 7.7% 3.8% 34.6% 53.8%
2. ¿El Portal del Trabajo es fácil de usar? 3.8% 7.7% 53.8% 34.6%
3. ¿El Portal del Trabajo es fácil de entender? 3.8% 7.7% 57.7% 30.8%
4. ¿El Portal del Trabajo es fácil de aprender a usar? 3.8% 3.8% 50.0% 42.3%5. ¿Estoy optimista de que con el Portal del Trabajo podré encontrar un buen trabajo? 0.0% 11.5% 57.7% 30.8%6. ¿Creo que mis aptitudes computadora son suficientes Portal del Empleo de manera correcta? 3.8% 3.8% 23.1% 69.2%7. ¿Confío en que la información que me proporciona el Portal del Empleo es verídica y útil? 7.7% 0.0% 42.3% 50.0%8. ¿Creo que el diseño gráfico del Portal del Empleo es atractivo? 0.0% 19.2% 38.5% 42.3%9. ¿Creo que los procesos de búsqueda del portal son los correctos? 0.0% 19.2% 38.5% 42.3%
10. ¿Creo que la información mostrada es valiosa? 0.0% 7.7% 34.6% 57.7%
CuestionarioCandidatos
38
Pregunta Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de
acuerdo
1. ¿Recomendaría este sitio a mis familiares y amigos? 0.0% 0.0% 30.0% 70.0%
2. ¿El Portal del Trabajo es fácil de usar? 0.0% 10.0% 60.0% 30.0%
3. ¿El Portal del Trabajo es fácil de entender? 0.0% 30.0% 50.0% 20.0%
4. ¿El Portal del Trabajo es fácil de aprender a usar? 0.0% 0.0% 50.0% 50.0%5. Estoy optimista de que con el Portal del Trabajo podré encontrar buenos candidatos para mi empresa
0.0% 0.0% 50.0% 50.0%6. ¿Creo que mis aptitudes computadora son suficientes para Portal del Empleo de manera correcta? 0.0% 0.0% 20.0% 80.0%7. ¿Confío en que la información que me proporciona el Portal del Empleo es verídica y útil? 0.0% 0.0% 60.0% 40.0%8. ¿Creo que el diseño gráfico del Portal del Empleo es atractivo? 10.0% 10.0% 50.0% 30.0%9. ¿Creo que los procesos de búsqueda del portal son los correctos? 0.0% 20.0% 60.0% 20.0%
10. ¿Creo que la información mostrada es valiosa? 0.0% 0.0% 50.0% 50.0%
CuestionarioReclutadores
Satisfacción Total
39
Promedio Candidatos: 8.58
Promedio Reclutadores: 8.50
Terrible, pésimo sistema 1 2 3 4 5 6 7 8 9 10 Excelente
sistema
0% 0% 0% 0% 0% 3.8% 11.5% 19.2% 53.8% 11.5%
0 0 0 0 0 1 3 5 14 3
Terrible, pésimo sistema 1 2 3 4 5 6 7 8 9 10 Excelente
sistema
0% 0% 0% 0% 0% 0% 20.0% 20.0% 50.0% 10.0%
0 0 0 0 0 0 2 2 5 1
Principales mejoras y recomendaciones
40
Candidatos Búsquedas específicas de empleo
1. Buscador semántico: la más fácil 2. Búsqueda específica: casi ninguno de los candidatos tuvo
resultados en esta búsqueda. 3. Ofertas de empleo: búsqueda restringida por el usuario o
automáticamente 4. Otras bolsas de empleo: usuarios pensaron que tendrían
que pagar
41
Reclutadores Registro de empresa
1. Correo y contraseña: pocos usuarios quisieron dar sus datos reales por seguridad.
2. Tipo de empresa: hubo mucha controversia en los elementos aquí listados, así como el Sector, Subsector y Rama.
3. Teléfono de la empresa: el proceso de agregar un nuevo teléfono no fue entendido.
42
Recomendaciones Generales 1. Uniformizar mensajes de error: así como su posición en el
centro de la pantalla. 2. Tamaño de letra muy pequeño: fue la queja constante de los
usuarios. 3. Organización de los contenidos: el portal se beneficiaría de una
re organización de los elementos de captura del registro. 4. Elementos gráficos en los resultados de búsqueda: como logos,
fotografías de la empresa fueron solicitudes muy repetidas por los usuarios.
5. Mejorar el tiempo de respuesta y disponibilidad del portal
43
Rediseño
44
Rediseño
45
Finalmente Efectividad
Candidatos: 91.57% Reclutadores: 77.65%
Eficiencia
Candidatos: 1.06’ (Máx, GDL), 0.26’ (Min, VH), 0.38’ (Prom) Reclutadores: 1.08’ (Máx, GDL), 0.48’ (Min, VH), 1.00‘(Prom)
Satisfacción
Candidatos: 8.58 Reclutadores: 8.50
46
47
Trabajando con el gobierno 1. Trabajar con el gobierno es una experiencia
diferente 2. Consideran UX como innecesario y muy caro 3. Demandan un calendario ajustado pero es casi
imposible 4. Inicialmente, los usuarios están escépticos, pero
después fueron cálidos y muy amables 5. Tomar en cuenta las diferencias culturales de
nuestros usuarios
48
Desarrollando un estudio de usabilidad para sitios
gubernamentales mexicanos: Caso de estudio
del Portal del Empleo Mario A Moreno Rocha, Carlos A Martínez Sandoval (UTM)
Jesús Salvador Aguilar Bautista (Infotec) Heriberto López Ramírez (UNSIS)
Noviembre, 2014
Recommended