Informe sobre prototipos finales - IBV · 2020. 9. 2. · Informe sobre prototipos finales ÍNDICE 1. OBJETIVO 5 2. INTRODUCCIÓN 6 3. HERRAMIENTA DE RECONSTRUCCIÓN 3D DE CUERPO

3D-body-experience

Informe sobre prototipos finales

Entregable: E3.2

Paquete de trabajo: PT3

3D-body-experience 3

©

Informe sobre prototipos finales

ÍNDICE

1. OBJETIVO 5

2. INTRODUCCIÓN 6

3. HERRAMIENTA DE RECONSTRUCCIÓN 3D DE CUERPO 7

3.1. Captura y procesado 9

3.1.1. Operaciones a tiempo real en el dispositivo 9

3.1.2. Procesado en servidor 11

3.2. Visualización 13

3.2.1. Mejora de las instrucciones y el diseño 13

3.2.2. Recuperación y visualización de resultados 34

3.3. Gestión de datos personales 46

4. HERRAMIENTAS DE RECONSTRUCCIÓN 3D DE OTRAS PARTES DEL CUERPO 48

4.1. El pie 48

4.2. La cara 54

4.3. Espumas fenólicas y pies en descarga 59

5. VIGILANCIA TECNOLÓGICA 73


Informe sobre prototipos finales ©

1. OBJETIVO

Se ha trabajado en varias alternativas en los campos de visión artificial y computación gráfica para mejorar la experiencia de usuario y reducir las fuentes de error que se han ido identificando. Asimismo, se han puesto a punto interfaces en distintos soportes con los que poder probar las mejoras realizadas. En este PT se han realizado los reajustes necesarios tanto en los algoritmos como en los interfaces hasta llegar a los prototipos finales.

6

©

2. INTRODUCCIÓN

Se ha seguido con la exploración de métodos de captura y procesado para mejorar la precisión y la robustez de la tecnología low cost actual, sobre todo en relación al uso de técnicas basadas en Deep learning. Se ha continuado con la exploración de diferentes redes neuronales para mejorar la detección de objetos, keypoints y segmentación, su reentrenamiento y evaluación.

Se ha trabajado sobre distintas herramientas para guiar al usuario en las distintas etapas del proceso: antes de comenzar el proceso (preparación), durante la adquisición, al final del proceso, y para la recuperación de resultados o visualización de datos (modelo 3D, medidas, evaluaciones). También se ha definido una estrategia para el tratamiento y almacenamiento de imágenes y

datos personales del usuario y su implementación, para cumplir con el nuevo reglamento europeo de gestión de datos personales.



3. HERRAMIENTA DE RECONSTRUCCIÓN 3D DE CUERPO

De los resultados de la experimentación en entorno hogar con usuarios (descrita en el Entregable E6.1. Informe de las experimentaciones en entornos relevantes), se destacan los siguientes aspectos en relación con el diseño, ropa, entorno, pelo, adquisición (captura), recuperación de resultados y privacidad:

a) DISEÑO

Diseño general muy plano, naïve, amateur; estética un poco fría. Imágenes e iconos demasiado clásicos, arcaicos. Interfaz muy clásica y sobria. Poco atractiva (azul y blanco)

Parece una versión alfa, no beta

Diseño de interfaz más atractivo. Ser más realista: fotos en instrucciones, no dibujos.

b) ROPA

Posar en ropa interior es incómodo; sensación de sobreexposición. Rechazado por 3 usuarios de 40 (1 abandono y 2 han continuado, pero han posado con ropa). Algunos por decisión propia y otro (mayor edad) por exigencia de padres por desconocimiento de donde circulan las imágenes. Incluso usuarios que han posado, manifiestan que únicamente lo han hecho porque conocen el IBV, si no, no posarían en ropa interior. Se podría explicar mejor que es posible el uso de mallas.

Existen dudas respecto al uso de calcetines/gafas. Chica sin calcetines en

iconos y chico con calcetines, habría que aclararlo. La chica no lleva bragas normales, “es ropa rara”. Percepción usuarios: el 91% de los usuarios está seguro de haber llevado la

ropa que pedían en las instrucciones (excepto los dos rechazos), con lo que

la visión del cumplimiento del requisito es casi total. Según la opinión experta, solo el 78% de los usuarios llevaba la ropa

adecuada, y el 13% la llevaba en la mayoría de los casos, no siempre.

c) ENTORNO

Un painpoint destacado en general es el disponer de un espacio diáfano en el hogar, junto con cumplir el requisito de mantener una cierta distancia fotógrafo-modelo para encajar en silueta, y tener un espacio vacío al fondo: “Hasta que no lo ves a través del móvil no te das cuenta del espacio

que necesitas”. La selección del entorno (2X2) genera problema-dudas en 1er uso, pero en

la mayoría de casos al ver que el avatar se genera correctamente y hay auto-reconocimiento, los usuarios se vuelven laxos a la hora de seleccionar

8

©

entorno. Los usuarios lo daban por bueno mientras no interfiriera nada con la silueta.

Percepción usuarios: solo un 40% de los usuarios está seguro de haber seleccionado el entorno tal cual lo piden en las instrucciones. Es el requisito que menor media de cumplimiento manifiesto tiene por parte de los usuarios y genera más duda acerca cumplimiento total (4) o parcial (3).

Según la opinión experta, el 60% de los entornos escogidos están libres de objetos, y cerca de un 87% de los entornos tiene la luz artificial adecuada. Pese a no cumplir requisitos de espacio libre de objetos en un 32% de los casos, la reconstrucción del avatar tiene una alta similitud en el 78% de los casos.

d) PELO

Percepción usuarios: 84% de los usuarios está seguro de haberse recogido el cabello según pedían en las instrucciones.

Según la opinión experta, casi el 87% de los usuarios se lo ha recogido según las instrucciones, mientras que un 3% no lo ha hecho.

e) ADQUISICIÓN (CAPTURA)

A algunos usuarios les ha costado encajar en silueta. Falta feedback al fotógrafo de que el encuadre y el ángulo es correcto.

Sensación de que la silueta roja es que no detecta nada (despiste colores rojo y gris).

Durante la foto, que avise si tiene que enfocar bien. Que detecte sin preguntar si está bien enfocado. Que detecte si hay persona o no.

f) RECUPERACIÓN DE RESULTADOS

Hacer que el modelo 3D orbite solo sobre un eje

Darle una aplicación a la tecnología: poder hacer un seguimiento de la evolución del usuario a través de sus medidas y su modelo 3D.

Incluir el peso como resultado

g) PRIVACIDAD

Explicación inicial de la tecnología Condiciones de privacidad y protección de datos muy claras (el

desconocimiento del uso y almacenamiento de imágenes genera cierto

desasosiego) Sello de calidad que genere seguridad Reconocimiento facial en fotos: se propone cortar o pixelar las fotos



Estos aspectos se han ido explorando como mejoras al sistema en el PT3, y se irán describiendo a lo largo de los apartados del entregable.

3.1. CAPTURA Y PROCESADO

3.1.1. Operaciones a tiempo real en el dispositivo

Con el fin de mejorar la experiencia durante la adquisición (captura), se han explorado métodos basados en Deep Learning para dar feedback a tiempo real al usuario en relación a la detección de personas en imágenes, keypoints, y segmentación, para saber que el proceso se está realizando correctamente.

En primer lugar, se han realizado diferentes pruebas para testear la viabilidad del

Deep Learning en tiempo real para dispositivos móviles con Tensorflow Lite, un software de redes neuronales para móviles.

En una primera aproximación, se ha comprobado el funcionamiento del código de ejemplo oficial de Tensorflow Lite para la detección de objetos.

Figura 1. Detección de objetos en tiempo real en dispositivo móvil mediante Tensorflow Lite.

Como puede apreciarse en la Figura 1, el dispositivo es capaz de detectar en

tiempo real los objetos en pantalla y enmarcarlos con un cuadro azul (una persona, en este caso concreto).

Las siguientes pruebas consistieron en intentar implementar una aplicación que aceptara la segmentación de imágenes con la red DeepLab, con la intención de

10

©

entrenarla posteriormente con imágenes propias, y otra para la detección de keypoints del cuerpo humano con la red PoseNet. DeepLab es una red neuronal para segmentar objetos en general, ampliamente utilizada en estudios con dispositivos móviles, mientras que la red PoseNet está más especializada en detección de keypoints del cuerpo humano.

Partiendo de código de libre distribución y realizando las modificaciones necesarias con Android Studio, se obtuvo la segmentación en tiempo real de imágenes con la cámara de un dispositivo móvil con una red fácilmente reentrenable (DeepLab). Se consigue obtener una segmentación en tiempo real aceptable de los objetos que aparecen en la cámara del móvil (Figura 2).

Figura 2. Segmentación de objetos en tiempo real en dispositivo móvil mediante Tensorflow Lite.

Para la detección de keypoints se utilizó el mismo código modificado de la segmentación de objetos, cambiando la red DeepLab por la PoseNet. Se consiguió la detección de keypoints de una persona que se encuentre en

movimiento delante de la cámara del móvil (Figura 3). Es la red más lenta de las 3 probadas ya que se aprecia un retraso en la detección de los keypoints en tiempo real con dispositivos no muy avanzados. Esto puede limitar su uso en dispositivos móviles que no sean muy potentes.



Figura 3. Segmentación de keypoints en tiempo real en dispositivo móvil mediante Tensorflow Lite.

Los keypoints detectables que pueden verse en la Figura 3 como puntos azules son 17: ojos, orejas, nariz, hombros, codos, muñecas, caderas, rodillas y tobillos.

También se probó una implementación que utiliza las crecientes capacidades de la Unidad de procesamiento gráfico (GPU) de los dispositivos móviles para ver si aceleraba significativamente la velocidad de inferencia. La versión inicial sólo mejoraba ligeramente los tiempos de inferencia cuando el dispositivo disponía

de una GPU notable, una mejora insignificante. Se estudió una versión más compleja que utiliza shaders para agilizar el intercambio memoria-gpu que seguramente podrá acelerar de una manera más significativa la inferencia. De momento, no se ha conseguido un resultado estable en cuanto a la mejora de la velocidad con esta última versión.

Se ha iniciado el proceso de reentrenamiento de la red DeepLab con las imágenes propias para intentar hacer más precisa la segmentación del cuerpo

humano en las posturas que más nos interesan (frente y perfil).

3.1.2. Procesado en servidor

Se utilizaron imágenes obtenidas de la experimentación en entorno real (descrita

en el Entregable E6.1. Informe de las experimentaciones en entornos relevantes), es decir, fotos tomadas por usuarios no expertos en su hogar, en condiciones de iluminación y de escenario no controladas (Figura 4), para mejorar la segmentación y hacerla más robusta frente a casos normales de uso.

12

©

Figura 4. Capturas en entorno real

Para ello se segmentaron manualmente todas las imágenes capturadas y, a partir de dichas imágenes y sus siluetas obtenidas por expertos, se reentrenó la red convolucional utilizada para la segmentación automática. Se compararon diferentes tipos de entrenamiento: imágenes reescaladas (deformadas a 473x473 píxeles) y reducidas (sin deformar, “crop”) (Figura 5), utilizando dos frameworks diferentes, Caffey Tensorflow.

Figura 5. Imagen reducida (sin deformación) y reescalada (con deformación).

En la Figura 6 puede observarse que no hay diferencias apreciables entre las diferentes opciones analizadas y que la segmentación presenta una precisión y



robustez muy altas (coincidencia por encima del 90% con la segmentación realizada por un humano en todos los casos).

Figura 6. Evaluación de la segmentación

3.2. VISUALIZACIÓN

En materia de visualización de la herramienta se han abordado aspectos como la mejora de las instrucciones y de su diseño, y la recuperación y visualización de resultados.

3.2.1. Mejora de las instrucciones y el diseño

Se ha realizado una revisión de sistemas del mercado, y se han recogido los aspectos más destacables en lo que a instrucciones de preparación y adquisición se refiere. Con ello, y los comentarios de los usuarios recogidos en la experimentación, se han ido explorando mejoras a integrar como parte de las instrucciones y diseño de la herramienta.

Instrucciones de los sistemas del mercado

A continuación, se muestran las instrucciones de los sistemas del mercado.

a) UKYS

Vídeo de resumen inicial del proceso de toma de las 6 fotos necesarias:

14

©

Instrucciones sobre cómo vestirse y peinarse el pelo. Son imágenes reales explícitas de cómo llevar el pelo y qué ropa ponerse y qué ropa no ponerse:

Revisión de imágenes tras adquisición: el sistema da la opción de revisar cada imagen tomada por comparación con las posturas del modelo.

b) MTAILOR

En esta aplicación hay que grabarse un vídeo. A continuación, se muestra el vídeo explicativo inicial de cómo tiene que grabarse:



Instrucciones sobre cómo vestirse y peinarse el pelo. Son imágenes reales explícitas de qué debe llevarse y qué no:

Revisión del vídeo tras la grabación: se plantean 4 preguntas para verificar, como si los puños están cerrados, si no hay nada bloqueando a la persona,

o si se ha dado una vuelta completa.

c) FITLE

Vídeo explicativo del proceso de toma de las 2 fotos necesarias:

16

©

Instrucciones de cómo vestirse y elegir el entorno donde tomarse las fotos. Son imágenes que de forma más genérica muestran qué es correcto y qué no:

Revisión de imágenes tras la adquisición: para cada imagen, se muestra la foto tomada y un ejemplo de una foto bien hecha y mal hecha para poder

validarlas correctamente.

d) NETTELO

Vídeo explicativo del proceso de toma de las 2 fotos necesarias:



Instrucciones de cómo vestirse y elegir el entorno donde tomarse las fotos. Son imágenes reales genéricas en las que se indica qué es lo correcto:

Revisión de imágenes tras la adquisición: consiste en la recolocación manual de los marcadores antes de la segmentación y en la corrección manual de los contornos después de la segmentación

e) 3DLOOK

Vídeo corto auto explicativo de cómo hacerse las 2 fotos necesarias, que incluye cómo vestirse y peinarse:

18

©

Instrucciones de cómo vestirse y elegir el entorno donde tomarse las fotos: sólo se hace mención a ello en el vídeo.

Revisión de imágenes tras la adquisición: no se hace.

3DLOOK (Selfie)

En esta aplicación solo hay imágenes que ilustran cómo hacerse las 2 fotos necesarias, en cuanto a postura se refiere.

Instrucciones de cómo vestirse y peinarse: no hay.

Revisión de imágenes tras la adquisición: se revisan las segmentaciones o puntos de contorno de la persona en la foto.



f) SELFIESTYLER

En esta aplicación solo hay imágenes que ilustran cómo hacerse las 3 fotos necesarias:

Instrucciones de cómo vestirse, peinarse y elegir el entorno donde tomarse las fotos. Son imágenes reales explícitas en las que se indica qué es correcto y qué no:

20

©

Revisión de imágenes tras la adquisición: se realiza por comparación con las fotos de referencia.

g) MIRRORSIZE

En esta aplicación solo hay imágenes que ilustran cómo hacerse las 2 fotos necesarias. También se habla del pelo y la vestimenta, aunque luego se detalla más. Las instrucciones son distintas para hombre y mujer:

Instrucciones de cómo vestirse, peinarse y posar. Son una combinación de imágenes reales y dibujos en los que se ilustra de forma explícita qué es correcto y qué no lo es:



h) 1MEASURE

Video explicativo del proceso de toma de las 2 fotos necesarias:

Instrucciones sobre cómo vestirse y posar. Se indica con dibujos de forma explícita cuál es la forma correcta de vestirse y posar:

22

©

Revisión de imágenes tras adquisición. Se presentan las dos imágenes tomadas para revisar si hay algo que no es correcto. Las imágenes ya aparecen con la cara tapada:

i) MYFIZIQ

Video explicativo del proceso de toma de las 2 fotos necesarias:

Revisión de imágenes tras la adquisición: se comprueba que la imagen tomada quede dentro del contorno o silueta.

j) iSizeYou



En esta aplicación solo hay imágenes que ilustran cómo hacerse las 2 fotos necesarias:

Instrucciones de cómo vestirse y peinarse. Son dibujos específicos en los que se indica la forma correcta de vestirse y peinarse:

Revisión de imágenes tras la adquisición: no se hace. Si el sistema considera que la foto no tiene calidad suficiente, lo comunica al usuario y no deja hacer la siguiente foto.

Como se puede observar, casi todos los sistemas muestran las instrucciones en formato de vídeo, y en cualquier caso son personas reales las que aparecen en los vídeos y/o imágenes en la mayoría de los casos. Esto puede resultar más sencillo, y dar información más completa al usuario de manera más directa, cercana y rápida. Por otro lado, en casi todos los sistemas se pide al usuario que

24

©

haga una revisión de las fotos tomadas antes de realizar la reconstrucción, a través de preguntas o por comparación con una imagen de referencia. Hay ocasiones en las que es el sistema por sí solo realiza un control de si las fotos tomadas son correctas (nuestro trabajo al respecto es el descrito en el apartado 3.1.1. Operaciones a tiempo real en el dispositivo de este Entregable).

Exploración de nuevas instrucciones

Se ha decidido reemplazar las instrucciones, originalmente en base a imágenes, por un vídeo corto explicativo. Como paso previo a la elaboración del vídeo, se ha analizado cómo quedaría el cambiar algunas de las imágenes actuales por fotos. Para ello, y para una selección de imágenes, se ha realizado una propuesta de fotos más completa, y separada para hombre y para mujer. Se han tenido en

cuenta algunos de los aspectos destacados por los usuarios en la experimentación para elaborar las propuestas. Éstas se pueden ver a continuación.



Original Propuesta Especificaciones para fotos Nueva imagen

Fotos mostrando a los dos figurantes usando la app:

Nº imagen 1: chica hace foto a chico.

Nº imagen 2: chico hace foto a chica.

De esta manera se puede ver cómo se tiene que coger el móvil y a qué altura.

Entorno: casa

Ropa: set malla para el que posa; el fotógrafo con ropa de calle

Pelo: recogido moño para el que posa (en caso de pelo largo)

El que posa tiene que seguir el protocolo de posado.

Imagen vertical. Dejar mucho espacio muerto alrededor de la imagen de lo que se quiera retratar. Enfoque sobre el fotógrafo.

26

©

Nº imagen 3: foto de un espacio que cumpla especificaciones.

De esta manera se indica que el espacio puede contener muebles y objetos, aunque no deben interferir en la silueta de la persona a ser fotografiada.

Entorno: fotografiar pared lisa de color blanco en la que se quepa una persona. Se deben ver trozos de muebles o dinteles de puertas (un objeto largo en un lado, y un objeto pequeño/mediano del otro).

Luz artificial correcta. Sin sombras. Con potencia. No oscuras.

Se enfatizará posteriormente la zona de trabajo en la que se colocaría la persona a ser fotografiada.



Nº imagen 4: chico con boxer+calcetines por encima de tobillo.

Nº imagen 5: chico descalzo con malla de correr.

Nº imagen 6: chica descalza con ropa interior.

Nº imagen 7: chica con mallas + camiseta ceñida tirantes / top + calcetines por encima de tobillo.

Al separar la imágenes para cada sexo, se pueden hacer varias propuestas de ropa que puede o debe llevar cada uno.

Entorno: en el entorno fotografiado en la imagen 3.

Ropa: dos sets de ropa para hombre y dos sets de ropa para mujer.

Pelo: recogido moño (en caso de pelo largo)

La pose debe ser natural (pose modelo o pose normal de pie), no la pose de frente del protocolo.

28

©

Nº imagen 8: Foto frontal de chica con set de malla

Nº imagen 9: Foto frontal de chico con set de malla.

Al emplear estas imágenes como referencia, se enfatiza de alguna manera el uso de mallas frente al de ropa interior, que era la preocupación de muchos usuarios.


Ropa chico: chico descalzo con malla de correr

Ropa chica: chica con mallas + top + calcetines por encima de tobillo


Seguir el protocolo de posado de frente.

Imagen vertical. Mucho espacio muerto alrededor de la imagen de lo que se quiera retratar.



Nº imagen 10: Foto lateral de chica con set de malla

Nº imagen 11: Foto lateral de chico con set de malla.


Ropa chico: chico descalzo con malla de correr

Ropa chica: chica con mallas + top + calcetines por encima de tobillo


Seguir el protocolo de posado de perfil.

Imagen vertical. Mucho espacio muerto alrededor de la imagen de lo que se quiera retratar.

30

©

Renovación del diseño

El proceso de rediseño de la herramienta se ha llevado a cabo en dos fases, analizando entre medias la usabilidad desde el punto de vista experto. Este nuevo diseño pretende ser más cercano al usuario. El nuevo diseño y el análisis realizado se muestran a continuación:

Fase 1 del rediseño

La apariencia ha cambiado de azul a naranja y gris. En el nuevo diseño de la herramienta ya se puede gestionar cada usuario. Pinchando en un usuario se puede acceder a sus registros e incluso eliminarlos.

Pinchando sobre el icono de nueva medida (cámara de fotos) sale un pop-up para introducir la estatura y el peso. A la hora de tomar las fotografías se puede ver la silueta para encajar al usuario. Ésta ahora es verde (antes era roja) cuando

la inclinación del móvil es adecuada para tomar la foto. La inclinación del móvil se puede visualizar con un nivel que se ha insertado en el lado derecho de la pantalla. El icono para tomar la foto ya no interfiere con la silueta.

Análisis de la usabilidad del nuevo diseño

Del diseño propuesto en la Fase 1, se han planteado una serie de cambios desde el punto de vista de la usabilidad, algunos de los cuales se han podido



implementar en la segunda fase de rediseño y otros se implementarán más

adelante. Las mejoras planteadas se muestran en las siguientes imágenes.

¿Es la entrada demasiado abrupta?

Habría que añadir las dos opciones: recuperar y eliminar definitivamente.

DeleteRecover

Añadir icono de editar o Edit.

Edit

Volver no funciona

Propuesta Propuesta

Unificar ambas listas en una, y que al seleccionar el usuario (abajo) lleve directamente a su perfil.Dejar únicamente la lista de abajo con los perfiles disponibles, ya que es la misma información que arriba y sólo difiere en el icono del avatar.

Cambiar el icono para que sea más intuitivo. Con poner un signo + sería suficiente.

¿Es necesario que destaque tanto este icono?

Propuesta

Select user

32

©

Fase 2 del rediseño

Cambiar el menú superior añadiendo las opciones Edit, y Filter/Search a Trash. Alternativas:- Tres puntos y

desplegable.- Tres iconos.Para pantallas pequeñas es preferible usar los tres puntos. El máximo de iconos recomendado es 4.

Propuestas de iconos (Material Design)https ://material.io/tools/icons/?icon=search&style=baseline

Al iniciar la medida, apareceun emergente con altura ypeso. Por defecto vienen losúltimos valores. Se podríaañadir un título (Introduceyour current values?) y ponerWeight / Height (no es críticoporque es obvio, pero es unapropuesta de mejora).

La barra que hace las veces de “nivel” nunca se haexplicado en las instrucciones. Que cambie concolor la figura está bien, pero puede confundirsecon un zoom (en algunos móviles el zoom es unslider). Si se hace la foto y no está el móvil verticalaparece un emergente de error diciendo que hayque ponerlo vertical para hacerla.

Cuando el móvil esté muy inclinado, sería másintuitivo que el perfil pasase de verde a rojo(ahora pasa a gris).

Propuesta

Cancel Help

Funcionamiento: Te aparece al inicio y cada vez que te salgas del rango aceptable (al mismo tiempo que el avatar pasa a rojo).

Quitar el nivel

Opciones de Cancelar y de volver a ver la ayuda.



En la segunda versión de diseño el avatar inicial no ocupa toda la pantalla y hay una explicación de en qué consiste la herramienta. Esto genera menor impacto

para el usuario a la vez que le informa del objetivo de la herramienta. Si se desea crear un usuario nuevo, ahora se puede hacer a través del icono inferior derecho, más intuitivo. Los datos requeridos aparecen en forma de pop-up, son el nombre o alias, año de nacimiento (que no fecha de nacimiento como estaba en el prototipo inicial), altura y sexo. Los usuarios disponibles aparecen ahora en forma de listado. Con un usuario creado, se pueden tomar las medidas que se quiera. Si se quiere eliminar a un usuario, esta acción implica un borrado permanente, y se avisa al usuario.

Al iniciar una medida, se pregunta solo por el peso, porque es lo que se asume que podría variar de una medida a otra. Este peso se puede introducir ahora con un decimal. A la hora de tomar la foto, aparece una silueta en negro si la inclinación del dispositivo no es correcta (se ha eliminado el nivel) y aparece un

letrero que lo indica. El botón obturador está oculto cuando la silueta está en negro.

En esta segunda versión del diseño también se han realizado correcciones de fallos y errores que se daban en ocasiones en función de algunos modelos de móvil que se detectaron en la experimentación.

34

©

3.2.2. Recuperación y visualización de resultados

Se ha realizado una revisión de sistemas low cost del mercado, y se han recogido los aspectos más destacables en lo que a recuperación de resultados y su visualización se refiere. Esto se ha realizado en el ámbito de salud, puesto que es el sector en el que se trabajan resultados más completos. Con ello, se han ido explorando las mejoras a integrar en la herramienta, que sean extrapolables a todos los sectores enmarcados en el proyecto.

Visualización de resultados de los sistemas del mercado

FIT3D

Fit3D es un escáner 3D junto con un software multi-plataforma para uso profesional. No obstante, el usuario puede tener acceso a sus datos y ver su

progreso.

Figura 7. Sistema de escaneado Fit3D

Las medidas que ofrece son:

Contorno de cuello Contorno de antebrazos Contorno de pecho Contorno de muslos Contorno de cintura Contorno de pantorrillas Contorno de caderas Altura Contorno de bíceps Peso

Figura 8. Medidas del sistema Fit3D

Además, ofrece el modelo 3D, las siluetas del usuario y métricas de bienestar.



Figura 9. Modelo 3D y siluetas que ofrece el sistema Fit3D

Las métricas de bienestar que ofrece el sistema son:

1. La forma corporal: Índice de Forma corporal Contorno de cintura Ratio cintura-cadera Ratio volumen tronco-pierna

Para cada una se indica qué es y la compara con rangos establecidos y con otra gente de género y edad similar.

Figura 10. Información de forma corporal que ofrece el sistema Fit3D

2. Composición corporal Grasa corporal% Peso Masa grasa

Masa magra

Para cada una se indica qué es y la compara con rangos establecidos y con otra gente de género y edad similar.

36

©

Figura 11. Información de composición corporal que ofrece el sistema Fit3D

3. Nivel de fitness: tasa metabólica basal

Figura 12. Información de nivel de fitness que ofrece el sistema Fit3D

Además, ofrece la posibilidad de hacer un tracking de la evolución del sujeto. Esto se realiza mediante varias alternativas:

• Por comparación del 3D y siluetas base y el actual • Por comparación de medidas en distintas zonas corporales y sus

diferencias • Se puede realizar en formato tabla y gráfica

Figura 13. Información de tracking que ofrece el sistema Fit3D



STYKU

STYKU es un escáner 3D junto con un software multi-plataforma para uso profesional. Permite visualizar el avatar 3D del usuario, sus medidas, hacer tracking de cambios, calcular indicadores, etc.

Figura 14. Sistema de escaneado Styku

Las medidas que ofrece son las que se ven en el avatar:

Figura 15. Medidas del sistema Styku

Las métricas de bienestar que ofrece el sistema son:

1. Sección fitness: Un análisis de grasa corporal presentando valores de:

o Masa grasa% o Masa magra% o Histórico en forma gráfica o Ranking con valores normales o Comparación con otros usuarios

Calculadora pérdida de grasa: o Objetivos de pérdida de grasa o Nivel de actividad o ritmo de quema de grasa

38

©

Figura 16. Información de fitness que ofrece el sistema Styku

2. Sección salud: Análisis de la cintura:

o Forma cintura

o Histórico en forma gráfica o Ranking por contorno de cintura y ratio cintura-cadera riesgo

Análisis de riesgo

Calculadora de reducción del riesgo

Figura 17. Información de salud que ofrece el sistema Styku

El sistema de tracking que ofrece permite:

• Visualizar el histórico de cada una de las medidas en forma de gráfico y ver diferencias

• Comparar el modelo 3D actual con el anterior • Comparar la silueta actual con la anterior



Figura 18. Información de tracking que ofrece el sistema Styku

El informe de progreso que muestra al usuario se puede ver a continuación:

Figura 19. Informe de progreso del sistema Styku

SIZESTREAM

SIZESTREAM es una aplicación de usuario para fitness. Permite introducir medidas manualmente (con lo que se genera un modelo 3D estadístico) o capturar el QR de un escáner (con lo que se genera un modelo 3D real).

Figura 20. Sistema de escaneado Sizestream

Las medidas resultantes son:

Altura Contorno abdominal Contorno bíceps Contorno pantorrilla

40

©

Contorno antebrazo Grasa corporal%

Contorno muñeca Contorno caderas sentado Contorno bajo-pecho Contorno cintura Peso Contorno muslos Contorno cuello Longitud pierna Contorno pecho

El sistema de tracking que ofrece permite:

• Editar parámetros de aspiración • Comparar el modelo 3D actual con la aspiración • Ver un histórico de cada una de las medidas y las diferencias • Visualizar el histórico de cada una de las medidas en forma de gráfico y

barras

Figura 21. Información de tracking que ofrece el sistema Sizestream

NAKED

NAKED consiste en una báscula con un espejo que escanea, y una aplicación de usuario para ver el progreso.

Figura 22. Sistema de escaneado Naked

Las medidas que ofrece son:

Grasa corporal % Contorno de cintura Masa grasa Contorno abdominal Masa magra Contorno de caderas Peso Contorno de muslos superiores Ancho de hombros Contorno de muslos media altura Contorno de pecho Contorno de pantorrillas Contorno de brazos



El sistema de tracking permite visualizar cambios y diferencias para cada

dato, y un histórico de datos con gráficos.

Figura 23. Información de tracking que ofrece el sistema Naked.

BVI

BVI es una aplicación de usuario.

Figura 24. Aplicación de escaneado BVI

Las métricas que aporta son:

• Grasa corporal total% y valoración • Grasa visceral y valoración • Ratio cintura-cadera y valoración • IMC y valoración

Figura 25. Información de métricas que ofrece el sistema BVI

Existe una versión pro de la aplicación para profesionales. Esta versión aporta resultados que posteriormente se introducen en un software de uso profesional.

42

©

Las métricas con las que trabaja esta versión son:

• Grasa corporal total% • Grasa visceral • Ratio cintura-cadera • IMC • Índice de volumen corporal • Volumen abdominal

Como análisis ofrece una comparativa de cada métrica con valores normales y el resultado visual de composición corporal:

Figura 26. Información de métricas que ofrece la versión pro del sistema BVI

NETTELO

Nettelo es una aplicación de usuario (el sistema se puede ver en el apartado 3.2.1. Mejora de las instrucciones y el diseño de este mismo Entregable).

Proporciona un modelo 3D por transformación o deformación de un avatar

paramétrico y un preconjunto de 23 medidas:

Figura 27. Información de medidas que ofrece el sistema Nettelo.

Además, ofrece los siguientes datos de tracking:

• Comparación de 2 avatares 3D • Animación de cómo uno cambia al otro • Comparación por medidas de 2 avatares en forma de listado

Como se puede observar, todos los sistemas muestran no solo el modelo 3D del usuario y un conjunto de medidas, sino que ofrecen la posibilidad de que el



usuario pueda hacer seguimiento de su evolución, ya sea sobre las propias

medidas o sobre métricas más completas que contemplan de alguna manera la composición corporal. Esto coincide con lo que nos han trasladado los usuarios en la experimentación y Neogym, una de las empresas colaboradoras en el proyecto.

Diseño de un sistema de recuperación y visualización de resultados

Se ha decidido completar la herramienta mejorando la recuperación de resultados y su visualización. El proceso de rediseño de la herramienta en cuanto a recuperación de resultados también se ha llevado a cabo en dos fases, analizando entre medias la usabilidad desde el punto de vista experto. El nuevo diseño y el análisis realizado se muestran a continuación:

Fase 1 de recuperación de resultados y su visualización

Cuando se realiza la captura, la pantalla de resultados ha cambiado; se siguen mostrando el ID y la fecha de medida, pero también se puede añadir un alias a la persona que se ha medido y un comentario que pueda ayudar al sujeto a identificar de alguna manera reconocible la medición. El modelo 3D que se visualiza es mucho más manejable, ya solo gira sobre un eje, y se ha incluido el peso como resultado. Las medidas están alineadas a la izquierda y a los valores a la derecha. Además, ahora puede hacerse un seguimiento de las medidas, como se puede observar en las siguientes imágenes.

44

©

Una vez creado un usuario nuevo, y si se ha realizado alguna medición, se puede

acceder a la visualización de las medidas pinchando sobre el icono . Se puede seleccionar la medida deseada y para esa medida se puede ver su valor actual, su valor inicial, el porcentaje de aumento o disminución, y una representación gráfica de estos valores.

Análisis de la usabilidad del nuevo diseño

Del diseño propuesto en la Fase 1, se han planteado una serie de cambios desde el punto de vista de la usabilidad, algunos de los cuales se han podido implementar en la segunda fase de rediseño y otros se implementarán más adelante. Las mejoras planteadas se muestran en las siguientes imágenes.

Versión actual Propuesta (Para Error)

Hacen lo mismo. ¿Dejar un Done donde pone Close?

Eliminar opciones en caso de error.

Añadir mensaje explicativo.

Done

WarningUnsuccessful measurement. It will not be saved.

Si la medida está mal, estaría bien que indicaseque no se va a guardar, y no te aparezca nada más(ni opciones de Nombre y comentarios, ni ver el3D y las medidas, ya que las primeras no se van aguardar y tanto 3D como medidas están vacías)

Que no sea un alias sino una etiqueta

Propuesta (Valid) Propuesta (Error)

Done

WarningUnsuccessful measurement. It will not be saved.

Done

Resaltar de algún modo. Material.io propone dos opciones:A) Resaltar con una línea y dejar los demás rótulos con menos intensidad.B) Resaltar con una línea y cambiar de color. Se podría hacer que la pestaña seleccionada cambiase a fondo blanco y letra naranja.

Opción A

Opción B



Fase 2 de recuperación de resultados y su visualización

Versión actual Propuesta

Hacen lo mismo. ¿Dejar un Done donde pone Close?

Resaltar de algún modo.

Done

En este caso la flecha tiene sentido quitarlaporque parece que permita volver a la pantallainicial que aparece al acabar de tomar las fotos(INFO), pero en realidad manda a la lista demediciones realizadas.

Sustituir las palabras por iconos intuitivos

Incluir la flecha de Volver

Versión actual Propuesta

¿Incluir opción de que te aparezca el valor?¿En emergente?

105,10 cm

El funcionamiento es intuitivo.

No tiene botón de Volver. Habría queincluirlo.

46

©

En la segunda versión de diseño se han sustituido los textos que llevan al avatar

o a las medidas por iconos, se puede añadir una etiqueta a la medida, se ha sustituido la regla por un icono de gráfica. Por otro lado, se ha mejorado el flujo de información que lleva de una pantalla a otra.

3.3. GESTIÓN DE DATOS PERSONALES

En cuanto al tratamiento y almacenamiento de datos personales, se ha estado trabajando en dos vías. Por un lado, se ha participado en una fase piloto llevada a cabo por el High-Level Expert Group for Artificial Intelligence (AI HLEG) de la Comisión Europea, para probar una lista detallada de evaluación que tiene por objeto facilitar la verificación del cumplimiento de los requisitos éticos para un uso fiable de Inteligencia artificial (lo que llaman Ethics Guidelines for Trustworthy Artificial Intelligence).

Por otro lado, se ha trabajado en elaborar una política de privacidad y protección de datos para el uso del sistema de reconstrucción 3D.

Fase piloto para evaluar la aplicación de las Ethics Guidelines for Trustworthy AI

La inteligencia artificial conlleva nuevos retos para el futuro del trabajo y plantea cuestiones jurídicas y éticas. En este sentido, la Comisión ha planteado un enfoque en tres etapas: establecimiento de los requisitos esenciales para una inteligencia artificial fiable, lanzamiento de una fase piloto a gran escala para recabar los comentarios de las partes interesadas y búsqueda de un consenso internacional para la inteligencia artificial centrada en el ser humano.

Según la Comisión, la inteligencia artificial fiable debe respetar todas las leyes y

reglamentos aplicables, así como una serie de requisitos fundamentales:

1. Intervención y supervisión humanas: Los sistemas de inteligencia artificial deben facilitar sociedades equitativas, apoyando la intervención humana y los derechos fundamentales, y no disminuir, limitar o desorientar la autonomía humana.

2. Robustez y seguridad: La fiabilidad de la inteligencia artificial requiere que los algoritmos sean suficientemente seguros, fiables y sólidos para



resolver errores o incoherencias durante todas las fases del ciclo de vida

útil de los sistemas de inteligencia artificial. 3. Privacidad y gestión de datos: Los ciudadanos deben tener pleno control

sobre sus propios datos, al tiempo que los datos que les conciernen no deben utilizarse para perjudicarles o discriminarles.

4. Transparencia: Debe garantizarse la trazabilidad de los sistemas de inteligencia artificial.

5. Diversidad, no discriminación y equidad: Los sistemas de inteligencia artificial deben tener en cuenta el conjunto de capacidades, competencias y necesidades humanas, y garantizar la accesibilidad.

6. Bienestar social y medioambiental: Los sistemas de inteligencia artificial deben utilizarse para mejorar el cambio social positivo y aumentar la sostenibilidad y la responsabilidad ecológicas.

7. Rendición de cuentas: Deben implantarse mecanismos que garanticen la responsabilidad y la rendición de cuentas de los sistemas de inteligencia artificial y de sus resultados.

La Comisión puso en marcha una fase piloto, invitando a la industria, centros de investigación y autoridades públicas a probar una lista detallada de evaluación elaborada por el grupo de expertos de alto nivel (AI HLEG), que tiene por objeto facilitar la verificación del cumplimiento de cada uno de esos requisitos.

En el marco de este proyecto se participó en la fase piloto considerando como caso de uso para la evaluación de la lista el sistema de reconstrucción 3D de cuerpo.

Política de privacidad y protección de datos

Se ha elaborado una política de privacidad y protección de datos para el sistema de reconstrucción 3D del cuerpo que se ha integrado como parte de la herramienta para mantener al usuario informado.

En ella se explica en qué consiste el sistema y el proceso de captura y reconstrucción, incluyendo la información que se requiere del usuario. Se explica que antes del primer uso, es necesario que el usuario conozca toda la información sobre el uso de sus datos, y tras ello, es necesario que acepte la política de privacidad a través de la aceptación expresa de la casilla que se encuentra en la pantalla, al lado de acepto, que incluye un enlace a un sitio web de IBV en el que se recogen las condiciones:

48

©

En las condiciones se explica quién es el Responsable del tratamiento de los

datos (IBV) y su información de contacto, los datos de contacto del delegado de protección de datos y los siguientes aspectos:

Datos que se van a recoger del usuario y del dispositivo móvil Fines del tratamiento Base jurídica del tratamiento Plazo de conservación Destinatarios de los datos Derechos Relación entre usuario y el centro Anonimización de los datos y tratamiento para mejorar los algoritmos

4. HERRAMIENTAS DE RECONSTRUCCIÓN 3D DE OTRAS PARTES DEL CUERPO

4.1. EL PIE

El sistema de reconstrucción 3D del pie, al igual que sucede con el del cuerpo, implica ciertas dificultades para su correcta manipulación. Esto es debido a la novedad que representa para usuarios no familiarizados con reconstrucciones 3D mediante imágenes, así como a la necesidad de cumplir una serie de requisitos previos a la toma de fotos para conseguir una reconstrucción lo suficientemente precisa.

Con la intención de facilitar la experiencia de uso, se ha explorado un proceso

que proveerá de feedback al sujeto mientras realiza las seis fotografías necesarias. Este proceso se realiza mediante técnicas de Deep Learning, detectando objetos en tiempo real con la finalidad de discernir si la fotografía en cuestión permitirá una reconstrucción certera o si, por el contrario, el usuario debe realizar algún ajuste antes de continuar con el proceso.



Metodología y diseño de la tecnología

La necesidad de realizar un proceso de diagnóstico de imágenes en tiempo real usando solamente los recursos computacionales de un dispositivo móvil favorecieron el uso de TensorFlow Lite. TensorFlow Lite es un framework de Deep Learning preparado para realizar inferencias en dispositivos de pequeño tamaño. No sólo provee de código libre y ampliamente documentado para entrenar redes neuronales, sino que además posee códigos realizados por expertos para la integración de esta inferencia en aplicaciones móviles tanto en iOS como en Android, que pueden ser usadas para testear los avances antes de la integración final.

Dentro de este marco se propusieron dos líneas de mejora:

• Detección de objetos aplicada a la detección de errores, por ejemplo,

detectar folios incompletos.

• Usar la detección de objetos para clasificar la imagen entre todas las clases posibles de fallos, aprendidos tras una revisión de las bases de datos obtenidas hasta ahora.

Tras sopesar las bases de datos existentes y la potencia de las redes disponibles, se optó por la primera línea de investigación.

Detección de objetos

Para generar una red especializada en la detección de los objetos (clases) de interés se utilizó una técnica denominada transfer learning. Este método toma

como punto de partida una red preentrenada, es decir, una red cuya arquitectura ha sido desarrollada y testeada para un propósito concreto

haciendo uso de inmensos recursos de computación. El uso de este tipo de redes ahorra la necesidad de partir de una red que “todavía no ha aprendido nada” y, con una ínfima parte del coste computacional necesario para entrenarla desde cero, puede llegar a realizar la tarea deseada garantizando un nivel de acierto

deseable. Las figuras Figura 28. Imagen original.

y¡Error! No se encuentra el origen de la referencia.1 muestran un ejemplo del comportamiento de una red entrenada con la base de datos MS-COCO Data, que

contiene 80 categorías distintas.

1 Fotografías obtenidas de: 1)https://github.com/tensorflow/models/blob/master/research/object_detection/test_images/image2.jpg 2)https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/img/kites_detections_output.jpg

https://github.com/tensorflow/models/blob/master/research/object_detection/test_images/image2.jpg

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/img/kites_detections_output.jpg

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/img/kites_detections_output.jpg

50

©

Figura 28. Imagen original.

Figura 29. Detección de objetos sobre la imagen realizada por la red original

En este caso se optó por usar la SSD-MobileNet V2, previamente entrenado con la base de datos MS-COCO Data.

Para desarrollar este proyecto se fueron realizando una serie de aproximaciones, intentando avanzar desde los resultados al planteamiento óptimo del problema. Para cada una de ellas, se hizo un procesado semi-automático de las bases de datos obtenidas para su etiquetado y revisión.

Primera aproximación:

Tras evaluar las bases de datos disponibles se decidió realizar una primera prueba en la que se reentrenó la red con un pequeño subconjunto de imágenes (alrededor de 1.300) en las que solo se señalaron dos clases, “Folio” y “Pie”,

descritas en la Tabla 1.

Tabla 1. Resumen de las clases planteadas para la primera aproximación

Etiqueta Descripción

1 Pie Agrupa pie izquierdo y derecho desde cualquier perspectiva

2 Folio Agrupa cualquier folio, completo o incompleto.



Como se muestra en la compilación de imágenes, el modelo es capaz de detectar

ambas clases correctamente en cada una de las 3 posiciones del pie necesarias para la reconstrucción 3D. Es importante recalcar que todas las imágenes usadas en la inferencia fueron excluidas del entrenamiento, y por lo tanto son totalmente nuevas para el modelo.

Figura 30. Detección de pies y folios en imágenes de las tres posiciones del pie, de izquierda a derecha: Pie

izquierdo exterior, pie izquierdo interior y pie derecho frontal.

Segunda aproximación

Una vez alcanzado este objetivo, se aumentó el número de clases con la intención de aumentar la precisión de la información obtenida por el detector de objetos. En este caso se designaron 11 clases, con las que se pretende verificar

que la fotografía realizada en ese momento se corresponde con la solicitada por la aplicación en términos de pie izquierdo o pie derecho y si es la una imagen de la parte interior, exterior o frontal. Así mismo, se añadió también una clase que corresponde a la adquisición de una imagen en la que el talón no aparece completo.

En cuanto al folio, se crearon tres nuevas clases: una correcta y dos que señalan fallos. Se añadió también una clase llamada “Objeto Extraño” que agrupaba todos los elementos presentes en la fotografía que no deberían haber salido en la imagen para asegurar una correcta reconstrucción. El resumen de las clases designadas puede observarse en la Tabla 2Tabla 2.

Tabla 2. Resumen de las clases planteadas para la segunda aproximación


1 PieDchoInt Pie derecho interior, se corresponde con la 1ª fotografía

2 PieDchoFront Pie derecho frontal, se corresponde con la 2ª fotografía

3 PieDchoExt Pie derecho exterior, se corresponde con la 3ª fotografía

4 PieIzdoInt Pie izquierdo interior, se corresponde con la 4ª fotografía

52

©

Con la intención de facilitar el trabajo de la red, se realizaron procesos de data augmentation mediante los que se duplicó el número de imágenes al reflejarlas y cambiar consecuentemente las etiquetas entre pie izquierdo y pie derecho.

Este modelo se entrenó y en este caso se observó un acierto menor que en la primera aproximación, debido al aumento de la complejidad del problema. Se observó, por encima de todo, una gran dificultad para distinguir entre las distintas clases de error en el folio (clases 8 y 9) así como entre las distintas perspectivas del pie (clases 1-6).

Tercera aproximación:

Para mitigar los efectos indeseados de la segunda aproximación se propuso un tercer modelo en el que se fusionaron las dos clases erróneas de folio, de manera que se podría discernir únicamente entre folios completos e incompletos. Las clases quedaron definidas como se muestra en la Tabla 3.

Tabla 3. Resumen de las clases planteadas para la tercera aproximación.

Además, con la intención de aumentar el conjunto de datos aún más, se incrementó el tamaño muestral tanto con imágenes nuevas como con recortes de las antiguas que generaban aleatoriamente folios o talones incompletos.

5 PieIzdoFront Pie izquierdo frontal, se corresponde con la 5ª fotografía

6 PieIzdoExt Pie izquierdo exterior, se corresponde con la 6ª fotografía

7 Folio Folio completo, cuatro esquinas visibles

8 FolioCortado Folio incompleto, parte del folio está fuera de la imagen

9 FolioTapado Folio incompleto, al menos una esquina tapada por el pie

10 ObjetoExtrano Cualquier objeto distinto de pie, folio y fondo

11 TalonCortado Pie incompleto debido a que parte del talón está fuera de la imagen


1 PieDchoInt Pie derecho interior, se corresponde con la 1ª fotografía

2 PieDchoFront Pie derecho frontal, se corresponde con la 2ª fotografía

3 PieDchoExt Pie derecho exterior, se corresponde con la 3ª fotografía

4 PieIzdoInt Pie izquierdo interior, se corresponde con la 4ª fotografía

5 PieIzdoFront Pie izquierdo frontal, se corresponde con la 5ª fotografía

6 PieIzdoExt Pie izquierdo exterior, se corresponde con la 6ª fotografía

7 Folio Folio completo, cuatro esquinas visibles

8 FolioCortado Folio incompleto, al menos una esquina no es visible

9 ObjetoExtrano Cualquier objeto distinto de pie, folio y fondo

10 TalonCortado Pie incompleto debido a que parte del talón está fuera de la imagen



Este modelo resultó mucho mejor que el anterior a la hora de clasificar las

distintas vistas del pie y los folios entre completos e incompletos. Sin embargo, demostró no ser funcional a la hora de detectar objetos externos. Esto se debe a la inmensa variedad de objetos externos encontrados en las más de 3.000 imágenes analizadas, desde patas de silla o perneras de pantalón hasta mascotas. También demostró poca sensibilidad a la hora de detectar los pies incompletos.

Algunos ejemplos de los resultados de este modelo se muestran en la Figura 31, donde además de haber obtenido la etiqueta correcta para todas las tres perspectivas de pies también se puede apreciar cómo acercando el móvil lo suficiente a la pantalla que muestra la foto para sacar una esquina del campo de visión de ésta, la etiqueta cambia a “FolioCortado.”

Figura 31. Detección de pies y folios en imágenes de las tres posiciones del pie, de izquierda a derecha: Pie

derecho exterior, pie izquierdo interior y pie izquierdo frontal.

54

©

4.2. LA CARA

Existen aplicaciones donde se desea que el sujeto no sea reconocible (anonimizado de cara) y otras en las que se desea que el sujeto sea completamente reconocible (ajuste perfecto de cara). En referencia al reconocimiento facial, en el Entregable E3.1. Sistema preliminar del año pasado ya se comentaron los avances llevados a cabo en esta metodología de reconstrucción 3D facial. Esta metodología de reconstrucción se ha terminado de poner a punto este año. La reconstrucción 3D de cara se realiza a partir de los datos obtenidos en la calibración y un conjunto de imágenes. El proceso es el siguiente, y se describe a continuación:

Figura 32. Proceso de reconstrucción.

La reconstrucción se compone de las siguientes etapas:

Captura: en primer lugar, se capturan seis imágenes de forma simultánea:

dos imágenes laterales izquierdas, dos imágenes frontales y dos imágenes laterales derecha. El tiempo necesario para este proceso es muy corto (20 ms) y se emplea iluminación propia para evitar depender de las condiciones del entorno.

Figura 33. Ejemplo de captura.



Normalización: en la siguiente etapa se realiza una normalización de las imágenes, de tal forma que para cada par de imágenes exista una correspondencia fila a fila. Además, se elimina la distorsión causada por la óptica de la cámara.

Figura 34. Normalización de las imágenes frontales.

Mapa de disparidad: a continuación, se aplica el algoritmo ELAS para obtener el mapa de disparidad asociado a cada par de imágenes. Además, mediante block-matching se refina el mapa de disparidad, consiguiendo una resolución subpíxel.

Figura 35. Mapa de disparidad de las cámaras frontales.

Nube de puntos: a partir del mapa de disparidad y de las matrices de las cámaras obtenidas durante la calibración, podemos calcular los puntos en 3D para cada par de cámaras.

Figura 36. Nube de puntos de las cámaras frontales.

56

©

Append: la siguiente etapa consiste en juntar todas las nubes de puntos obtenidas por cada pareja de imágenes. El resultado es un conjunto de puntos muy denso pero ruidoso. Las siguientes fases se encargarán de eliminar este ruido.

Figura 37. Append de todas las nubes de puntos.

Downsampling: se efectúa un diezmado de la nube de puntos. Esto se realiza por dos razones: en primer lugar, se reduce drásticamente el ruido de la nube de puntos y, en segundo lugar, agiliza el procesado de la reconstrucción.

Figura 38. Downsampling.

Eliminación de outliers: a continuación, se buscan y eliminan los puntos anómalos realizando un análisis estadístico del entorno de cada punto.

Figura 39. Nube de puntos con outliers (izquierda) y nube de puntos sin outliers (derecha).



MLS: se aplica el algoritmo Moving Least Squares (MLS) que suaviza y reduce el ruido de la nube de puntos.

Figura 40. Nube de puntos tras aplicar MLS.

Poisson: una vez limpiada y suavizada la nube de puntos se procede a cerrarla mediante Poisson. El resultado es una malla cerrada con ruido en los extremos.

Figura 41. Malla cerrada por Poisson.

Recortado: durante esta etapa se limpia la malla obtenida por Poisson. Se busca reducir el ruido en los bordes y recortar la parte inferior de la reconstrucción.

Figura 42. Malla sin ruido en los bordes.

58

©

Figura 43. Malla con borde inferior recortado.

Proyección de textura: durante esta etapa se proyecta la textura de las cámaras sobre la reconstrucción. Para ello, se selecciona la cámara con

mejor visión de cada uno de los triángulos que componen el escaneado.

Figura 44. Reconstrucción con textura.

Alineado: adicionalmente, se extrae la región correspondiente a la parte

superior de la cara. Esta región podrá ser usada para alinear varias reconstrucciones empleando el algoritmo denominado IterativeClosest Point (ICP).

Figura 45. Región para realizar el alineado.



4.3. ESPUMAS FENÓLICAS Y PIES EN DESCARGA

En los últimos años, la aparición de sensores de profundidad periféricos para ordenadores portátiles, televisores y tabletas, por ejemplo, Kinect, Realsense, Xtion, o Structure ha acercado una tecnología de escaneado versátil y rápida a numerosos profesionales. Sin embargo, muchos de ellos no están familiarizados aún con este tipo tecnología, ya sea porque trabajan con escáneres más tradicionales o porque directamente aún no han digitalizado sus procesos. Además, la tecnología basada en sensores de profundidad a día de hoy no incluye software ni protocolos especializados para obtener escaneados precisos con los que poder obtener la información antropométrica necesaria para diseñar productos personalizados, hacer recomendaciones de tallas, predecir ajustes o realizar pruebas virtuales de productos, ni herramientas para generar una buena

experiencia de usuario en el proceso de adquisición.

En este contexto, se ha decidido explorar el uso de sensores de profundidad integrados en tableta –como alternativa low cost al empleo de tecnología de reconstrucción 3D implementada en Smartphone– para uso profesional en ciertos sectores, como el sector salud, en el que puede resultar de gran utilidad para escanear objetos o segmentos corporales. En particular, se ha explorado el desarrollo de una herramienta para guiar al profesional durante el proceso de adquisición intentando minimizar los errores que pueda cometer y la duración del proceso, obteniendo así una experiencia de uso satisfactoria y un escaneado de calidad. Como sensor de profundidad se ha decidido trabajar con un Structure, que funciona con un iPad.

Como referencia en el sector salud se ha seleccionado el entorno podológico,

donde puede resultar de fácil implantación un sistema como el que se quiere desarrollar, ofreciendo grandes ventajas a los podólogos frente a los sistemas de adquisición actuales. La empresa Biomech Consulting es una consultoría que

centra su actividad en la prestación de servicios y productos relacionados con el pie en el ámbito de la salud, utilizando tecnologías avanzadas, por lo que se ha colaborado con ella en el proyecto. Biomech dispone de un escáner láser de precisión para podología y es distribuidor de la tecnología y, por otro lado, es fabricante de plantillas. De este modo, conoce de primera mano los procesos de adquisición que llevan a cabo los podólogos y, por tanto, las funcionalidades y prestaciones que tendría que tener la herramienta.

Se ha decidido empezar desarrollando una herramienta que optimice el escaneado de espumas fenólicas, muy empleadas por podólogos para elaborar

plantillas. Los objetivos de la exploración en el desarrollo de la herramienta han sido varios: ver el nivel de precisión que se alcanza como resultado y si éste es comparable con los actuales estándares de productos similares de mayor coste, estudiar la calidad de escaneo con espumas de diferente color, estudiar los

60

©

parámetros de configuración de escaneo para alcanzar una buena calidad del modelo 3D generado, y elaborar un protocolo de escaneado.

Estudio del nivel de precisión

El estudio del nivel de precisión se ha llevado a cabo empleando una espuma fenólica. Se ha realizado un estudio en IBV y un estudio en Biomech.

IBV

Para el estudio en IBV, se ha diseñado por CAD un modelo de espuma fenólica a partir de un pie patrón. El pie patrón y su huella, empleada para diseñar el modelo CAD de espuma fenólica, se muestran en la Figura 46. Este modelo CAD se considerará de referencia para el estudio.

Figura 46. Pie patrón y huella empleada para diseñar el modelo CAD de espuma fenólica.

El modelo CAD de espuma fenólica se ha fabricado posteriormente por sinterizado (Figura 47).

Figura 47. Modelo de espuma fenólica sinterizado.

Se ha escaneado la huella del modelo sinterizado con un escáner láser, y con la nueva tecnología. La Figura 48 muestra los resultados de ambos escaneados y el modelo CAD.



a) b) c)

Figura 48. Modelo 3D obtenido con a) escáner láser, y b) nueva tecnología, y c) modelo CAD.

El estudio llevado a cabo ha consistido en comparar diversas secciones del modelo 3D obtenido con cada una de las tecnologías con el modelo CAD de referencia. En la Figura 49 se pueden ver los 3 modelos 3D alineados, y las secciones generadas para el estudio. El modelo azul corresponde al modelo 3D de referencia; el modelo verde al obtenido con escáner láser; y el modelo turquesa, al obtenido con la nueva tecnología.

Figura 49. Secciones de estudio de los modelos 3D.

A continuación, se muestran los resultados para cada una de las secciones. Las cotas están expresadas en mm.

62

©

Figura 50. Secciones de estudio para los modelos 3D (cotas en mm).

Sección 1

Sección 2

Sección 3

Sección 4



Sección 5

Sección 6

Se puede observar que las curvas de ambos modelos escaneados (turquesa y verde) son muy similares y que distan menos de 1 mm del modelo de referencia (curva azul). Esta diferencia entre el modelo de referencia y los modelos escaneados puede deberse a algún error en el proceso de fabricación.

En vista de los resultados, se puede decir que la nueva tecnología es comparable al escáner láser para escanear espumas fenólicas, alcanzando muy buenos resultados y muy similares al modelo 3D de referencia.

Biomech Consulting

Para el estudio en Biomech, se estuvieron comparando medidas obtenidas de un escaneado procedente de la nueva tecnología, con uno procedente del escáner láser que tienen ellos en sus clínicas. Se realizaron pruebas con dos modelos de espuma fenólica: modelo A y modelo B. Los resultados pueden verse a continuación.

Modelo A – NUEVA TECNOLOGÍA DE ESCANEADO (medidas en mm)

ANCHO TALON ANCHO MEDIOPIE ANCHO ANTEPIE LARGO PIE

61,65 71,70 95,71 246,76

64

©

Modelo A – ESCÁNER LÁSER (medidas en mm).


62,13 71,79 95,50 240,09

COMPARATIVA MEDIDAS (medidas en mm)

ANCHO TALON

ANCHO MEDIOPIE

ANCHO ANTEPIE

LARGO PIE

NUEVA TEC. 61,65 71,70 95,71 246,76

ESCÁNER LÁSER 62,13 71,79 95,50 240,09

Desviación 0,48 0,09 0,21 6,67

Modelo B – NUEVA TECNOLOGÍA DE ESCANEADO (medidas en mm)


67,83 62,89 96,30 253,12



Modelo B – ESCÁNER LÁSER (medidas en mm)


69,15 61,20 97,03 251,61

COMPARATIVA MEDIDAS (medidas en mm)

ANCHO TALON

ANCHO MEDIOPIE

ANCHO ANTEPIE

LARGO PIE

NUEVA TEC. 67,83 62,89 96,30 253,12

ESCÁNER LÁSER 69,15 61,20 97,03 251,61

Desviación 1,32 1,69 0,73 1,51

Tras realizar la comparación paramétrica, Biomech ha afirmado que los resultados obtenidos son óptimos para realizar diseños de plantillas.

Estudio de escaneo con espumas de diferente color

Los podólogos suelen trabajar con espumas fenólicas de dos colores básicamente, azul y rosa (Figura 51). Se ha probado a escanear espumas fenólicas en estos dos colores diferentes para ver si el resultado tiene la misma calidad.

66

©

Figura 51. Espumas fenólicas en el mercado.

En la Figura 52 se pueden ver los escaneados generados con ambas espumas. Se

puede comprobar visualmente que se escanean bien.

Figura 52. Escaneado de la espuma azul (izquierda) y rosa (derecha).

Estudio de parámetros de configuración de escaneo

Se ha escaneado una espuma fenólica ocho veces con diferentes configuraciones del sensor, generado 8 modelos 3D. Se han modificado tanto los ángulos como las distancias de barrido. Posteriormente, se han eliminado los bordes de la caja de la espuma fenólica para analizar simplemente el número de puntos y de caras que componen la propia huella del pie en la espuma (Figura 53), dando una idea de la calidad de la imagen obtenida.



Figura 53. Obtención de la huella con la que comparar los ocho modelos escaneados con diferentes configuraciones del sensor.

Los resultados se muestran en la siguiente tabla.

Modelo 1

Modelo 2

Modelo 3

Modelo 4

Modelo 5

Modelo 6

Modelo 7

Modelo 8

Límite de frames 100 100 100 100 1.000 1.000 1.000 1.000

Ángulo (º) 5 10 15 10 5 15 90 90

Distancia (cm) 30 30 30 15 5 40 40 40

Número de caras 9.952 10.070 10.086 9.649 9.759 10.190 9.661 10.003

Número de vértices 5.067 5.115 5.129 4.915 4.967 5.180 4.919 5.080

Donde:

Límite de frames es el máximo número de frames como fuente para la malla

Ángulo es el ángulo (en grados) de rotación a partir del cual el sistema coge un nuevo frame

Distancia es la distancia (en cm) de traslación a partir de la cual el sistema coge un nuevo frame.

El ángulo se ha variado desde los 5º hasta los 90º. La distancia se ha variado desde los 5 cm hasta los 40 cm. Para las distintas configuraciones, la media del número de caras obtenidas es de 9.921 y la del número de vértices es de 5.046,

con una desviación estándar de 206 y 100 respectivamente. Se puede concluir que apenas hay diferencias en la resolución del modelo modificando la configuración de límite de frames, ángulo o distancia.

De este modo, se ha decidido establecer la siguiente configuración del sensor intentando encontrar una solución de compromiso entre calidad del modelo 3D generado y experiencia de uso lo más rápida y cómoda posible:

Límite de frames: 100 Ángulo: 30º Distancia: 30 cm

Estudio de la experiencia de uso

Se ha estudiado la experiencia de uso durante el proceso de digitalización identificando los diferentes pasos a seguir por parte del profesional para obtener unos resultados de calidad. En base a estos pasos, se ha elaborado un protocolo de escaneo para espumas fenólicas.

68

©

Según la información recogida de Biomech en el Entregable E6.1. Informe de las experimentaciones en entornos relevantes escanear el pie en descarga es útil para algunos podólogos, de modo que se ha elaborado un protocolo también para pies en descarga.

Protocolo escaneo espumas fenólicas:

1. Situar la espuma en una superficie plana horizontal (no cristal, no suelo), libre de objetos en 40 cm a la redonda, y con la huella en horizontal frente a usted:

2. Usar el iPad solo en modo apaisado. 3. Ajustar el cubo de la pantalla para que su tamaño sea similar al de la

espuma; la espuma y parte de la superficie de apoyo tienen que aparecer completamente resaltadas de color.

4. Pulsar el botón Iniciar. 5. Recorrer la espuma rodeándola poco a poco, y deteniéndose cuando la

aplicación se lo pida. Distancia óptima: 40-50 cm. Ir comprobando que no se deja ningún hueco de la huella por digitalizar:

6. Recorrerla por segunda y última vez. 7. Al finalizar el segundo recorrido, pulsar el botón Hecho.

Protocolo escaneo pie en descarga:

1. Descalzar al sujeto 2. Situarlo tumbado boca arriba en la camilla/sillón, con el pie formando 90º

con la pierna, sobresaliendo (sin apoyar) y a una altura cómoda para escanear.

3. Intentar garantizar un espacio diáfano de unos 50 cm alrededor del pie

para escanearlo cómodamente. 4. Usar el iPad siempre apaisado. Para empezar a escanear, situarse con el

iPad en paralelo al perfil del pie a unos 50 cm aproximadamente de él:



5. Cuando en la pantalla aparezca el pie completo resaltado de color pulsar

Iniciar. 6. Recorrer el pie rodeándolo lentamente de un lado a otro de la

camilla/sillón, y deteniéndose cuando la aplicación lo pida:

Distancia óptima: 50-60 cm. Ir comprobando que no se deje ningún hueco del pie por digitalizar, sobre todo en la planta y talón. Necesitará agacharse para capturar bien el talón; hágalo sin movimientos bruscos.

7. Recorrer el pie en sentido inverso:

Al finalizar pulsar Hecho.

Estos protocolos han implicado optimizar el cubo-de-scan con el que se escanea

con cada funcionalidad; se ha realizado uno para digitalizar espumas fenólicas y otro para digitalizar el pie en descarga. A continuación, se explica el estudio realizado en relación a la configuración del cubo-de-scan.

Configuración del cubo-de-scan

El cubo-de-scan es un elemento visual en pantalla, en la etapa previa al comienzo de escaneo, utilizado para delimitar una porción de espacio 3D dentro del escenario 3D total captado por la cámara/sensor del iPad. Únicamente los objetos físicos incluidos dentro de esta porción de espacio serán capturados

cuando comience el escaneo.

CONFIGURACIÓN POR DEFECTO DEL FABRICANTE

El fabricante del sensor, al adquirir su producto STRUCTURE, ofrece varios proyectos que sirven como punto de partida a la hora de comenzar un desarrollo

70

©

ad-hoc. En estos proyectos el fabricante propone una configuración por defecto del cubo-de-scan, que podemos llamar “configuración de cubo apoyado”, basada en:

- La librería interna del STRUCTURE intenta detectar una superficie plana horizontal cercana dentro del escenario 3D total captado por la cámara/sensor. Una vez detectada, elige un punto de referencia en la superficie para generar un plano virtual, y ubica ahí el cubo-de-scan haciendo que la cara inferior del cubo quede apoyada sobre el plano virtual. En esta configuración se depende de algoritmos “caja-negra” de la librería interna.

PROBLEMAS DETECTADOS EN USO ORIENTADO A ESPUMA FENÓLICA

La “configuración de cubo apoyado” ha demostrado no ser adecuada para un uso

orientado al escaneo de espumas fenólicas, tal y como se explica a continuación.

Tras la realización de múltiples tests siguiendo el Protocolo escaneo espumas fenólicas descrito más arriba, se ha verificado que con frecuencia aparecen

áreas, en la zona de la planta de la espuma fenólica, que quedan fuera de la captura del escaneo (Figura 54).

Figura 54. Áreas fuera de la captura del escaneo.

En esta configuración se depende de la librería interna del STRUCTURE para la detección de una superficie plana horizontal, que puede ser típicamente una mesa o el propio suelo, sobre la que se ha dejado apoyada la espuma fenólica. Esta librería elige un punto de referencia, en base a la información del sensor de profundidad, para la ubicación del plano virtual sobre el cual se apoyará la cara inferior del cubo-de-scan. El cubo-de-scan se ve forzado a permanecer apoyado siempre sobre el plano virtual en la cota fijada por el punto de referencia. Acercar, alejar, o mover el iPad con el sensor no produce alteración sobre la cota vertical de ubicación de la cara inferior del cubo.

Con frecuencia se producen desviaciones milimétricas, respecto al punto ideal, cuando la librería interna del STRUCTURE elige el punto de referencia, y esto provoca que el plano virtual se sitúe en una cota donde intersecta a la espuma fenólica por encima de lo que sería la cota vertical cero de la espuma. Todas las zonas de la espuma que quedan por debajo de esa intersección quedan fuera del



volumen delimitado por el cubo-de-scan y, por ello, quedan fuera de la captura del escaneo (ver Figura 54). Como hemos comentado previamente, acercar el iPad a la espuma no altera (desciende) la cota de ubicación inferior del cubo, de modo que, aunque en pre-visualización apreciemos que quedan zonas de la espuma fuera del escaneo, no podremos solucionarlo moviendo el iPad.

PROBLEMAS DETECTADOS EN USO ORIENTADO A PIE EN DESCARGA

La “configuración de cubo apoyado” tampoco ha demostrado ser viable para un uso orientado al escaneo de pie en descarga.

Tras analizar las diversas variantes empleadas en podología, se ha definido un protocolo para el escaneo de un pie en descarga (ver sección Protocolo escaneo pie en descarga). En este escenario se aprecia que la parte inferior de la pierna y

el pie al completo permanecen suspendidos en el aire.

La librería interna del STRUCTURE intenta detectar, como en el apartado anterior, una superficie plana horizontal cercana al pie, que es hacia donde

apunta la cámara/sensor del iPad. A efectos prácticos le resulta imposible, dado que el pie no apoya en nada, o bien detecta la superficie plana horizontal en zonas alejadas del pie, ubicadas en el fondo del escenario.

En muchos tests ha resultado imposible disponer de un cubo-de-scan en pantalla, y por lo tanto no ha podido iniciarse el proceso de escaneo. En el resto de tests el cubo-de-scan se emplazaba en zonas del escenario que no servían, puesto que el pie no quedaba ubicado dentro del cubo. Ningún test de pie en descarga ha podido completarse correctamente con la “configuración de cubo apoyado”.

SOLUCION BASADA EN CUBO FLOTANTE

En el proyecto se ha optado por implementar una nueva “configuración de cubo flotante”.

En esta configuración no se depende de algoritmos “caja-negra” de la librería interna del STRUCTURE. En este caso, la cara lateral del cubo-de-scan, la más cercana al usuario, es posicionada a una distancia fija (parametrizable) del iPad. A partir de esa cara lateral se proyecta el cubo-de-scan en dirección hacia el escenario 3D captado por la cámara/sensor del iPad. Es decir, se deja de tener como referencia de ubicación un plano virtual estático y se pasa a tener como referencia de ubicación el iPad que sostiene el usuario. En esta ocasión el acercar, alejar, o mover el iPad sí que tiene un efecto de reubicación del cubo-

de-scan, que parece flotar en el espacio 3D. De ahí el nombre de “configuración de cubo flotante”.

Acercando el iPad se puede conseguir que los objetos de interés queden, por completo, dentro de la porción de espacio 3D delimitada por el cubo-de-scan.

72

©

Posteriormente, haciendo pinch con los dedos sobre la pantalla del iPad se puede realizar un ajuste más fino sobre las dimensiones del cubo, con el objetivo de evitar que dentro del volumen delimitado por el cubo queden incluidos objetos del escenario que ensucien el modelo 3D generado tras el escaneo.

CUBO FLOTANTE EN USO ORIENTADO A ESPUMA FENÓLICA

La “configuración de cubo flotante” (Figura 55a) ha demostrado ser idónea para un uso orientado al escaneo de espumas fenólicas.

En todos los tests se ha podido completar el escaneo generando modelos 3D, absolutamente completos, de la espuma fenólica. En ocasiones, en pre-visualización, se apreciaba que algunas zonas de la planta de la espuma quedarían fuera del volumen de escaneo (Figura 55b), pero bastaba con acercar

levemente el iPad a la espuma para que la cota vertical inferior del cubo flotante descendiese y esas zonas pasasen a estar ya dentro del escaneo (Figura 55c,d). Adicionalmente, haciendo un pinch cuidadoso con los dedos sobre la pantalla se consigue que las dimensiones longitudinal y transversal del cubo-de-scan

coincidan casi a la perfección con las dimensiones de la espuma, evitando así que áreas de la mesa o del suelo ensucien el modelo 3D generado tras el escaneo (Figura 55d).

a) b)

c) d)

Figura 55. a) Configuración de cubo flotante. b, c, d) Colocación del cubo flotante sobre la espuma fenólica.

CUBO FLOTANTE EN USO ORIENTADO A PIE EN DESCARGA

La “configuración de cubo flotante” ha demostrado ser idónea también para un uso orientado al escaneo de pie en descarga.



En todos los tests se ha podido completar el escaneo generando modelos 3D del pie en descarga. A pesar de estar el pie suspendido en el aire siempre se ha podido disponer de un cubo-de-scan flotante que, usando leves movimientos (acercar/alejar) del iPad, podía encajarse adecuadamente en el interior del volumen de escaneo definido por el cubo. Adicionalmente, haciendo un pinch cuidadoso con los dedos sobre la pantalla se consigue que la dimensión longitudinal del cubo-de-scan se ajuste al pie con precisión, evitando así que áreas pertenecientes a la camilla ensucien el modelo 3D generado tras el escaneo.

Una vez se han llevado a cabo estos desarrollos más técnicos, se ha estudiado cómo hacer una interfaz intuitiva, que facilite la interpretación de resultados por parte del profesional, a la vez que funcional, para que la digitalización se pueda

realizar de forma rápida y sencilla. Estas exploraciones, validándolas con Biomech, se describen en el Entregable E6.1. Informe de las experimentaciones en entornos relevantes.

5. VIGILANCIA TECNOLÓGICA

Se ha recopilado información tecnológica que complementa los avances en el desarrollo de algoritmos e implementación de prototipos. Por un lado, se ha trabajado con las empresas colaboradoras en el proyecto recogiendo información de sus procesos y trabajando con ellas en la integración y transferencia de la tecnología a los mismos. Esta información viene descrita en el

Entregable E6.1. Informe de las experimentaciones en entornos relevantes.

Por otro lado, se han ido realizando labores de vigilancia tecnológica de sistemas actuales del mercado, tanto para cuerpo completo como para segmentos

corporales. Se han revisado y probado un total de 40 sistemas de escaneado implementables en tabletas y/o smartphones. Para esos 40 sistemas se ha completado una tabla con la siguiente información:

Web de la empresa desarrolladora Descripción (resumen) del sistema Público objetivo: usuarios finales, empresas... Uso en tienda física/online/ambos Descripción del proceso completo Inputs al sistema: metadatos, fotos, vídeos, etc.

Dispositivo con el que se escanea: smartphone, tableta, otro tipo de hardware, etc.

Tecnología de escaneado Tiempo de escaneado Si es un sistema fijo o portátil

74

©

Requerimientos de equipamiento adicional Requerimientos de espacio Si el procesado se realiza en la nube o en local Medidas resultantes que proporciona Publicaciones técnicas (tecnología, precisión, etc.) o de divulgación Imágenes del proceso Descripción del sistema de gestión de protección de datos

Una información más detallada de algunos de estos sistemas se ha ido presentando a lo largo de este Entregable. En la Figura 56 se puede ver un pantallazo de ejemplo de la información recogida.

Figura 56. Ejemplo de información recogida en el proceso de vigilancia tecnológica.

Documents

Informe sobre prototipos finales - IBV · 2020. 9. 2. · Informe sobre prototipos finales ÍNDICE 1. OBJETIVO 5 2. INTRODUCCIÓN 6 3. HERRAMIENTA DE RECONSTRUCCIÓN 3D DE CUERPO