Upload
lincoln-bowen
View
126
Download
0
Embed Size (px)
Citation preview
PowerPoint Presentation
Mtodo Semi-Automtico para el modelado de caras 3D a partir de Mltiples Vistas.Bowen Aguayo, Lincoln Emilio
NDICEIntroduccin.Objetivos.Conceptos previos.Desarrollo del mtodo utilizado para el alineamiento de caras en las imgenes.Desarrollo del mtodo para la reconstruccin de caras en 3D.Experimentos.Conclusin.1/23
INTRODUCCIN
2/23
INTRODUCCIN
APLICACIONES:
VideojuegosPelculasAvatares
NBA 2K15 for PS3 [1]Siggraph 2014 [3]
Automatic Acquisition of High-fidelity[2]
Automatic Acquisition of High-fidelity[2]
3/23
OBJETIVOS
4/23
OBJETIVOS
Mtodo de alineamiento de cara.
Ajuste de los puntos 2D alineados con los puntos de control en el modelo 3D.Interpolacin RBF desde los puntos de control a todos los vrtices del modelo.5/23
CONCEPTOS PREVIOSDescriptores de imgenes (Image Descriptors)Regresin lineal mltiple Interpolacin con funciones de base radial6/23
CONCEPTOS PREVIOSDescriptores de imgenes
Orb descriptorSIFT descriptorSURF descriptorLocal Binary Features (LBF)Histogram of Gradients (HOG)
HOGSIFT7/23
CONCEPTOS PREVIOSRegresin lineal
Regresin lineal simpleRegresin lineal mltiple
8/23
CONCEPTOS PREVIOSInterpolacin de funciones con base radial.
GaussianMulti-cuadrticaCuadrtica inversaMulti-cuadrtica inversa
9/23
ENTRENAMIENTO DEL MODELODESARROLLO DE ALINEAMIENTO DE CARA10/23
DESARROLLO DE ALINEAMIENTO DE CARA
ENTRADADESARROLLOSALIDA
Direccin descendente genrica.11/23
DESARROLLO DE ALINEAMIENTO DE CARA
12/23
DESARROLLO DE CONSTRUCCIN DE CARA
ENTRADADESARROLLOSALIDA
Ubicar los puntos de control en cada una de las imgenes.Deformar los puntos de control de la imagen 3D, dependiendo de la ubicacin de los puntos 2D.Interpolar los desplazamientos que se han obtenido por la deformaciones de los puntos de control hacia toda la cara (RBF).Calibrar la cmara 3D-a-2D utilizando EPnP.
13/23
DESARROLLO DE CONSTRUCCIN DE CARA
14/23
EXPERIMENTOS
Experimentos con alineamiento de caras
15/23
EXPERIMENTOS
A medida que se avanza en el nmero de perturbaciones, el error va disminuyendo hasta llegar a una asntota.
Experimentos con alineamiento de caras16/23
EXPERIMENTOS
Experimentos con alineamiento de caras
17/23
Experimentos con la reconstruccin 3D.Aqu se observan los errores normalizados correspondientes al alineamiento de cara.
EXPERIMENTOS
Experimentos con alineamiento de caras18/23
EXPERIMENTOS
Experimentos con la reconstruccin 3D.
19/23
Aqu se observan los errores normalizados una vez obtenido el modelo final en comparacin con la posicin de los puntos de control colocados manualmente.EXPERIMENTOS
Experimentos con la reconstruccin 3D.
20/23
CONCLUSIN
El mtodo es rpido, tarda aproximadamente 4 segundos una vez que se tiene todos los puntos de control en los sitios correspondientes. Se lo prob en un ordenador con un procesador Intel(R) Core i5-3330 CPU @ 3.00 GHz 3.20 GHz. El tiempo depende de la cantidad de vrtices de los que est compuesto el modelo 3D y la cantidad de iteraciones que se quieren hacer. Es bastante flexible y robusto para la aplicacin en diversas caras.Se puede trabajar con una sola imagen, permitiendo de esta manera la automatizacin completa, ya que resulta ms fcil la deteccin de los puntos frontales. As mismo se pueden encontrar diversas bases de datos con puntos de dicho perfil.21/23
FUTUROS TRABAJOS
MEJORAR TEXTURIZADOIMPLEMENTACIN DE UN MTODO DE ALINEAMIENTO DE CARA QUE APRENDA CON CADA MODELO NUEVO.
MEJORAR LAS PERTURBACIONES AL MOMENTO DE ENTRENAR EL MODELO
Akshay Asthana, Stefanos Zafeiriou, Shiyang Cheng and Maja Pantic [4]Xuehan Xiong and Fernando De la Torre [5]22/23
23/23GRACIASPREGUNTAS?
BIBLIOGRAFA[1] Available for the PS4 and Xbox One, the face scan feature maps your entire face into small points and creates your features and look. Your time has come to scan. Watch how it works: https://www.youtube.com/watch?v=6eAkgVC3moo[2] Automatic Acquisition of High-fidelity Facial Performances Using Monocular Videos SIGGRAPH Asia 2014. www.simplyshredded.com, Ken Taylor, and Hollywood Foreign Press Association, used with permissions. We have presented a facial performance capture system that automatically captures high-fidelity facial performances using uncontrolled monocular videos (e.g., Internet videos): https://www.youtube.com/watch?v=Fsktl1vUzGg [3] We present a fully automatic approach to real-time facial tracking and animation with a single video camera: https://www.youtube.com/watch?v=mAGEiv3UNEU [4] Akshay Asthana, Stefanos Zafeiriou, Shiyang Cheng, and Maja Pantic. Incrementalface alignment in the wild. Computer Vision and Pattern Recognition, 2014. [5] Xuehan Xiong and Fernando De la Torre. Supervised descent method and its applicationsto face alignment. Computer Vision and Pattern Recognition, 2013