UNIVERSIDAD DE EXTREMADURA
Alumno: Tutor:
Leandro Pavón Serrano Pedro M. Núñez Trujillo
Septiembre 2011, Cáceres
Escuela PolitécnicaI. T. Telecomunicación. Sonido e Imagen
Proyecto Fin de Carrera
Virtual Blackboard: colour and human gestures motion tracking
2
Virtual Blackboard: colour and human motion tracking
2/31
Objetivos
● Explorar sistemas de tracking de objetos en vídeo
● Implementar componente que funcione en tiempo real
● Crear interacción del usuario a través de una cámara
3
Virtual Blackboard: colour and human motion tracking
3/31
Aplicaciones
Camimic ARMolePizarra Virtual RehabilitaciónFiltro de Color ARToolKitFiltro de Distancia OSGFiltro de Kalman OSGArtOpenCV OSGAL
4
CAMIMIC: Pizarra Virtual
4/31
kinectComp
Imagen +Profundidad
Filtro deDistancia
Filtro de Color
Camshift
Cámara
Imagen
Filtro deColor
Filtro de Forma
Filtro de Kalman
PizarraVirtual
5
CAMIMIC: Pizarra Virtual
5/31
kinectComp – Una kinect para todos
Network
kinectComp
mycomponentCompmycomponentComp
moleComp
6
CAMIMIC: Pizarra Virtual
6/31
Kinect Sensor
– Disponible desde Noviembre 2010
– Funciona en GNU/Linux, MacOS y Windows
– Usa una cámara RGB y otra infrarroja
– Configuración más sencilla que cámaras estéreo
– Menos precisión que el LASER pero más barato
– Open Source driver: OpenKinect (libfreenect)
7
CAMIMIC: Pizarra Virtual
7/31
Kinect – ¿Cómo funciona?
LámparaIR
CámaraIR
CámaraRGB
Mapa deDisparidadMapa de
Disparidad-- ==
8
CAMIMIC: Pizarra Virtual
8/31
Kinect – Sombras
9
CAMIMIC: Pizarra Virtual
9/31
Kinect – Coordenadas esféricas o cartesianas
10
CAMIMIC: Pizarra Virtual
10/31
Kinect – Calibración
Usando RGBDemo (Nicolas Burrus)
11
CAMIMIC: Pizarra Virtual
11/31
Filtro de Distancia
12
CAMIMIC: Pizarra Virtual
12/31
Filtro de Color y CAMShift
13
CAMIMIC: Pizarra Virtual
13/31
Detección de círculos – Hough Transform
14
CAMIMIC: Pizarra Virtual
14/31
Tracking – Filtro de Kalman
15
ARMole: Juego de RA para rehabilitación
15/31
cameraComp
Imagen
TrackingARToolKit
Inteacción
ARMole
Escena 3DOSG
Control porGUI
16
ARMole: Juego de RA para rehabilitación
16/31
¿Qué es la Realidad Aumentada?Fusión entre el mundo real y el virtual
MundoReal
MundoReal Mundo
VirtualMundoVirtualRealidad Aumentada
17
ARMole: Juego de RA para rehabilitación
17/31
¿Qué es la Realidad Aumentada?Añadir información en tiempo real en nuestro entorno
MundoReal
MundoReal Augmented
RealityAugmented
Reality++ ==
Información extra:
● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador
Información extra:
● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador
18
ARMole: Juego de RA para rehabilitación
18/31
Ejercicios de rehabilitación en niños
Problema: Abandono frecuente de los ejercicios● Aburridos● Dolorosos● Largos en el tiempo
Solución: Juegos de Realidad Aumentada
19
ARMole: Juego de RA para rehabilitación
19/31
URSUS – Un simpático robot para practicar los ejercicios
cameraCompsevillaComp
speechComp
armrocioComp brazoComp
20
ARMole: Juego de RA para rehabilitación
20/31
Juego Whack-a-mole para ejercicios de brazoLos ejercicios: El juego:
21
ARMole: Juego de RA para rehabilitación
21/31
¿Qué necesitamos para desarrollar este juego?
– Tracking de los movimientos del paciente
– Un mundo virtual interactivo
– Unir la interacción con el tracking
22
ARMole: Juego de RA para rehabilitación
22/31
cameraComp
Imagen
TrackingARToolKit
Inteacción
ARMole
Escena 3DOSG
Control porGUI
23
ARMole: Juego de RA para rehabilitación
23/31
ARToolKit – Tracking de marcas para RA
Ventajas:– Independencia iluminación– Fácil de implementar– 3D tracking con cámara simple– Varias marcas y multimarcas– Recupera el objeto tras perderlo
24
ARMole: Juego de RA para rehabilitación
24/31
ARToolKit – Tracking de marcas para RA
Desventajas:– Invasiva– Reflejos– Pierde el objeto– No usa color
25
ARMole: Juego de RA para rehabilitación
25/31
OpenSceneGraph (OSG) – Entornos 3D basados en árboles de nodos– Nodos controlados por matrices de transformación
RAÍZ
TRONCO TRONCO
RAMA
HOJA
HOJA
RAMA
BROTE
RAMA
BROTE
HOJAHOJA
BROTE
HOJA HOJA
HOJA
26
ARMole: Juego de RA para rehabilitación
26/31
OSGArt y OSGAL – Interacción
OSG ARToolKit
Nodo controlado por
TransformacionesAfines
Marca 1ARToolKit
DistanciasTridimensionales
Marca 2ARToolKit
Cámara
Aumentar puntuación
Reproducirsonido
Modificarescena Mostrar
información
27
ARMole: Juego de RA para rehabilitación
27/31
28
ARMole: Juego de RA para rehabilitación
28/31
RoboComp + ARToolKit + OSG + Webcam
Características:
– Un juego interactivo y divertido
– Configurable para cada ejercicio
– Conexión con otros componentes
29
CAMIMIC y ARMole
29/31
Vídeos de las aplicaciones
CAMIMIC: Filtro de distancia con Kinect
CAMIMIC: Pizarra Virtual con Filtro de Kalman
ARMole: Modificación de la escena desde la GUI
ARMole: Interacción con los modelos y el audio
30
CAMIMIC y ARMole
30/31
Propuesta de trabajo futuroCamimic:
– Integrar la pizarra externa dentro en Camimic– Mejorar tracking añadiendo variables al filtro de Kalman– Añadir más funciones a la pizarra
ARMole:– Sustituir ARToolKit por un tracking sin marcas– Obtener más control e información desde la GUI– Añadir nuevos modelos y niveles para más ejercicios– Mejorar el sistema de audio y el de puntuación
31
Virtual Blackboard: colour and human motion tracking
31/31
Muchas gracias por su atención
Estaría encantado de responder a sus preguntas
Más información:http://landerpfc.wordpress.com