UNIVERSIDAD DE EXTREMADURA

Alumno: Tutor:

Leandro Pavón Serrano Pedro M. Núñez Trujillo

Septiembre 2011, Cáceres

Escuela PolitécnicaI. T. Telecomunicación. Sonido e Imagen

Proyecto Fin de Carrera

Virtual Blackboard: colour and human gestures motion tracking

2

Virtual Blackboard: colour and human motion tracking

2/31

Objetivos

● Explorar sistemas de tracking de objetos en vídeo

● Implementar componente que funcione en tiempo real

● Crear interacción del usuario a través de una cámara

3

Virtual Blackboard: colour and human motion tracking

3/31

Aplicaciones

Camimic ARMolePizarra Virtual RehabilitaciónFiltro de Color ARToolKitFiltro de Distancia OSGFiltro de Kalman OSGArtOpenCV OSGAL

4

CAMIMIC: Pizarra Virtual

4/31

kinectComp

Imagen +Profundidad

Filtro deDistancia

Filtro de Color

Camshift

Cámara

Imagen

Filtro deColor

Filtro de Forma

Filtro de Kalman

PizarraVirtual

5

CAMIMIC: Pizarra Virtual

5/31

kinectComp – Una kinect para todos

Network

kinectComp

mycomponentCompmycomponentComp

moleComp

6

CAMIMIC: Pizarra Virtual

6/31

Kinect Sensor

– Disponible desde Noviembre 2010

– Funciona en GNU/Linux, MacOS y Windows

– Usa una cámara RGB y otra infrarroja

– Configuración más sencilla que cámaras estéreo

– Menos precisión que el LASER pero más barato

– Open Source driver: OpenKinect (libfreenect)

7

CAMIMIC: Pizarra Virtual

7/31

Kinect – ¿Cómo funciona?

LámparaIR

CámaraIR

CámaraRGB

Mapa deDisparidadMapa de

Disparidad-- ==

8

CAMIMIC: Pizarra Virtual

8/31

Kinect – Sombras

9

CAMIMIC: Pizarra Virtual

9/31

Kinect – Coordenadas esféricas o cartesianas

10

CAMIMIC: Pizarra Virtual

10/31

Kinect – Calibración

Usando RGBDemo (Nicolas Burrus)

11

CAMIMIC: Pizarra Virtual

11/31

Filtro de Distancia

12

CAMIMIC: Pizarra Virtual

12/31

Filtro de Color y CAMShift

13

CAMIMIC: Pizarra Virtual

13/31

Detección de círculos – Hough Transform

14

CAMIMIC: Pizarra Virtual

14/31

Tracking – Filtro de Kalman

15

ARMole: Juego de RA para rehabilitación

15/31

cameraComp

Imagen

TrackingARToolKit

Inteacción

ARMole

Escena 3DOSG

Control porGUI

16

ARMole: Juego de RA para rehabilitación

16/31

¿Qué es la Realidad Aumentada?Fusión entre el mundo real y el virtual

MundoReal

MundoReal Mundo

VirtualMundoVirtualRealidad Aumentada

17

ARMole: Juego de RA para rehabilitación

17/31

¿Qué es la Realidad Aumentada?Añadir información en tiempo real en nuestro entorno

MundoReal

MundoReal Augmented

RealityAugmented

Reality++ ==

Información extra:

● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador

Información extra:

● Mediciones● Información online● Cálculos en tareas cotidianas● Asociación de perfiles● Reconocimiento por ordenador

18

ARMole: Juego de RA para rehabilitación

18/31

Ejercicios de rehabilitación en niños

Problema: Abandono frecuente de los ejercicios● Aburridos● Dolorosos● Largos en el tiempo

Solución: Juegos de Realidad Aumentada

19

ARMole: Juego de RA para rehabilitación

19/31

URSUS – Un simpático robot para practicar los ejercicios

cameraCompsevillaComp

speechComp

armrocioComp brazoComp

20

ARMole: Juego de RA para rehabilitación

20/31

Juego Whack-a-mole para ejercicios de brazoLos ejercicios: El juego:

21

ARMole: Juego de RA para rehabilitación

21/31

¿Qué necesitamos para desarrollar este juego?

– Tracking de los movimientos del paciente

– Un mundo virtual interactivo

– Unir la interacción con el tracking

22

ARMole: Juego de RA para rehabilitación

22/31

cameraComp

Imagen

TrackingARToolKit

Inteacción

ARMole

Escena 3DOSG

Control porGUI

23

ARMole: Juego de RA para rehabilitación

23/31

ARToolKit – Tracking de marcas para RA

Ventajas:– Independencia iluminación– Fácil de implementar– 3D tracking con cámara simple– Varias marcas y multimarcas– Recupera el objeto tras perderlo

24

ARMole: Juego de RA para rehabilitación

24/31

ARToolKit – Tracking de marcas para RA

Desventajas:– Invasiva– Reflejos– Pierde el objeto– No usa color

25

ARMole: Juego de RA para rehabilitación

25/31

OpenSceneGraph (OSG) – Entornos 3D basados en árboles de nodos– Nodos controlados por matrices de transformación

RAÍZ

TRONCO TRONCO

RAMA

HOJA

HOJA

RAMA

BROTE

RAMA

BROTE

HOJAHOJA

BROTE

HOJA HOJA

HOJA

26

ARMole: Juego de RA para rehabilitación

26/31

OSGArt y OSGAL – Interacción

OSG ARToolKit

Nodo controlado por

TransformacionesAfines

Marca 1ARToolKit

DistanciasTridimensionales

Marca 2ARToolKit

Cámara

Aumentar puntuación

Reproducirsonido

Modificarescena Mostrar

información

27

ARMole: Juego de RA para rehabilitación

27/31

28

ARMole: Juego de RA para rehabilitación

28/31

RoboComp + ARToolKit + OSG + Webcam

Características:

– Un juego interactivo y divertido

– Configurable para cada ejercicio

– Conexión con otros componentes

29

CAMIMIC y ARMole

29/31

Vídeos de las aplicaciones

CAMIMIC: Filtro de distancia con Kinect

CAMIMIC: Pizarra Virtual con Filtro de Kalman

ARMole: Modificación de la escena desde la GUI

ARMole: Interacción con los modelos y el audio

30

CAMIMIC y ARMole

30/31

Propuesta de trabajo futuroCamimic:

– Integrar la pizarra externa dentro en Camimic– Mejorar tracking añadiendo variables al filtro de Kalman– Añadir más funciones a la pizarra

ARMole:– Sustituir ARToolKit por un tracking sin marcas– Obtener más control e información desde la GUI– Añadir nuevos modelos y niveles para más ejercicios– Mejorar el sistema de audio y el de puntuación

31

Virtual Blackboard: colour and human motion tracking

31/31

Muchas gracias por su atención

Estaría encantado de responder a sus preguntas

Más información:http://landerpfc.wordpress.com