Inmersión en entornos virtuales mediante Realidad Aumentada (Begoña Sagredo)

Presentación PFC

Inmersión en Entornos Virtuales mediante

Realidad Aumentada

Mª Begoña Sagredo Sánchez

Universidad de Málaga

Introducción

• Comunicaciones por vídeo limitadas por el estrecho ancho de banda para la transmisión de imágenes

• Compresión de las secuencias de vídeo como solución más viable

• Estándares MPEG de 2ª generación son los más usados MPEG-4 emplea compresión orientada a objetos

• Separación de fotogramas en objetos procesado independiente y adaptación el ancho de banda disponible

Introducción• Técnica habitual en entornos

reales división de imágenes en objetos de interés y fondo

• Sustracción de fondo Extracción de objetos por comparación con un fondo conocido de referencia

– Usuario situado en un espacio específico– Fondo plano homogéneo de color chillón– No es posible interactuar con los elementos virtuales

Introducción

• Otras técnicas emplean como fondo de referencia una imagen previa del mismo sin objetos de interés únicamente válida para cámaras fijas

• En este proyecto se realiza una sustracción de fondo para cámaras móviles mediante técnicas de Realidad Aumentada (RA)– El fondo de referencia para la extracción de objetos se

obtiene de un modelo virtual en 3D del entorno de trabajo debidamente alineado con éste

– Para recomponer el fotograma se emplea un fondo sustituto del original obtenido de un segundo modelo virtual en 3D, también alineado con el entorno real

Indice

• 1. Modelos virtuales

• 2. Alineación de modelos con el entorno real

• 3. Sustracción dinámica de fondo

• 4. Experimentos y resultados

• 5. Conclusiones y trabajo futuro

Indice

• 1. Modelos virtuales

• 2. Alineación de modelos con el entorno real

• 3. Sustracción dinámica de fondo

• 4. Experimentos y resultados

• 5. Conclusiones y trabajo futuro

1. Modelos virtuales

• 3D Studio Max – Modelado de objetos en 3D y creación de

materiales a partir de imágenes en formato ‘.bmp’

• OPenGL– Librería gráfica para la creación y

configuración de ventanas de visualización donde se pueden representar fácil y rápidamente los objetos en 3D

1. Modelos virtuales

• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de

referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de cajas

de medidas variadas que los simulan

1. Modelos virtuales

Puerta CorchoParedesPizarra

ArmariosSuelo

1. Modelos virtuales

• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de

referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de cajas

de medidas variadas que los simulan

1. Modelos virtuales• Dos modelos virtuales:

– Modelo del entorno de trabajo actúa como fondo de referencia para la extracción de objetos inicial

• Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan

• Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar

1. Modelos virtuales

1. Modelos virtuales

Perspectiva final del diseño

1. Modelos virtuales• Dos modelos virtuales:

– Modelo del entorno de trabajo actúa como fondo de referencia para la extracción de objetos inicial

• Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan

• Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar

1. Modelos virtuales

• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de

referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de

cajas de medidas variadas que los simulan• Diseño de materiales a partir de fotografías de los objetos

reales que se quieren modelar

– Modelo virtual sustituto fuente para el fondo sustituto en la composición del fotograma final

1. Modelos virtuales

• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de

referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de

cajas de medidas variadas que los simulan• Diseño de materiales a partir de fotografías de los objetos

reales que se quieren modelar

– Modelo virtual sustituto fuente para el fondo sustituto en la composición del fotograma final

• Estructura similar al modelo del entorno real

1. Modelos virtuales

• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de

referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de

cajas de medidas variadas que los simulan• Diseño de materiales a partir de fotografías de los objetos

reales que se quieren modelar

– Modelo virtual sustituto fuente para el fondo sustituto en la composición del fotograma final

• Estructura similar al modelo del entorno real• Materiales a partir de fotografías de las fachadas de la Plaza

1. Modelos virtuales• Materiales para la Plaza

Calle Mercaderes Calle Teniente Rey

Calle San Ignacio

1. Modelos virtuales

Perspectiva final del diseño

Indice

• 1. Modelos virtuales

• 2. Alineación de modelos con el entorno real

• 3. Sustracción dinámica de fondo

• 4. Experimentos y resultados

• 5. Conclusiones y trabajo futuro

2. Alineación de modelos con el entorno real

• Es necesario conocer la posición y orientación de la cámara en el entorno real para obtener la vista adecuada del modelo virtual

• La existencia de referencias físicas en el entorno permitiría determinar dónde se encuentra la cámara en todo momento

• Técnicas de visión por computador hacen posible la detección y reconocimiento de marcas físicas artificiales ARToolkit

2. Alineación de modelos con el entorno real

• ARToolkit– Librería de distribución libre que calcula en tiempo real la

posición-orientación de la cámara respecto de una serie de marcas para las que ha sido entrenado y sobre las que sitúa objetos virtuales

• Longitud conocida del lado

• Orientación del patrón

Posición de la

cámara

2. Alineación de modelos con el entorno real

• Permite posicionamiento con una única marca

• Permite posicionamiento múltiple con varias marcas

• Cámara limitada al espacio físico de las marcas

Cambiar por un video

2. Alineación de modelos con el entorno real

• Posicionamiento único con varias marcas– Emplea varias marcas con

una posición fija en un sistema de coordenadas definido

– Determina la posición respecto de un único punto del sistema de coordenadas

2. Alineación de modelos con el entorno real

• Posicionamiento único con varias marcas– Emplea varias marcas con

una posición fija en un sistema de coordenadas definido

– Determina la posición respecto de un único punto del sistema de coordenadas

• Es independiente de la marca detectada

• Permite mayor libertad de movimientos

2. Alineación de modelos con el entorno real

• Sistema de marcas distribuidas por el entorno

X

Y

Z

2. Alineación de modelos con el entorno real

• Diseño en 3D de un armario de cristaleras verde

X

Y

Z

2. Alineación de modelos con el entorno real

• Proceso de superposición final

Indice

• 1. Modelos virtuales

• 2. Alineación de modelos con el entorno real

• 3. Sustracción dinámica de fondo

• 4. Experimentos y resultados

• 5. Conclusiones y trabajo futuro

3. Sustracción dinámica de fondo

• Segmentación o división de imágenes en ‘objetos’ o regiones de interés y en ‘fondo’ o regiones carentes de ella– Funcionamiento en entornos reales robusto a

cambios de intensidad, luces y sombras– Funcionamiento en tiempo real rápido– Compromiso resultados-tiempo empleado

• ‘Segmentación en color por sustracción de fondo’

3. Sustracción dinámica de fondo

• Comparación píxel a píxel entre fondo e imagen a procesar, empleando como criterio el color– Distancia de color entre cada par de píxeles y se

determina según un umbral determinado si:• Píxeles iguales fondo

• Píxeles diferentes objeto potencial

3. Sustracción dinámica de fondo

Fondo de referencia

Imagen a procesar

Algoritmo de comparación

3. Sustracción dinámica de fondo

• Inconvenientes– Introduce ruido: grupos de píxeles aislados y erróneos– Los resultados dependen de los umbrales considerados,

y estos de la situación del entorno en el instante de captura de la imagen

• Comparación píxel a píxel entre fondo e imagen a procesar, empleando como criterio el color– Distancia de color entre cada par de píxeles y se

determina según unos umbrales determinados que:• Píxeles iguales fondo

• Píxeles diferentes objeto potencial

3. Sustracción dinámica de fondo• Se aplica a continuación un algoritmo para la

detección de objetos Algoritmo de detección de objetos por mezclado con conectividad– Agrupación en regiones de píxeles adyacentes distintos

del fondo– Filtrado de clases

Área mínima elimina regiones cuyo área no supere un valor mínimo eliminación de ruido

– Dilatación de regiones finales para eliminar huecos

3. Sustracción dinámica de fondo

Fondo de referencia

Imagen a procesar

Algoritmo de comparación

Algoritmo de detección de

objetos

Criterios de área mínima

3. Sustracción dinámica de fondo

• Problemas añadidos fondo de referencia procedente de un modelo virtual– Errores de comparación debido a que la

superficie de los objetos modelados no es exactamente igual a los reales

– Errores de comparación debido a la incorrecta alineación de los mundos real y virtual

• Extracción de regiones que objetivamente no tienen sentido

3. Sustracción dinámica de fondoError debido al modelado de la

textura

Error debido al desalineamiento

3. Sustracción dinámica de fondo

• Filtrado de regiones más restrictivo bounding box o caja que contiene la región– Relación de aspecto evitamos regiones

alargadas– Relación área efectiva-área de bounding box

evitamos regiones poco ocupadas por los píxeles de la imagen

3. Sustracción dinámica de fondo

Región alargada

Regiones poco ocupadas

3. Sustracción dinámica de fondo• Composición final del fotograma

Fondos sustitutos Fotograma compuesto

Imagen procedente de la sustracción

Indice

• 1. Modelos virtuales

• 2. Alineación de modelos con el entorno real

• 3. Sustracción dinámica de fondo

• 4. Experimentos y resultados

• 5. Conclusiones y trabajo futuro

4. Experimentos y resultados

Proyección del modelo de la

Plaza

Salida de vídeo

compuesto

Imagen real procedente la

cámara

Proyección del modelo del

entorno real

4. Experimentos y resultados• Ventajas

– Medios técnicos necesarios muy básicos: PC y cámara de vídeo

– Funcionamiento global del sistema en tiempo real

• La simplicidad de la técnica empleada para el posicionamiento

• Rapidez y facilidad para representar los objetos virtuales

4. Experimentos y resultados

• Inconvenientes– Alineación de mundos comprometida: oscilaciones

del modelo y errores de posicionamiento• Marcas lejanas y oblicuas al eje de la cámara

• Presencia de ruido en imágenes

– Errores en la extracción final de objetos• Cambios acentuados en las condiciones del entorno

• Modelado demasiado básico del entorno de trabajo

4. Experimentos y resultados• Errores no eliminados

4. Experimentos y resultados

Indice

• 1. Modelos virtuales

• 2. Alineación de modelos con el entorno real

• 3. Sustracción dinámica de fondo

• 4. Experimentos y resultados

• 5. Conclusiones y trabajo futuro

5. Conclusiones y trabajo futuro

• Posicionamiento– Búsqueda y reconocimiento de marcas ha

permitido la localización en un entorno conocido empleando sólo una cámara

– El sistema de marcas proporciona libertad de movimientos y posicionamiento con gran rapidez

– Precisa al menos de una marca visible– Muy sensible al ruido, tanto más cuanto mayor es

la distancia a la marca detectada

5. Conclusiones y trabajo futuro

• Diseño y visualización de modelos virtuales– OpenGL vs. Motores gráficos

• OpenGL permite representar objetos en 3D con escasos recursos del sistema, de forma rápida y sencilla

• La adaptación de los modelos y las texturas es menos laboriosa

• Permite visualizar simultáneamente los modelos en ventanas independientes verificación de mundos real y virtual alineados

5. Conclusiones y trabajo futuro

• Extracción de objetos y composición de fotogramas– Extracción de objetos

• Muy dependiente de cómo se ha diseñado el modelo del entorno y de los resultados del posicionamiento propagación de errores

• Principal causa de limitación de velocidad global

– Composición de fotogramas finales fácil y sencilla

5. Conclusiones y trabajo futuro

• Varias líneas de estudio interesantes– Mejora en el posicionamiento errores en función de

la distancia• Empleo de marcas a medio camino búsqueda en la base de

datos de marcas conocidas• Sistemas externos de apoyo: sonar, dispositivo tracker...

complejidad

– Mejora en el diseño de modelos falta de realismo• Modelado y carga de efectos de luces, sombras y brillos en

función de las condiciones del entorno

– Posibilidad de incorporar los resultados a tecnologías basadas en MPEG-4