A. García-Alonso1 Masters : SIA & ICSI LINK LINK

A. García-Alonso 1

Masters : SIA & ICSI

LINK http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones

http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones

A. García-Alonso 2

Presentación Profesor

• Biografía– etapas

• Biografía– aaa

A. García-Alonso 3

Presentación alumnas/os

• Encuesta– bbb

A. García-Alonso 4

Asignaturas

• SIA : Visualización Interactiva y Cooperativa en Realidad Virtual y de Simulación 3D– Realidad Virtual

• ICSI Realidad virtual y aumentada: interacción 3D multimodal– Realidad Virtual

– Realidad Aumentada

– interacción 3D multimodal : hápticos

A. García-Alonso 5

Temas I

• 4 a 22 Feb

• Conceptos, Hª, terminología

• Equipos

• Generación imágenes en VR– Conceptos

– Modelos

– Generar imágenes

– 3D (tecnología estéreo)

• Problemas geométricos en VR

• APIs (práctica) : openGL

A. García-Alonso 6

Temas II

• 25 Feb en adelante (obligatorio para ICSI, libre para SIA)

• AR– Markers

– Sin markers

– Generación imágenes para AR

• Hápticos– equipos

– geometría

– “haptic rendering”

VR-Introducción A. García-Alonso 7

Generar Imágenes (Gráficos por Computador)

Interacción

A. García-Alonso 8

Areas de aplicación

• Viedojuegos

• “Simuladores”

• Medicina

• Entrenamiento de operadores (máquinas y vehículos)

• Arquitectura y decoración

• CAD, fabricación, montaje, mantenimiento, ...• Visualización científica (fluidos, deformaciones)

• Preparación de efectos especiales en cine

• Mundos virtuales

VR-Introducción

A. García-Alonso 9

GxC apuntes históricos

• 1970 Plotter

• 1975 Vector images (“osciloscopio”) Tektronix

• 1980 raster (“terminals”, PCs, micros)

• 1983 (z) depth-buffer (3D, Clark “geometry engine”)

• 1985 Workstation Silicon Graphics

• 1992 VR : CAVE (Carolina Cruz Neira, Tom DeFanti)

• 2000 GPU NVidia …

• 2005 Consolas Nintendo, Sony, Microsoft

TfnoMóvil, TVstereo, autostereoVR-Introducción

A. García-Alonso 10

Interacción persona-computador

• Historia– Tarjetas perforadas (lotes)

– Terminal alfanumérico (interacción)

– Gráficos por ordenador (interacción gráfica : GUI )

– Sistemas de ventanas (desktop metaphor)

• Presente y Futuro– Realidad Virtual y Realidad Aumentada

– Sistemas colaborativos

– 3D GUI (sobremesa, proyectado, aumentado)

– Wearable computing

VR-Introducción


Terminología

• Telepresencia Visualización– retransmitir (Mars Rover) vs. generar (videojuego)

• Simulación Visualización – Prudencia al usar el término “simulación”(siguiente

transparencia : “real time”)

• Animación– variedad hasta el equívoco

• 3D– Academia : modelos, animación, simulación

– Público gral : imágenes estereoscópicas

VR-Introducción


Terminología

• Visualización– Interactiva (“tiempo real”) (videojuegos,…)

• GPU, sombras, …

– Imagen a imagen (cine, animación, …)• Raytracing, Radiosity

• Real time (tiempo respuesta / cps Hz)

– Control (electrónica, mecánica,…)

– GxC, VR (videojuegos, ingeniería, modelado, animación) • Capturar interación del usuario (input devices, visual, táctil,…)• Actualizar procesos• Generar Feedback (imágenes, haptico, audio, …)

VR-Introducción


Terminología

• Interfaces– “Desktop”– Visualización imágenes “modelos/entornos 3D”

(visualización interactiva)

– 3D estéreo

– Inmersiva (VR, AR, MR)

VR-Introducción


Terminología : 3D (estereo)

• Pasivo, Activo, Autoestereo

• Cines, home, publicidad

• Otros : anaglyph images (anaglifos), goggles (+ lentillas,

proyección directa sobre ojo), holográficos

VR-Introducción


Terminología : immersión

• Pantalla (NO inmersivo)

• Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial)

• Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted

display-, CAVE) (SI inmersivo)

• Consideraciones sobre 3D

VR-Introducción


Inmersión

• Recibir acciones de la(s) persona(s)

+

• Modelo físico (geometría + propiedades)

+

• Simulación ( leyes físicas + relaciones + IA )

+

• Generar sensaciones

=> I N M E R S I Ó N

ligaduras mecánicasgravedad, electrostática, ...

térmicascomportamientos (rebaños/ia)

VR-Introducción


Inmersión

• Recibir de la(s) persona(s) input devices ( capture )

+

• Modelo físico estruct. Datos ( modelado )

+

• Simulación algorit. ( animación )

+• Generar sensaciones output devices ( rendering )

=> I N M E R S I Ó N

VR-Introducción


Comunicación : RE / VE

• Real environment (medio ambiente real: mundo y personas)

– Vista gestos, acciones

– Oído habla

– Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.)

– Gusto ¿ ser “gustado” ?

– Olfato ¿ olor segregado ?

• Virtual environment– Nos limitaremos a comunicación : VE ↔ usuario

– Prescindimos de : avatar(es) ↔ usuario (clases de Amalia)

VR-Introducción


Comunicación : del VE al usuario

• Nos muestra imágenes

• Nos habla o genera sonidos

• Realimentación háptica

• Nos ofrece sabores u olores

VR-Introducción


Comunicación : del usuario al VE

• Nos ve: capta posiciones (visión/sensores) e interpreta– Cuerpo y extremidades, mano, cara (o sólo boca)

– Reconoce gestos (posiciones o secuencia movimientos)

• Nos oye (comando, lenguaje natural)

• Realimentación háptica

• ¿nos saborea o nos huele?

Acción directa input devices : mouse, wand, haptic, glove, …

VR-Introducción


Gráficos por Computador

• Base para el principal subsistema de salida en VR– (recordar esquema)

• IGS : Image Generation System– distintos niveles de abstraccion o encapsulamiento

• librerías gráficas• sistemas gráficos• visualizadores de ficheros

– problemas de I/O


IGS : Image Generation System

• librerías gráficas– OpenGL, Direct3D, ...

• sistemas gráficos

– Inventor, Performer, Ogre, OSG, …

– Sistemas para visualizar bases de datos geométricas muy grandes (HP, SGI, SGI & Microsoft, Second life)

– Simuladores

• visualizadores de ficheros– DXF, Catia, SolidEdge, ... VRML, X3D


Conceptos básicos

• frame buffer– pixel, resolución

– memoria en la tarjeta gráfica• 256 colores• tabla de colores + índice de color• true color (8 + 8 + 8)

– refresco de la memoria gráfica

– información referida a un pixel:• RGB (8 x 3 bits)• RGBA• profundidad Z (2 ó 4 bytes)• doble buffering• GPUs


Conceptos básicos

• “frame” o cuadro– tiempo real

– “off line”

• generación / reconocimiento (síntesis/análisis)– cooperación

• texturas• i/f de usuario

• generación, síntesis, infografía, GxC– modelos

– animación

– visualización


Elementos de GxC

• modelos– geometría y topología

– materiales

– fuentes de luz

• animación– posición cuerpos, luces, cámaras, ...

– transformación de cámara (perspectiva, paralela, ...)

– cambios de propiedades en el tiempo,

– deformaciones,

– crecimiento,

– leyes físicas o comportamientos, ...


.....

• Visualización– interactiva o en tiempo real / en espera o en lote

– visibilidad e iluminación

– modelo interacción luz-superficie

– luz ambiente

– sombras

– transparencia

– reflejos

– profundidad de campo, .....


El proceso de generación de imagen

limpiar frame buffer y z-buffer

definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame)

( definir luces )

recorrer cuerpos

declarar su posición (matriz)

recorrer superficies

definir material

enviar los polígonos

“swap” de frame buffers

Documents

A. García-Alonso1 Masters : SIA & ICSI LINK LINK