Área de Instrumentación
INSTITUTO DE ASTROFÍSICA DE CANARIASINSTITUTO DE ASTROFÍSICA DE CANARIAS
Jorge Maella MarecaInstituto de Astrofísica de Canarias
Realización de Software en el proyecto EAVRealización de Software en el proyecto EAV
Autor: Jorge Maella Mareca
Dirección: Luis Fernando Rodríguez Ramos
Nicolás Sosa García
Autor: Jorge Maella Mareca
Dirección: Luis Fernando Rodríguez Ramos
Nicolás Sosa García
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Contenido de la exposiciónContenido de la exposición
- Proyecto Espacio Acústico Virtual (EAV)- Adaptación del software a la nueva
plataforma- Proceso de Calibrado software de las
cámaras.- Sonidos: Estructura actual y trabajos
realizados.- Documentación.- Turno de preguntas.
- Proyecto Espacio Acústico Virtual (EAV)- Adaptación del software a la nueva
plataforma- Proceso de Calibrado software de las
cámaras.- Sonidos: Estructura actual y trabajos
realizados.- Documentación.- Turno de preguntas.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Espacio Acústico Virtual Espacio Acústico Virtual
-Objetivo: Percepción del entorno usando únicamente sonidos
- Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras”
- Tecnología: Visión Espacial + Espacialización de sonidos
- Destinado a las personas ciegas
-Objetivo: Percepción del entorno usando únicamente sonidos
- Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras”
- Tecnología: Visión Espacial + Espacialización de sonidos
- Destinado a las personas ciegas
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Adaptación a la nueva plataforma: Prototipo Anterior
Adaptación a la nueva plataforma: Prototipo Anterior
- Computador modelo Matrox 4Sight – II- Framegrabber Matrox Meteor – II /Multi – Channel - Captura de vídeo no entrelazado- Captura de dos imágenes de 320 x 240 píxeles a
la vez. Una de cada cámara.- Demasiado grande para ser portable.
- Computador modelo Matrox 4Sight – II- Framegrabber Matrox Meteor – II /Multi – Channel - Captura de vídeo no entrelazado- Captura de dos imágenes de 320 x 240 píxeles a
la vez. Una de cada cámara.- Demasiado grande para ser portable.
Motivación para el CambioMotivación para el Cambio
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Presentación de la nueva Plataforma
Presentación de la nueva Plataforma
- Computador Espresso Pocket PC- Dimensiones reducidas, 150 x 106 x 32 mm.- Potencia: Intel Celeron 700MHz, 256MB RAM- Integra hardware de sonido SoundBlaster
compatible
- Computador Espresso Pocket PC- Dimensiones reducidas, 150 x 106 x 32 mm.- Potencia: Intel Celeron 700MHz, 256MB RAM- Integra hardware de sonido SoundBlaster
compatible
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Captura de Imágenes: USB + Vídeo entrelazadoCaptura de Imágenes:
USB + Vídeo entrelazado
- Captura de imágenes mediante bus USB.- Inconveniente: Solo se puede capturar una señal de vídeo con USB - Cámaras deben poder trabajar en modo entrelazado. - Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x 120.- Líneas pares, cámara derecha e impares izquierda.
- Captura de imágenes mediante bus USB.- Inconveniente: Solo se puede capturar una señal de vídeo con USB - Cámaras deben poder trabajar en modo entrelazado. - Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x 120.- Líneas pares, cámara derecha e impares izquierda.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Software del EAV: Estructura + Cambios a realizar
Software del EAV: Estructura + Cambios a realizar
- Estructura del programa de Estereovisión:
Bucle que realiza lo siguiente:- Capturar Imágenes y rectificarlas
- Transformarlas en imágenes sonoras.
- Reproducir los sonidos e iterar en el proceso.
- Primer trabajo:
Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez.
Separar la imagen entrelazada en dos por software.
- Estructura del programa de Estereovisión:
Bucle que realiza lo siguiente:- Capturar Imágenes y rectificarlas
- Transformarlas en imágenes sonoras.
- Reproducir los sonidos e iterar en el proceso.
- Primer trabajo:
Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez.
Separar la imagen entrelazada en dos por software.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Software del EAV: Estructura + Cambios a realizar (2)
Software del EAV: Estructura + Cambios a realizar (2)
- Problemillas...:
Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3.
Cambio en la versión del API de sonido WaveOut.
- Resultados: Buenos.
Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo.
Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7.
- Problemillas...:
Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3.
Cambio en la versión del API de sonido WaveOut.
- Resultados: Buenos.
Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo.
Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Calibrado Software de las Cámaras
Calibrado Software de las Cámaras
- ¿qué es?- Procedimiento para calcular un conjunto de parámetros de las
lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades.
- Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras.
- Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design.
- Mi Tarea: Estandarizar y Documentar el proceso.
- ¿qué es?- Procedimiento para calcular un conjunto de parámetros de las
lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades.
- Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras.
- Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design.
- Mi Tarea: Estandarizar y Documentar el proceso.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Sonidos: Estructura del software encargado de la Reproducción.
Sonidos: Estructura del software encargado de la Reproducción.
- Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes.
Se carga a memoria al comenzar la ejecución
- Datos Técnicos:
Frecuencia de muestreo 48KHz.
Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms
Separación entre la emisión de 2 sonidos -> 1ms.
Máximo número de sonidos por frame -> 153.
- Se envían a reproducir todos los sonidos de un frame mezclados por software.
- Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes.
Se carga a memoria al comenzar la ejecución
- Datos Técnicos:
Frecuencia de muestreo 48KHz.
Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms
Separación entre la emisión de 2 sonidos -> 1ms.
Máximo número de sonidos por frame -> 153.
- Se envían a reproducir todos los sonidos de un frame mezclados por software.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Primera Tarea: Estudio de técnicas de
compresión del buffer de sonidos
Primera Tarea: Estudio de técnicas de
compresión del buffer de sonidos
- Motivación
Se espera tener colecciones de sonidos de cientos de Mbytes.
En los portátiles el consumo condiciona la memoria.
- Estudio de varias técnicas:
Compresión en memoria sin pérdidas:- Redes neuronales, tablas de búsqueda, tablas estilo cache.
Compresión con pérdidas: Algoritmo de mu – law.
Compresión en disco: huffman, lempel/Ziv.
- Estudio y documentación, no implementación.
- Motivación
Se espera tener colecciones de sonidos de cientos de Mbytes.
En los portátiles el consumo condiciona la memoria.
- Estudio de varias técnicas:
Compresión en memoria sin pérdidas:- Redes neuronales, tablas de búsqueda, tablas estilo cache.
Compresión con pérdidas: Algoritmo de mu – law.
Compresión en disco: huffman, lempel/Ziv.
- Estudio y documentación, no implementación.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Segunda Tarea: Búsqueda de una reproducción sonora más limpia. Segunda Tarea: Búsqueda de una reproducción sonora más limpia.
- Motivación: Dos defectillos en la reproducción:
Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio.
Evitar cortes bruscos en la reproducción sonora.
- Realización: Programación de otra manera del API WaveOut
CALLBACK + encolar paquetes de sonidos.
Sincronización por cita con semáforos.
- Prestaciones: Igual que el anterior, pero ...
Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho.
- Motivación: Dos defectillos en la reproducción:
Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio.
Evitar cortes bruscos en la reproducción sonora.
- Realización: Programación de otra manera del API WaveOut
CALLBACK + encolar paquetes de sonidos.
Sincronización por cita con semáforos.
- Prestaciones: Igual que el anterior, pero ...
Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
El Reto: Búsqueda de la Polifonía en la emisión sonora.
El Reto: Búsqueda de la Polifonía en la emisión sonora.
- Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa.
- Motivación: Evitar la diferencia en los niveles de amplitud sonoros.
- Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa.
- Motivación: Evitar la diferencia en los niveles de amplitud sonoros.
ActualmenteActualmente
0
2
4
6
8
10
12
1
13
25
37
49
61
73
85
97
109
Sonidos
DeseoDeseo
0
2
4
6
8
10
12
1
13
25
37
49
61
73
85
97
109
Sonidos
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
El Reto: Búsqueda de la Polifonía en la emisión sonora (2).
El Reto: Búsqueda de la Polifonía en la emisión sonora (2).
- La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX.
- Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose.
- Programación: Viable, Se Realizó:
Uso de threads ó interrupciones de reloj.
- Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia
El sistema operativo, el API o el hardware.
- Es un tema abierto que da mucho juego, en un futuro se puede continuar con él.
- La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX.
- Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose.
- Programación: Viable, Se Realizó:
Uso de threads ó interrupciones de reloj.
- Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia
El sistema operativo, el API o el hardware.
- Es un tema abierto que da mucho juego, en un futuro se puede continuar con él.
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
Documentación Documentación
- Finalizo con la lista de documentos realizados:- “VisionEspressoUSB_v1.1.doc”
- “Calibrado_v1.2.doc”
- “AlternativasDeCompresion_v1.0.doc”
- “VisionSonidosModificados_v1.1.doc”
- “VisionPolifoniaDS_v1.0.doc”
- “EstadoDelSoftwareEAV_v1.0.doc”
- Finalizo con la lista de documentos realizados:- “VisionEspressoUSB_v1.1.doc”
- “Calibrado_v1.2.doc”
- “AlternativasDeCompresion_v1.0.doc”
- “VisionSonidosModificados_v1.1.doc”
- “VisionPolifoniaDS_v1.0.doc”
- “EstadoDelSoftwareEAV_v1.0.doc”
Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias
PreguntasPreguntas