ÍNDICE

11

ÍNDICEÍNDICE

• IntroducciónIntroducción• ObjetivosObjetivos• Procesamiento de imágenesProcesamiento de imágenes• Formato WAVEFormato WAVE• De imagen a sonidoDe imagen a sonido• ExperimentosExperimentos• NoticiasNoticias• ConclusionesConclusiones

22

INTRODUCCIÓNINTRODUCCIÓN• UUn gran porcentaje de la información nos n gran porcentaje de la información nos

llega a travésllega a través de la vista. de la vista. -Problema: personas con deficiencias -Problema: personas con deficiencias visuales.visuales.-Solución: métodos alternativos (tacto...)-Solución: métodos alternativos (tacto...)

• Avances en la sonificación de datos.Avances en la sonificación de datos.-No sucede lo mismo con las imágenes.-No sucede lo mismo con las imágenes.

• SonificaciónSonificación:Representación de imágenes por :Representación de imágenes por medio de sonidos. medio de sonidos.

33

INTRODUCCIÓNINTRODUCCIÓN

• OptófonoOptófono como instrumento para como instrumento para sonificar una imagen o escena.sonificar una imagen o escena.

• Problema: Problema: limitadalimitada capacidad de capacidad de asimilación de información auditiva asimilación de información auditiva en comparación con la visual. en comparación con la visual.

- Solución: eliminar información - Solución: eliminar información para para simplificar. simplificar.

44

SONIFICACIÓNSONIFICACIÓN

• Sonificación: Sonificación: uso de sonido no uso de sonido no hablado (hablado (nonspeech audiononspeech audio) para ) para tratar o canalizar la información tratar o canalizar la información

• Áreas de interés: desde Áreas de interés: desde el estudio el estudio sobre la percepciónsobre la percepción humana hasta la humana hasta la elección de dispositivos acústicos.elección de dispositivos acústicos.

• FForo internacional de investigación en oro internacional de investigación en el área de lael área de la sonificaciónsonificación ( (ICADICAD).).

55

ACCESO A LA ACCESO A LA INFORMACIÓNINFORMACIÓN

(La percepción)(La percepción)• PProceso mediante el cual se maneja la roceso mediante el cual se maneja la

informacióninformación..• Según Jacobson (1950,1951) Según Jacobson (1950,1951) el ojo tel ojo tiene iene una una

capacidad de asimilación de información dcapacidad de asimilación de información de e 130 x 10130 x 1066 x 18 = 2340 x 10 x 18 = 2340 x 106 6 bits/s.bits/s.

• Un humano puede distinguir un Un humano puede distinguir un rango de rango de frecuencia entre 30 y 16000 Hz. frecuencia entre 30 y 16000 Hz.

• La capacidad del oído con estos datos es La capacidad del oído con estos datos es de de 1450 x 4 x 7.7 = 44600 bits/s.1450 x 4 x 7.7 = 44600 bits/s.

66

ACCESO A LA ACCESO A LA INFORMACIÓNINFORMACIÓN(Distintas formas de (Distintas formas de percepción)percepción)• PPercepción como una colección de ercepción como una colección de

datos y su procesamientodatos y su procesamiento..• DDiversos animales obtienen la iversos animales obtienen la

información en una forma poco usual: información en una forma poco usual: - Murciélagos: emiten ultrasonidos - Murciélagos: emiten ultrasonidos - - Serpiente cascabel: detecta infrarrojosSerpiente cascabel: detecta infrarrojos- Pez torpedo: produce corrientes - Pez torpedo: produce corrientes eléctricas eléctricas

77

ACCESO A LA ACCESO A LA INFORMACIÓNINFORMACIÓN¿y si falla la percepción ¿y si falla la percepción visual?visual?• Braille (XIX) inventó un sistema para Braille (XIX) inventó un sistema para

representar las letras del alfabeto en representar las letras del alfabeto en relieve.relieve.-Inconvenientes: -Inconvenientes: excesivo volumen excesivo volumen de de las copias y las copias y alto coste dealto coste de producciónproducción..

• MMétodoétodoss complementario complementarios: s: grabaciones grabaciones en cinta magnetofónicaen cinta magnetofónica, , escáner y escáner y ordenadorordenador....

• PProyecto Tiflonet, Web por y para ciegosroyecto Tiflonet, Web por y para ciegos..

88

ACCESO A LA ACCESO A LA INFORMACIÓNINFORMACIÓN¿y si falla la percepción ¿y si falla la percepción visual?visual?• Aparatos para convertir información visual:Aparatos para convertir información visual:

** TVSSTVSS: Sistema de substitución : Sistema de substitución sensorialsensorial ** Contador GeigerContador Geiger: : emitemitee señales acústicas señales acústicas en respuesta a diferentes niveles de en respuesta a diferentes niveles de radiación radiación según según cambioscambios en el medio. en el medio. ** Pulsioxímetro: Pulsioxímetro: produce señales acústicas produce señales acústicas que varían en intensidad que varían en intensidad segúnsegún el nivel de el nivel de oxígeno en sangre del pacienteoxígeno en sangre del paciente..

• ¿Y qué pasa con las imágenes?¿Y qué pasa con las imágenes?• Aplicación de la sonificación.Aplicación de la sonificación.

99

ÍNDICEÍNDICE


1010

OBJETIVOSOBJETIVOS• TTransformransformarar una una señal visual simplificada (imagen señal visual simplificada (imagen

bidimensional o sintética) en una señal de audiobidimensional o sintética) en una señal de audio equivalente.equivalente.

• Optófono que distingue intensidades de gris.Optófono que distingue intensidades de gris.• EEs importante la simplificación de la escena a s importante la simplificación de la escena a

sonificarsonificar..-D-Diferentes métodos de segmentación iferentes métodos de segmentación de imágenes de imágenes : : * * RReducción de la resolución espacial educción de la resolución espacial ** D Detección de bordes etección de bordes

1111

ÍNDICEÍNDICE


1212

PROCESAMIENTO DE PROCESAMIENTO DE IMÁGENESIMÁGENES• Representación de imágenesRepresentación de imágenes• Conversión a grisesConversión a grises• Negativo de una imagenNegativo de una imagen• UmbralizaciónUmbralización• CuantizaciónCuantización• Reducción de la resolución de la Reducción de la resolución de la

imagenimagen• FiltrosFiltros

1313

REPRESENTACIÓN DE REPRESENTACIÓN DE IMÁGENESIMÁGENES• Imagen digital > f (x,y) Imagen digital > f (x,y)

-(x,y) : coordenadas de la imagen-(x,y) : coordenadas de la imagen-f : nivel de gris en la posición (x,y)-f : nivel de gris en la posición (x,y)

• Se caracteriza por MxNxL:Se caracteriza por MxNxL:-M : número de filas-M : número de filas-N : número de columnas-N : número de columnas-L : número de bits para representar -L : número de bits para representar cada pixel cada pixel

1414



1515

CONVERSIÓN A GRISESCONVERSIÓN A GRISES

• Optófono sólo trabaja con niveles de Optófono sólo trabaja con niveles de gris.gris.-Convertir la imagen a escala de grises.-Convertir la imagen a escala de grises.

• El ojo humano percibe desde 380 a 780 El ojo humano percibe desde 380 a 780 nm (desde el violeta hasta el rojo).nm (desde el violeta hasta el rojo).

• Obtención de gris a partir de colores:Obtención de gris a partir de colores:Y = R*0.3 + G*0.59 + B*0.11Y = R*0.3 + G*0.59 + B*0.11

1616

CONVERSIÓN A GRISESCONVERSIÓN A GRISES

• Imagen de Lenna como imagen Imagen de Lenna como imagen clásica en el procesado de imágenes.clásica en el procesado de imágenes.

).

a) Imagen de Lenna a color; b) Imagen de Lenna en escala de grises (256 niveles)

1717



1818

NEGATIVO DE UNA NEGATIVO DE UNA IMAGENIMAGEN• Transformar cada píxel en la escala Transformar cada píxel en la escala

de grises en una imagen con niveles de grises en una imagen con niveles de intensidad invertidos.de intensidad invertidos.

• Operación: Operación: nuevo_píxel = MAX - nuevo_píxel = MAX - viejo_píxelviejo_píxel

Fig. 6: a) Lenna a 256 niveles de gris; b) Lenna en negativo.

1919



2020

UMBRALIZACIÓNUMBRALIZACIÓN

• Método de segmentación: Método de segmentación: - Imagen en escala de grises > - Imagen en escala de grises > Imagen con sólo dos niveles de gris Imagen con sólo dos niveles de gris separando objetos del fondo.separando objetos del fondo.

si (viejo_píxel>umbral)si (viejo_píxel>umbral) nuevo_píxel = MAXnuevo_píxel = MAX

sinosino nuevo_píxel = MINnuevo_píxel = MIN

2121

• Ejemplos:Ejemplos:

UMBRALIZACIÓNUMBRALIZACIÓN

Lenna con un umbral bajo;

Lenna a 256 niveles de gris;

Lenna con un umbral alto;

Lenna con un umbral intermedio;

2222



2323

CUANTIZACIÓNCUANTIZACIÓN

• CConvertonvertirir una imagen con una escala una imagen con una escala dede grises de grises de xx niveles a otra con una niveles a otra con una escala menor, reduciendo el volumen escala menor, reduciendo el volumen de datos. de datos.



Lenna a 8 niveles de gris; Lenna a 4

niveles de gris.

2424



2525

REDUCCIÓN DE LA REDUCCIÓN DE LA RESOLUCIÓNRESOLUCIÓN• Una imagen de grandes dimensiones Una imagen de grandes dimensiones

generará muchos sonidos.generará muchos sonidos.- Inconveniente: difícil de asemejar a una - Inconveniente: difícil de asemejar a una escena.escena.

• Habrá que eliminar información para Habrá que eliminar información para simplificar.simplificar.

Lenna con una resolución de 256 x 256

Lenna con una resolución de 64 x 64

píxeles

2626



2727

ÍNDICEÍNDICE

• IntroducciónIntroducción• ObjetivosObjetivos• Procesamiento de imágenesProcesamiento de imágenes• Formato WAVEFormato WAVE• De imagen a sonidoDe imagen a sonido• ExperimentosExperimentos• ConclusionesConclusiones

2828

FORMATO WAVFORMATO WAV• IntroducciónIntroducción• CaracterísticasCaracterísticas• ConceptosConceptos• FormatoFormato

2929

FORMATO WAVFORMATO WAV• IntroducciónIntroducción

– Formato de archivo originario de Formato de archivo originario de Microsoft. Microsoft.

– Es un estándar en audio digital para Es un estándar en audio digital para PC . PC .

– Contienen información del audio del Contienen información del audio del mundo real, esto es la mundo real, esto es la representación digital de una señal representación digital de una señal analógica.analógica.

3030

FORMATO WAVFORMATO WAV• Características Características

– Muy flexible Muy flexible → Usado para → Usado para tratamiento del sonidotratamiento del sonido

– Gran Calidad → Ocupa gran tamañoGran Calidad → Ocupa gran tamaño

– Compatibilidad para convertirse en Compatibilidad para convertirse en otros formatos.otros formatos.

3131

FORMATO WAVFORMATO WAV• ConceptosConceptos

– Frecuencia del tono.Frecuencia del tono.– Sonido.Sonido.– Timbre.Timbre.– Intensidad.Intensidad.

3232

FORMATO WAVFORMATO WAV• Frecuencia:Frecuencia:

– indicar el número de veces que se repite indicar el número de veces que se repite en un segundo cualquier fenómeno en un segundo cualquier fenómeno periódicoperiódico

– Su unidad es el herzio.Su unidad es el herzio.– Frecuencia del tono:Frecuencia del tono:– característica del sonido que indica su característica del sonido que indica su

altura.altura.– A medida que aumenta la frecuencia A medida que aumenta la frecuencia

también lo hace el tono también lo hace el tono

3333

FORMATO WAVFORMATO WAV• Sonido:Sonido:

– fenómeno físico que fenómeno físico que estimula el sentido del oído estimula el sentido del oído debido a vibraciones del debido a vibraciones del medio que llegan al oído medio que llegan al oído internointerno

• Timbre:Timbre:– cualidad que permite cualidad que permite

distinguir los sonidos distinguir los sonidos producidos por los producidos por los diferentes instrumentos diferentes instrumentos

• IntesidadIntesidad– cualidad que permite cualidad que permite

distinguir entre sonidos distinguir entre sonidos fuertes o débiles fuertes o débiles

3434

FORMATO WAVFORMATO WAVUn fichero WAVE Un fichero WAVE se compone de:se compone de:– cabecera formada cabecera formada

por el descriptor por el descriptor RIFF RIFF

– dos sub-campos dos sub-campos • ““fmt” , que fmt” , que

especifica el especifica el formato de los formato de los datos datos

• ““data”, campo de data”, campo de datosdatos

3535

ÍNDICEÍNDICE


3636

De La Imagen al SonidoDe La Imagen al Sonido• Vamos a generar sonido a partir de una imagen Vamos a generar sonido a partir de una imagen

digital en escala de grises en base a las digital en escala de grises en base a las características visuales de la misma características visuales de la misma

• Es decir, Sonificamos una imagen por columnas, Es decir, Sonificamos una imagen por columnas, creando una onda sonora de cada uno de los creando una onda sonora de cada uno de los píxeles que contiene.píxeles que contiene.

3737

De la Imagen al SonidoDe la Imagen al Sonido

• El nivel de gris de El nivel de gris de cada píxel está cada píxel está directamente directamente relacionado con la relacionado con la amplitud de la onda amplitud de la onda que genera (el que genera (el volumen del sonido). volumen del sonido).

• La altura de cada La altura de cada píxel determina la píxel determina la frecuencia de la onda frecuencia de la onda (que está relacionada (que está relacionada íntimamente con el íntimamente con el tono del sonido)tono del sonido)

Para sonificar la imagen antendemos a la siguiente relación intuitiva:

3838

De la Imagen al SonidoDe la Imagen al Sonido• La suma que se forma de la La suma que se forma de la

contribución de cada uno de contribución de cada uno de los píxeles es el sonido los píxeles es el sonido correspondiente a la primera correspondiente a la primera columna. Para sonificar la columna. Para sonificar la imagen entera, barremos las imagen entera, barremos las sucesivas columnas, sucesivas columnas, generando así el sonido total generando así el sonido total compuesto por los sonidos compuesto por los sonidos individuales de cada una de individuales de cada una de ellasellas

• De esta manera, la duración del sonido De esta manera, la duración del sonido debido a la sonificación de toda la imagen debido a la sonificación de toda la imagen será suma de las duraciones parciales de las será suma de las duraciones parciales de las ondas de todas las columnas.ondas de todas las columnas.

3939

De la Imagen al SonidoDe la Imagen al Sonido• Cuando la imagen k-1-ésima es Cuando la imagen k-1-ésima es

transformada en sonido, la imagen k-transformada en sonido, la imagen k-ésima es muestreada, digitaliza y ésima es muestreada, digitaliza y almacenada como M columnas x N filas.almacenada como M columnas x N filas.

4040

De la Imagen al SonidoDe la Imagen al Sonido• La sonificación de forma algebraica se La sonificación de forma algebraica se

puede expresar como:puede expresar como:

– x=1..Nx=1..N, la posición de la columna en la , la posición de la columna en la imagen de dimensiones imagen de dimensiones NxMNxM,,

– y=1..M y=1..M la posición del píxel en la columna, la posición del píxel en la columna, – IIx,y x,y el nivel de gris del píxel situado en la el nivel de gris del píxel situado en la

posición posición (x, y) (x, y) de la imagende la imagen– w w la frecuencia perteneciente a la altura la frecuencia perteneciente a la altura yy

4141

De la Imagen al SonidoDe la Imagen al Sonido• ProblemaProblema

– El acoplamiento de las funciones El acoplamiento de las funciones correspondientes a las columnas correspondientes a las columnas para crear la sonificación de toda la para crear la sonificación de toda la imagen creará sonidos imagen creará sonidos extremadamente complejos y sin extremadamente complejos y sin aparente sentido aparente sentido

– Más problemas en imágenes de Más problemas en imágenes de gran detalle y multitud de grises.gran detalle y multitud de grises.

4242

De la Imagen al SonidoDe la Imagen al Sonido• El conjunto de frecuencias usado en el El conjunto de frecuencias usado en el

proceso de sonificación puede ser en proceso de sonificación puede ser en principio arbitrarioprincipio arbitrario

• Hay dos buenos conjuntos de Hay dos buenos conjuntos de frecuencias frecuencias – la distribución lineal (equidistante)la distribución lineal (equidistante)– la exponencialla exponencial

• El uso de la Escala Natural y Cromática El uso de la Escala Natural y Cromática expresa de un modo más intuitivoexpresa de un modo más intuitivo el el sonido producido.sonido producido.

4343

De la Imagen al SonidoDe la Imagen al Sonido• ¿Por qué la escala natural?¿Por qué la escala natural?

– Por la educación del oido humanoPor la educación del oido humano– El salto de una frecuencia a otro no es lineal, aunque lo El salto de una frecuencia a otro no es lineal, aunque lo

parezcaparezca– La escala natural se utiliza fundamentalmente para La escala natural se utiliza fundamentalmente para

imágenes de dimensiones pequeñasimágenes de dimensiones pequeñas

• ¿Por qué la escala cromática?¿Por qué la escala cromática?– nuestro salto unitario se corresponde con un semitononuestro salto unitario se corresponde con un semitono– algo más grandes pues en una única octava tenemos algo más grandes pues en una única octava tenemos

hasta 12 sonidos diferenteshasta 12 sonidos diferentes

4444

De la imagen al SonidoDe la imagen al Sonido• Conclusiones:Conclusiones:

– El sonido creado tras el barrido de El sonido creado tras el barrido de la imagen representará a la propia la imagen representará a la propia imagen imagen

– Hay que aprender a “escuchar las Hay que aprender a “escuchar las imágenes”imágenes”

– importancia en personas con importancia en personas con discapacidades visuales discapacidades visuales

4545

ÍNDICEÍNDICE• IntroducciónIntroducción• ObjetivosObjetivos• Procesamiento de imágenesProcesamiento de imágenes• Formato WAVEFormato WAVE• De imagen a sonidoDe imagen a sonido• ExperimentosExperimentos• NoticiasNoticias• ConclusionesConclusiones

4646

ÍNDICEÍNDICE


4747

NOTICIASNOTICIAS

• Ciegos ven en el PC Ciegos ven en el PC (Revista Siglo 21)(Revista Siglo 21)

• Blind see with sound Blind see with sound (BBC)(BBC)

http://www.c5.cl/hh/prensa/siglo21/siglo21_ciegos_ven_en_el_pc.pdf

http://www.bbc.com/

4848

ÍNDICEÍNDICE


4949

CONCLUSIONESCONCLUSIONES

• Campo de investigación actual: Campo de investigación actual: SONIFICACIÓNSONIFICACIÓN

• Exceso de información de las imágenes: Exceso de información de las imágenes: necesidad de segmentación (técnicas).necesidad de segmentación (técnicas).

• Pensado para personas con Pensado para personas con discapacidades visuales.discapacidades visuales.

Documents

ÍNDICE