Diseño sonoro ambisonics para una narrativa audiovisual en …bibliotecadigital.usb.edu.co:8080/bitstream/10819/6889/1/... · 2019. 2. 22. · Diseño sonoro ambisonics para una

Diseño sonoro ambisonics para una narrativa audiovisual en video 360

integrado a un ambiente de realidad virtual

Pablo Melo, [email protected]

German Alonso Benjumea, [email protected]

Trabajo de Grado presentado para optar al título de Ingeniero de Sonido

Asesor: Juan Pablo Hormiga Leal, Magíster (MSc).

Universidad de San Buenaventura Colombia

Facultad de Ingenierías

Ingeniería de Sonido

Medellín, Colombia

2019

Citar/How to cite [1]

Referencia/Reference

Estilo/Style: IEEE (2014)

[1] Pablo Melo y Germán A. Benjumea, “Diseño Sonoro Ambisonics Para Una Narrativa Audiovisual En Video 360 Integrado a un Ambiente de Realidad Virtual.”, Trabajo de grado Ingeniería de Sonido, Universidad de San Buenaventura Medellín, Facultad de Ingenierías, 2019.

Bibliotecas Universidad de San Buenaventura

• Biblioteca Fray Alberto Montealegre OFM - Bogotá.

• Biblioteca Fray Arturo Calle Restrepo OFM - Medellín, Bello, Armenia, Ibagué.

• Departamento de Biblioteca - Cali.

• Biblioteca Central Fray Antonio de Marchena – Cartagena.

Universidad de San Buenaventura Colombia

Universidad de San Buenaventura Colombia - http://www.usb.edu.co/

Bogotá - http://www.usbbog.edu.co

Medellín - http://www.usbmed.edu.co

Cali - http://www.usbcali.edu.co

Cartagena - http://www.usbctg.edu.co

Editorial Bonaventuriana - http://www.editorialbonaventuriana.usb.edu.co/

Revistas - http://revistas.usb.edu.co

Biblioteca Digital (Repositorio) http://bibliotecadigital.usb.edu.co

TABLA DE CONTENIDO

RESUMEN ................................................................................................................................. 7

ABSTRACT................................................................................................................................ 8

I. INTRODUCCIÓN ................................................................................................................... 9

II. PLANTEAMIENTO DEL PROBLEMA .............................................................................. 10

A. Antecedentes .................................................................................................................... 10

III. JUSTIFICACIÓN ................................................................................................................ 14

IV. OBJETIVOS ....................................................................................................................... 15

A. Objetivo general ............................................................................................................... 15

B. Objetivos específicos ........................................................................................................ 15

V. MARCO TEÓRICO ............................................................................................................. 16

A. Escena sonora ................................................................................................................... 16

B. Estereofonía y Sistema Multicanal .................................................................................... 16

C. Audio Binaural ................................................................................................................. 16

D. Creación Sonora Basada en Objetos .................................................................................. 17

E. Ambisonics y B-Format .................................................................................................... 17

F. Furse-Malham ................................................................................................................... 19

G. AmbiX ACN/SN3D .......................................................................................................... 20

H. Rotación del campo sonoro ............................................................................................... 21

VI. METODOLOGÍA ............................................................................................................... 22

A. Justificación del producto audiovisual ............................................................................... 22

B. Roles y responsabilidades ................................................................................................. 22

C. Estructura o guion del proyecto ......................................................................................... 23

D. Etapas ............................................................................................................................... 23

1) Preproducción ................................................................................................................ 23

DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL

a) Tecnología a utilizar .................................................................................................. 23

b) Música ....................................................................................................................... 24

c) Cronograma ............................................................................................................... 24

d) Banco de sonidos ....................................................................................................... 24

e) Presupuesto................................................................................................................ 25

2) Producción ..................................................................................................................... 25

3) Postproducción .............................................................................................................. 26

a) Edición de diálogos .................................................................................................... 26

b) Montaje de ambientes ................................................................................................ 26

c) Música propuesta final ............................................................................................... 26

d) Foley ......................................................................................................................... 26

e) Mezcla y espacialización ........................................................................................... 27

VII. IMPLEMENTACIÓN DE LA METODOLOGÍA PROPUESTA EN EL DESARROLLO

DEL DISEÑO SONORO PARA UN VIDEO 360 ..................................................................... 28

A. Justificación del producto audiovisual ............................................................................... 28

B. Roles y responsabilidades ................................................................................................. 28

C. Estructura o guion del proyecto ......................................................................................... 28

D. Etapas ............................................................................................................................... 29

1) Preproducción ................................................................................................................ 29

a) Tecnología a utilizar .................................................................................................. 29

b) Música ....................................................................................................................... 30

c) Cronograma ............................................................................................................... 32

d) Banco de sonidos ....................................................................................................... 32

e) Presupuesto................................................................................................................ 33

2) Producción ..................................................................................................................... 33

DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL

3) Postproducción .............................................................................................................. 34

a) Edición de diálogos .................................................................................................... 35

b) Montaje de ambientes ................................................................................................ 35

c) Música final ............................................................................................................... 35

d) Foley ......................................................................................................................... 37

e) Espacialización .......................................................................................................... 38

4) Costos del proyecto ........................................................................................................ 40

VIII. EVALUACIÓN DE HERRAMIENTAS PARA DISEÑO SONORO DE VIDEOS 360 .... 41

A. Resultados de la comparación ........................................................................................... 41

IX. RESULTADOS ................................................................................................................... 44

X. CONCLUSIONES ................................................................................................................ 45

REFERENCIAS ........................................................................................................................ 46

LISTA DE FIGURAS

Fig. 1. Cálculo de las componentes W,X,Y y Z de B-Format. .................................................... 18

Fig. 2. Primeros 16 armónicos esféricos de orden n y grado m. .................................................. 19

Fig. 3. Ordenamiento formato Furse-Malham. ........................................................................... 19

Fig. 4. Ordenamiento formato Furse-Malham. ........................................................................... 20

Fig. 5. Matriz de rotación para el eje Z. ..................................................................................... 21

Fig. 6. Cronograma propuesto. .................................................................................................. 32

Fig. 7. Presupuesto. ................................................................................................................... 33

Fig. 8. Formato de pietaje. ......................................................................................................... 34

Fig. 9. Sesión Logic X música final. .......................................................................................... 36

Fig. 10. Plugin FB360 Spatialiser. ............................................................................................. 38

Fig. 11. Plugin FB360 Control. .................................................................................................. 39

Fig. 12. Plugin FB360 Mix Loudness. ........................................................................................ 40

Fig. 13. Costos del Proyecto. ..................................................................................................... 41

Fig. 14. Plugin B360 Ambisonics Encoder. ............................................................................... 42

Fig. 15. Plugin NX Virtual Mix Room. ...................................................................................... 42

Fig. 16. Plugin NX Head Tracker. ............................................................................................. 43

DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 7

RESUMEN

El desarrollo tecnologico en el campo audiovisual ha introducido el video 360 como una alternativa

para generar experiencias inmersivas como las logradas por los videojuegos y la realidad virtual, y

ha creado la necesidad, desde el diseño sonoro, de integrar ambientes sonoros que acompañen y

apoyen dicha experiencia, herrramientas como el sonido Ambisonics con el B-Format se han

estandarizado para la creación de dichos entornos sonoros.

Este trabajo pretende producir un diseño sonoro para un video 360 haciendo uso del sonido

ambisonics e integrarlo al entorno de realidad virtual Unity, generando una metodología que

especifique un procedimiento lógico que facilite su realización, además se comparan 2

herramientas para la producción de audio ambisonic destacando sus bondades y limitantes.

Se logró proponer una metodología funcional que incluye procesos de preproducción, producción

y postproduccion, que trazan el camino para lograr un diseño sonoro inmersivo que complemente

la experiencia generada por un video 360, se utilizaron herramientas como Facebook Spatial

Workstation sobre el DAW Reaper para la creacion del B-Format y LogicX para la creación de la

música original.

Palabras clave: Ambisonics, diseño sonoro, Audio inmersivo, video 360, Unity, Facebook Spatial

Workstation, Reaper, Logic X.


ABSTRACT

The technological development in the audiovisual field has introduced 360 videos as an alternative

to generate immersive experiences such as those achieved by videogames and virtual reality, and

it has created the need to integrate sound environments that accompany and support the experience,

tools such as Ambisonics sound with the B-Format have been standardized for the creation of sound

environments.

This work aims to achieve a sound design for a 360 video using Ambisonics for Unity, creating a

virtual reality environment, not before generating a methodology that specifies a logical procedure

that facilitates its realization, besides comparing 2 tools for the production of Ambisonics audio,

highlighting its pros and cons.

It was possible to propose a functional methodology that includes processes of preproduction,

production and postproduction, which trace the path to achieve an immersive sound design that

complements the experience generated by a 360 video, tools such as Facebook Spatial Workstation

were used on the DAW Reaper for the creation of the B-Format and Logic X for the creation of the

original music.

Keywords: Ambisonics, Sound Design, inmersive Audio, 360 Video, Unity, Facebook Spatial

Workstation, Reaper, Logic X.


I. INTRODUCCIÓN

Este trabajo se realiza con el objetivo de alcanzar el titulo en ingeniería de sonido de los autores y

como apoyo al trabajo de grado “Creación de una narrativa audiovisual interactiva en video 360”

plateado desde el programa de Ingeniería Multimedia de la Universidad San Buenaventura, el

cual pretende, haciendo uso de herramientas de programación y de producción de video 360,

crear un video mediante el cual el usuario final pueda tomar decisiones en el desarrollo de una

historia; dicho proyecto requiere un diseño sonoro que apoye la experiencia interactiva con el fin

de mejorar la sensación inmersiva en el usuario. Se desarrolla entonces una metodología que

contemple los procesos requeridos para la realización del producto sonoro, el cual incluye

espacialización y música original.


II. PLANTEAMIENTO DEL PROBLEMA

El sonido para productos audiovisuales ha estado en constante evolución durante los últimos años

Mikkel en [1] y Oldfield en [2], en busca de que el espectador tenga experiencias más inmersivas

donde pueda interactuar y hacer parte de su desarrollo [3] [4]; avances tecnológicos como la

realidad virtual (VR) han permitido que el espectador interactúe y tome decisiones en el desarrollo

de una historia, exigiendo un importante apoyo sonoro que haga sentir al espectador inmerso en

otra realidad [5]. Esta tecnología, al igual que los videos 360, se ha masificado y su demanda es

cada vez mayor, generando la necesidad de implementar metodologías para la producción de

diseños sonoros que apoyen y mejoren la experiencia de inmersión, y faciliten la interacción del

espectador con el entorno virtual [6].

En la actualidad Ambisonics es el sistema multicanal que propone ambientes sonoros muy cercanos

a la realidad mediante herramientas que permiten posicionar sonidos en un entorno 360, generando

la sensación de espacialidad en el espectador, convirtiéndose así en la mejor opción que

actualmente existe para lograr una experiencia inmersiva en un video 360 [7] [8] [9]. Este

trabajo de investigación, pretende implementar un diseño sonoro Ambisonics (B-format) en un

video 360 para ser reproducido dentro de una herramienta de programación orientada

específicamente al desarrollo de entornos de realidad virtual y el planteamiento de una metodología

para la producción de audio inmersivo en videos 360.

A. Antecedentes

El sonido es parte fundamental a la hora de generar experiencias que pretendan incorporar al

espectador en entornos de realidad virtual, o en el caso de este trabajo en experiencias de videos

360. La búsqueda de experiencias inmersivas en el diseño sonoro empezó a explorarse durante la

década de los 70 cuando Michael Gerzon en [10] y [11] comenzó a cuestionar las técnicas de

grabación cuadrafónica existentes hasta esa época, Gerzon concluyó que podía optimizarse el uso

de la grabación cuadrafónica usando solamente 3 canales, reservado el cuarto canal para almacenar

información sobre el posicionamiento del sonido en el eje vertical. Años más tarde, Peter Fellgett


en [12] introdujo el concepto Ambisonics, haciendo una descripción de su funcionamiento y

planteando el diseño del micrófono de campo de sonido, un micrófono omnidireccional con patrón

polar esférico. Luego, Michael Gerzon en [11] y [13] encuentra la manera de hacer compatible

esta técnica con los sistemas de codificación existentes en la época para la transmisión de sonido y

enfatiza en las bondades del micrófono de campo de sonido, el cual, ya podía capturar información

sonora en el eje vertical como el mismo lo planteó 5 años atrás.

En los años 80, el argentino Hugo Zuccarelli desarrolló la holofonía [14], sistema de grabación

sonora que emula fielmente la forma en que el ser humano captura el sonido, permitiendo percibir

el sonido tal como lo escuchamos. Ringo fue el nombre del prototipo de cabeza binaural

desarrollada por este argentino, el cual alcanzó a grabar The Final Cut, el primer disco holofónico

grabado en la historia, realizado para la banda Pink Floyd.

Los años 90 no representaron un gran avance para las experiencias sonoras inmersivas, fue con la

llegada del nuevo siglo, la masificación de los videojuegos y la aparición de entornos de realidad

virtual, 3D y 360, que se generó la necesidad de incorporar audio inmersivo en dichos productos y

empezaron a surgir formas de realizar diseño sonoro para estos productos. Jean-Marc Jot y Zoran

Fejzo en [15] hablan de 2 formas de crear contenido sonoro para realidad virtual, una basada

en la grabación de entornos existentes, y otra basada en la síntesis virtual del espacio que se quiera

representar, la cual requiere de la reconstrucción artificial del espacio sonoro. M. Altman y

colaboradores clasifican los productos VR en dos grandes categorías en su trabajo “Inmersive audio

for VR” [6], "VR Interactivo" que corresponde a video juegos y películas interactivas, y "VR

Lineal" que corresponde a productos como eventos deportivos, conciertos y películas, y hace un

análisis de la creación de audio para VR basada en objetos y basada en la física, determinando que

para VR Interactivo funciona mejor la creación sonora basada en objetos y para VR lineal funciona

mejor la basada en la física.

En su trabajo también concreta aspectos fundamentales para lograr con éxito una buena

inmersión en la experiencia VR, como seguir el movimiento de la cabeza del espectador, los

seguimientos de cámara abordo (usados frecuentemente en videos promocionales de parques de

diversiones [16] y en la fórmula 1), el sonido diegético y la integración de la música al espacio


virtual, aspectos que mejoran el producto y generan ambientes sonoros que funcionan muy bien

para el acompañamiento de una experiencia visual 360 o de realidad virtual.

El sonido Ambisonics es compatible con sistemas caseros de uso común, como lo son los

sistemas de sonido envolvente 5.1, Martin Neukom en [17] plantea un método mediante el cual el

sonido Ambisonics puede ser reproducido en dichos sistemas comerciales.

La captura de sonido con arreglos de micrófonos estéreo empezó a tomar fuerza para garantizar

fidelidad del sonido. Nicolas Tsingos y colaboradores, en su trabajo [9], lograron mediante el uso

de grabadoras marca Zoom (H4N y H6) generar sonido Ambisonics para una presentación en vivo

de un comediante, integrando 5 canales de audio (2 pares estéreo y un canal monofónico) en B-

format. Hyunkook Lee [18] mediante experimentos con técnicas de captura cuadrafónica con

micrófonos cardioides, logró determinar que la variación de la distancia entre las capsulas de los

micrófonos no genera diferencias considerables en el resultado final de un audio Ambisonics.

Con los avances logrados hasta hoy y con el ánimo de masificar las experiencias inmersivas, Cedric

Yue y Teun de Planque en [19] desarrollaron un diseño sonoro Ambisonics utilizando B-fomat

para complementar una experiencia de realidad virtual diseñadas para la Google Cardboard, un

dispositivo de bajo costo que con la ayuda de un teléfono móvil facilita el acceso al público a

entornos VR, en su trabajo explican el proceso de codificación y decodificación Ambisonics y

como lo implementaron en dicha experiencia. En transmisiones vía web Rodrigo Diaz y Thomas

Kochen en [20] lograron transmitir en directo un concierto de la Orquesta Filarmónica de Berlín

usando video panorámico y audio 3D a teléfonos móviles.

El sonido ambiente hace parte importante para la caracterización de espacios, y de él, depende que

una experiencia de realidad virtual se aproxime a la realidad o no, Joo Young Hong y

colaboradores, analizaron diferente formas de capturar, procesar y reproducir sonidos ambiente

[21], haciendo una comparación de las técnicas de grabación existentes, concluyendo que la

fidelidad del sonido Ambisonics es ideal para la generación de ambientes sonoros realistas que

integren al espectador a un entorno de realidad virtual o video 360; Matthias Frank también destaca

las bondades de Ambisonics [8] calificándolo como un sistema de producción flexible que puede


adaptarse fácilmente en la reproducción para grandes audiencias y en audífonos para aplicaciones

móviles, además destaca su practicidad debido a que es amplia la oferta de VST-plugins para su

producción.

Las investigaciones desarrolladas hasta la fecha muestran la importancia del diseño sonoro para la

generación de ambientes inmersivos en productos audiovisuales y realidad virtual, y plantean

herramientas que permiten y facilitan el desarrollo de entornos sonoros que emulan la realidad

llevando al espectador a sentir que hace parte de otra realidad simulada.


III. JUSTIFICACIÓN

La realización de este trabajo está sujeta al desarrollo del proyecto “Creación de una narrativa

audiovisual interactiva en video 360” plateado desde el programa de Ingeniería Multimedia de la

Universidad San Buenaventura, el cual pretende, haciendo uso de herramientas de

programación y de producción de video 360, crear un video mediante el cual el usuario final pueda

tomar decisiones en el desarrollo de una historia. Para el logro de este objetivo, es necesario el

apoyo desde el programa de Ingeniería de Sonido para lograr un producto que garantice, desde el

diseño sonoro, una experiencia inmersiva y realista.

Las herramientas necesarias para el desarrollo del proyecto existen y son accesibles, la

postproducción del diseño sonoro se puede lograr haciendo uso del paquete Facebook 360 Spatial

Workstation de distribución gratuita, el cual permite exportar el audio final en formato Ambisonics

B-Format y finalmente la integración con entornos de realidad virtual se puede alcanzar

reproduciendo el formato B-Format en el software Unity.

La investigación pretende también profundizar conocimientos en temas relacionados con el

sonido Ambisonics su preproducción, producción, y postproducción, los formatos que

actualmente se manejan, las técnicas de captura y su finalización e integración con entornos de

programación destinados a la realidad virtual.


IV. OBJETIVOS

A. Objetivo general

Realizar diseño sonoro a una narrativa audiovisual en video 360, utilizando tecnología Am-

bisonics para reproducirla en el entorno de realidad virtual Unity.

B. Objetivos específicos

• Realizar procesos de preproducción, producción y postproducción de audio para el

diseño sonoro y música original.

• Desarrollar una metodología para la producción de audio inmersivo en un video 360.

• Realizar una comparación objetiva de dos plataformas para implementación de audio

espacial.


V. MARCO TEÓRICO

A. Escena sonora

M. Chion en su libro La Audiovisión [22] plantea la importancia de la escena sonora en el campo

audiovisual para lograr el concepto de inmersión, plantea el concepto de imantación del sonido

respecto a la imagen y dice que para lograrlo no es necesario que el sonido siempre corresponda a

la imagen (sonido diegético), hace falta integrar una variedad de elementos sonoros que

enriquezcan la escena y permitan que el espectador se integre a lo que sus ojos ven, mediante

atmosferas que faciliten transmitir sensaciones que se quieran plasmar en un producto audiovisual.

B. Estereofonía y Sistema Multicanal

Un sistema estéreo convencional está representado por dos canales, izquierdo y derecho (L y R),

lo cual permite crear la sensación de que el sonido viene de un lugar específico entre las posiciones

de los dos altavoces. [23] La forma de situar la imagen sonora es mediante una distribución del

nivel de la señal de forma ponderada entre los dos canales. A lo largo de los años se han ido

añadiendo progresivamente más canales al par estéreo con el fin de mejorar la sensación espacial

de las escenas sonoras. Cuando los sistemas estereofónicos tienen más de dos canales, se les

conoce con el nombre de sistemas multicanal como por ejemplo el 5.1 (cinco canales más uno

opcional con ancho de banda limitado a las frecuencias graves LFE).

C. Audio Binaural

El sistema binaural, por otro lado, busca reconstruir la señal que llega a los oídos del oyente

basándose en la Función de Transferencia Relativa a la Cabeza o HRTF por sus siglas en inglés

(Head Related Transfer Function). [5] La HRTF se refiere a todos los aspectos físicos de la

localización del sonido para una posición específica de la cabeza, teniendo en cuenta aspectos como

la diferencia de tiempo interaural, sombra de la cabeza, difracciones en los pliegues de la oreja, etc.

Después de conocer la HRTF para ambos oídos y la posición de una fuente virtual en el espacio


con respecto a la cabeza, se pueden sintetizar las señales correspondientes a los dos oídos para un

sonido emitido por dicha fuente generando así el sistema binaural [23].

D. Creación Sonora Basada en Objetos

Representa una escena auditiva compleja como un conjunto de elementos singulares que

comprenden una señals de audio y parámetros o metadatos que incorporan la intención

artística de los elementos de audio. La creación sonora basada en objetos utiliza generalmente

audios monofónicos que han sido grabados o sintetizados mediante un proceso de diseño

sonoro. [6] Estos elementos de sonido son después manipulados en un DAW donde se pueden

posicionar en un espacio tridimensional (3D) de acuerdo con la metadata del sonido específico.

La creación sonora basada en objetos es ideal para el uso de aplicaciones de realidad vir-

tual debido a que tiene un procesamiento flexible pues la metadata posicional puede ser

dinámicamente modificada, como por ejemplo haciendo el seguimiento de cómo se mueve la

cabeza. [6] En comparación a la creación sonora basada en campos sonoros, esta ofrece una mejor

combinación entre fidelidad espacial e interactividad debido a que los objetos pueden mantenerse

en una posición determinada pues contienen metadatos posicionales que indican un

comportamiento específico basado en la aplicación deseada.

E. Ambisonics y B-Format

Ambisonics es un método de grabación y reproducción 3D que está basado en la descomposición

de armónicos esféricos que representan los campos sonoros [8]. Esta representación facilita la

producción en un entorno 360 pues es independiente del sistema de reproducción, debido a que

hace una adaptación mediante algoritmos que decodifican y permiten trabajar en cualquier sistema

de reproducción dado.

Uno de los formatos más populares con los que trabaja Ambisonics es el B-Format; las señales B-

format son la descomposición truncada de armónicos esféricos que representan el campo sonoro,

corresponden a la presión del sonido (W), y a las tres componentes del gradiente de presión (X,Y,Z)


en un punto en el espacio [19]. Estas cuatro componentes juntas (siendo W una señal mono, y

X,Y,Z señales estéreo figura de ocho) representan el campo sonoro general aproximando como una

esfera alrededor del micrófono y se calculan como lo muestra la Figura 1.

Fig. 1. Cálculo de las componentes W,X,Y y Z de B-Format.

Fuente: https://goo.gl/images/2djm5o

La resolución de una señal ambisonic se puede aumentar agregando componentes direccionales

propias del B-Format, dichas componentes no corresponden a los patrones polares comunes

omnidireccional y figura de 8, sino que se asemejan a hojas de trébol como lo muestra la Figura 2

[8], todas estas señales resultantes son conocidas como segundo y tercer orden u orden superior

Ambisonics.


Fig. 2. Primeros 16 armónicos esféricos de orden n y grado m.

Fuente: https://goo.gl/images/Y8AjVi

En la actualidad hay 2 formatos de uso generalizado, el Furse-Malham y el AmbiX SN3D, ellos se

diferencian en el orden de sus componentes y su normalización o ponderación, aspectos

importantes a tener en cuenta en el intercambio de información, para evitar confusión al

momento de la reproducción del sonido B-Format.

F. Furse-Malham

Este formato utiliza un método de nomenclatura con letras para cada uno de los órdenes del B-

Format, XYZ para el primer orden, RSTUV para el segundo orden y KLMNOPQ para el tercer

orden, se organiza empezando con el eje Z en el centro y salta al lado derecho y luego al izquierdo,

siguiendo este patrón se ordena como se muestra en Figura 3. [24]

Fig. 3. Ordenamiento formato Furse-Malham.

Fuente: https://goo.gl/images/6KLe1v


Cada formato Ambisonics cuenta con un método de normalización para la reconstrucción exitosa

del campo sonoro, el formato Furse-Malham utiliza el esquema maxN, el cual se encarga

de normalizar cada uno de los componentes para que no exceda sus niveles máximos.

G. AmbiX ACN/SN3D

Este formato se ha convertido en un estándar para el manejo de sonido Ambisonic y se proyecta

como el más popular en el futuro cercano. Actualmente es usado por múltiples plataformas y su

ordenamiento está dado por el Ambisonic Channel Number (ACN) [25], asignando un número a

cada uno de sus componentes como lo muestra la Figura 4. Su normalización está dada por el

sistema SN3D comunmente utilizado en magnetismo y geología, este sistema consiste en que

ninguno de los componentes sobrepasa el valor pico del componente 0.

Fig. 4. Ordenamiento formato Furse-Malham.

Fuente: https://goo.gl/images/6KLe1v

Es importante definir estos conceptos claves dentro del proyecto pues para el desarrollo del mismo,

en los que se ven involucradas herramientas de programación y lenguaje técnico, se hace necesario

tener estas bases las cuales dan un punto de partida claro en la ejecución. El diseño sonoro a través

de herramientas de programación implica procesos de preproducción, producción y

postproducción, saber qué tipo de diseño se va a hacer exige el conocimiento previo de cómo es la

jerarquía de diseño cuando se está orientando la creación sonora ya sea a objetos o campos sonoros.

Conocer Ambisonics y el formato más popular en el que trabaja (B-Format), brinda her-

ramientas al ingeniero de sonido para coordinar los flujos de trabajo y la integración del diseño

sonoro con el motor de realidad virtual.


H. Rotación del campo sonoro

El campo sonoro Ambisonics puede rotarse mediante la implementación de matrices simples de

rotación para cada uno de los ejes X,Y y Z. La rotación del campo sonoro es utilizada

principalmente dentro de las técnicas de reproducción de audio 3D.

Para mejorar la localización auditiva, en los entornos acústicos reales las personas mueven

contantemente la cabeza creando diferencias de nivel y tiempo interaural. Teniendo en cuenta que

a la hora de utilizar audífonos no podemos hacer movimientos de cabeza sin mover el campo sonoro

simultáneamente, los dispositivos que realizan el seguimiento a los movimientos de la cabeza

aparecen como una solución, estos dispositivos aportan la información del movimiento de

la cabeza y en conjunto con las matrices de rotación puede lograrse una decodificación

binaural la cual genera una experiencia inmersiva en el usuario [25].

La rotación del campo sonoro para el eje Z se implementa según la matriz que se muestra en la

Figura 5, para rotar un campo Ambisoncs de primer orden se utiliza la matriz cuatro por cuatro de

la esquina superior izquierda.

Fig. 5. Matriz de rotación para el eje Z.

Fuente: https://goo.gl/images/Z8gbrZ


VI. METODOLOGÍA

Para el desarrollo de proyectos de diseño sonoro Ambisonic en videos 360 se plantea la siguiente

propuesta, con el fin de definir un procedimiento que facilite la creación de ambientes sonoros

inmersivos que hagan coherente la experiencia audiovisual, la propuesta integra los procesos

básicos necesarios; desde la justificación del proyecto, definición del recurso humano necesario y

etapas requeridas para el logro del objetivo.

A. Justificación del producto audiovisual

Inicialmente es necesario plantear una justificación del proyecto a desarrollar, esta debe ser clara

y plantear un objetivo hacia el cual dirigir los esfuerzos. Cada una de las etapas del proceso debe

ir encaminada alcanzar el objetivo final, que en este caso, es la consecución de un diseño sonoro

inmersivo para un video 360, que apoye con una ambientación sonora esférica lo que se pretende

mostrar en el video. La justificación debe responder las preguntas, qué se quiere lograr, y porque

motivo. Plantea una base para la realización del proyecto.

B. Roles y responsabilidades

Definir las responsabilidades de cada uno de los integrantes del equipo que va a participar en el

desarrollo del proyecto es fundamental, ya que una estructura de cargos, facilita la toma de

decisiones. El proyecto debe definir por lo menos un director y un productor, quienes serán

responsables de concebir la idea y de coordinar la logística de todas las acciones necesarias para

llevar a cabo el producto audiovisual, ellos se encargan de definir que personal se necesita según

el tamaño del proyecto a desarrollar.


C. Estructura o guion del proyecto

El trabajo de diseño sonoro está fundamentado en una idea inicial, la cual debe estar contenida en

un storyline, el cual sintetiza la temática y la narrativa que se quiere lograr con el proyecto. El

desarrollo de esta metodología requiere para su inicio, la existencia de un storyline en su etapa

inicial, y el desarrollo de un guion para el logro de un producto final.

D. Etapas

La producción audiovisual se ha encargado de establecer 3 etapas fundamentales para el

desarrollo de cualquier proyecto, el manual de producción de la RTVC [26], entidad encargada en

Colombia de programar, producir y emitir canales públicos Señal Colombia y canal

institucional, las define como preproducción, producción y postproducción; el desarrollo

coordinado de cada una de ellas garantiza el logro de un producto final. Las etapas planteadas a

continuación pretenden establecer un camino que tenga en cuenta los aspectos necesarios para la

producción de un diseño sonoro inmersivo.

1) Preproducción

Con base en el guion definido previamente, deben establecerse varios aspectos para el buen

desarrollo de esta etapa.

a) Tecnología a utilizar

Inicialmente debe definirse la viabilidad del proyecto desde la tecnología que se va a utilizar, esto

permite establecer las necesidades en cuanto a software y hardware necesario para lograr el diseño

final.

• Programas a utilizar (software).

• Equipos necesarios (hardware).

• Formato de audio, tanto de entrada como de salida.

• Formato final para distribución.


b) Música

A partir de lo planteado en el guion, el cual define género y linea argumental del video, deben

determinarse referentes en cuanto a la música que va a usarse, por lo menos 5 referentes que puedan

dar una idea general de lo que se quiere mostrar y las sensaciones que esta debe transmitir

al espectador, los referentes ayudan a establecer:

• Instrumentos necesarios.

• Armonías acorde al genero.

• Línea de estilo a seguir.

c) Cronograma

El tiempo que toma el desarrollo del proyecto es importante definirlo en esta etapa, de esta manera

se establecen fechas de entrega o cumplimiento que ayudarán a lograr el objetivo final, este

cronograma debe contemplar fechas de inicio y finalización para cada uno de los procesos

necesarios, también si es posible debe programarse una visita a las locaciones para recopilar

información que pueda ser útil para el día de la producción.

d) Banco de sonidos

El diseño sonoro requiere gran variedad de sonidos; en la etapa de preproducción, y conociendo el

guion de la historia, es posible ir recopilando sonidos que puedan ser útiles en la etapa de

postproducción. Conociendo el género se consulta en librerias de sonido, en las categorías que

tengan relación con el tema a tratar, donde se pueden encontrar sonidos ambiente, efectos, pasos,

impactos y demás elementos que puedan complementar el sonido diegético del proyecto.


e) Presupuesto

Conociendo todos los aspectos anteriormente mencionados, debe definirse un presupuesto el cual

tenga en cuenta requerimientos como:

• Alquiler de equipos para la producción.

• Adquisición de licencias de ser necesarias.

• Alquiler de estudio para el diseño musical.

• Recurso humano y talentos necesarios.

Cualquier aspecto que requiera inversión económica debe discriminarse en este punto, de esta

manera puede tenerse una base del costo total del proyecto.

2) Producción

En la producción se desarrollan todas las tareas planeadas en la preproducción y se ejecuta el

cronograma planteado. Deben tenerse en cuenta los siguientes aspectos en el rodaje, para poder

recolectar suficiente información sonora, útil en la siguiente etapa de postproducción.

• Captura de sonido ambiente y roomtones que puedan apoyar el producto final y apoyen la

sensación inmersiva que pretende lograrse.

• Captura de sonido directo de los personajes que desarrollan la historia.

• Captura de sonidos puntuales que puedan apoyar el diseño sonoro.

• Realizar registro de cada una de las tomas de audio en un documento (script o pietaje), que

facilite la identificación de cada pista en el proceso de postproducción, debe asociarse cada

una de las tomas de audio a la toma o clip de video correspondiente.

• Revisión inmediata de cada una de las tomas para garantizar la calidad de la captura.

• Teniendo en cuenta que el trabajo en esta etapa se centra en la captura de un video 360, es

esencial que los dispositivos destinados a la captura de sonido directo estén siempre ocultos

al tiro de la cámara.


3) Postproducción

El inicio de esta etapa está condicionado a la entrega final de los cortes de video, es sobre estos que

se puede empezar el proceso.

a) Edición de diálogos

Inicialmente se realiza la edición de diálogos y puesta en sincronía con el video, dependiendo de

las tomas usadas para el corte final del video y haciendo uso del script o pietaje realizado en la

etapa de producción.

b) Montaje de ambientes

Seguidamente la edición de ambientes para cada una de las escenas, teniendo en cuenta las

sensaciones que se quieran transmitir de acuerdo a lo propuesto en el guion y buscando que haya

coherencia con la imagen.

c) Música propuesta final

Paralelamente, con los cortes finales de video y a partir de las maquetas propuestas en la etapa de

preproducción, se puede empezar a montar la propuesta final de la música para el video 360. Se

mezclan los elementos que hagan parte de la composición musical, teniendo en cuenta que estos

no deben chocar con la ambientación o el Foley a la hora de mezclar la música dentro del video.

d) Foley

Se debe hacer un listado del Foley necesario para planear su grabación, edición e inclusión en el

diseño sonoro, este debe apoyar cada una de las situaciones que se vean en el video. Teniendo en

cuenta el género que se va a trabajar, y el banco de sonidos definido anteriormente, se proceden a

realizar los apoyos al Foley mediante los sonidos de librería.


e) Mezcla y espacialización

Dentro del DAW elegido, y teniendo en cuenta que es un video 360, se trabaja utilizando un plugin

de espacialización donde se automatizan cada uno de los parámetros que hacen posible la inmersión

en el espacio virtual.


VII. IMPLEMENTACIÓN DE LA METODOLOGÍA PROPUESTA EN EL

DESARROLLO DEL DISEÑO SONORO PARA UN VIDEO 360

Para el desarrollo del diseño sonoro y música original para el video 360 se puso en práctica la

metodología propuesta anteriormente para comprobar su funcionalidad y efectividad en este tipo

de proyectos.

A. Justificación del producto audiovisual

El video 360 y su respectivo diseño sonoro se realizan con el fin de obtener el título profesional de

Ingenieros de Sonido de los realizadores de este proyecto, además se pretende adquirir

conocimientos relacionados con la espacialización sonora, los formatos Ambisonic, los flujos de

trabajo y la integración de sonido Ambisonic a una plataforma de desarrollo de realidad virtual

(Unity).

B. Roles y responsabilidades

La dirección y producción general del proyecto es asumida por los responsables de la realización

del video, Julián Mejía y Santiago Agudelo, estudiantes del programa de Ingeniería Multimedia.

Son ellos quienes desarrollaron el guion que fue la base para el desarrollo del diseño sonoro y

música original del producto audiovisual, cuyos responsables son los estudiantes del programa de

Ingeniería de Sonido German Alonso Benjumea Gómez y Pablo Andrés Melo Villegas.

C. Estructura o guion del proyecto

La idea original y el desarrollo del guion fueron elaborados por los compañeros del programa de

ingeniería multimedia, una historia de ficción, enmarcada en el género de suspenso y terror.


D. Etapas

1) Preproducción

a) Tecnología a utilizar

La preproducción empezó haciendo un estudio de la viabilidad del proyecto, definiendo los

software que hicieran posible la reproducción de sonido Ambisonics en el motor de reproducción

de video utilizado para el montaje de la experiencia interactiva en video 360; la plataforma definida

desde la preproducción fue el software Unity, se encontraron 3 formas diferentes de reproducir

sonido Ambisonic en dicha herramienta, paquetes ofrecidos por desarrolladores como Oculus,

Facebook y Google, todos gratuitos y de fácil acceso; se realizaron las pruebas pertinentes con cada

uno de ellos en las siguientes versiones:

• ResonanceAudioForUnity – 1.2.1 (Google)

• Rendering SDK – v1.6.0 (Facebook)

• Oculus Spatializer Unity – v1.27.0 (Oculus)

Cada una de estas soluciones funcionó muy bien con la reproducción de audio B-Format (1st. Order

AmbiX), pero para este proyecto se decidió utilizar la solución planteada por Google, debido a que

para el montaje de la experiencia interactiva en video 360 se utilizó también un paquete del mismo

desarrollador, el GoogleVRForUnity – 1.170.0.

Luego se definió el plugin a utilizar en la espacialización de sonido, se evaluaron herramientas que

fueran accesibles, como el plugin gratuito proporcionado por Facebook, el Facebook 360

Spatial Workstation, y la solución para sonido Ambisonic de Waves, el paquete 360°

Ambisonics Tools el cual está compuesto por 3 plugins, 360 Ambisonics Encoder, Nx Virtual Mix

Room y Nx Head Tracker, también se tuvieron en cuenta plugins de espacialización como 360pan

suite de Audio Ease y el Sol VR360 de G-Audio, estos 2 últimos plantean una solución óptima en

la espacialización sonora no se pudo acceder a ellos, el de Audio Ease por su precio y el de G-

Audio porque, a pesar de ser gratuito, funciona únicamente sobre la versión de Protools 12 HD.


Para el desarrollo de este trabajo se eligió el plugin de Facebook, ya que funciona sobre el DAW a

utilizar (Reaper), es de acceso gratuito y además permite monitoreo de video en 360, aspecto que

no permiten los plugins de Waves.

Quedan definidos entonces los siguientes aspectos según la metodología propuesta:

• Programas a utilizar (software): DAW Reaper, plugin de espacialización Facebook 360

Spatial Workstation, DAW Logic X para el montaje de la música original y Unity como

motor de realidad virtual.

• Equipos necesarios (hardware): Micrófonos lavalier inalambricos, grabadora Zoom H6,

audífonos y Macbook pro.

• Formatos de audio, tanto de entrada como de salida y formato final: Sonidos monofónicos

y estereofónicos que en el proceso de postproducción serán especializados para una

entrega final en Ambisonic B-Format de primer orden.

b) Música

Después de investigar cuál era la mejor forma de proceder en la ejecución para producir

sondtracks con el fin de generar suspenso y apoyar las escenas, se toma como referente

bandas sonoras como las de las películas The Witch y Sinister donde el principal elemento de

composición es la disonancia.

De acuerdo al guion se definen entonces momentos para la musicalización los cuales determinan

diferentes grados de tensión, siendo estos esenciales en el desarrollo de la trama pues le dan el tono

a la escena; los momentos de más tensión, donde la protagonista se encuentra desesperada e

intentando escapar, se denota beats más rápidos, ambientes abstractos (que se definen como

una constante durante todo el video 360) y densos tomando como referencia tracks pertenecientes

al álbum "Geoggadi" del dúo electrónico Boards of Canada. Para los momentos donde hay que

tomar decisiones y generar tensión al usuario, se utilizan unos latidos que se van acelerando con el

paso del tiempo dentro del rango de la decisión, y un acorde disonante agudo. Los elementos


sonoros están compuestos por sintetizadores y sonidos electrónicos, esto teniendo en cuenta los

recursos con los que se cuenta y el tono al que se quiere llegar.

Las referencias musicales usadas para el proyecto quedan definidas entonces así:

• The Dust Brothers, Fight Club: Original Motion Picture Soundtrack [CD]. California:

Restless Records, 1999.

• Christopher Young, Sinister: Original Motion Picture Score [CD]. USA: Varèse Sara-

bande, 2012.

• Hans Zimmer, Interstellar (Original Motion Picture Soundtrack) [CD]. USA: WaterTower

Music, 2014.

• Alexey Omelchuk, Metro: Last Light (Original Soundtrack) [CD]. USA: Sumthing Else

Music Works, 2013.

• Mark Koven, The Witch (Original Soundtrack Audio) [CD]. USA: Milan Records, 2016.

• Boards Of Canada, Geoggadi [CD]. Escocia: Hexagon Sun y Pentland Hills, 2002.

Como primera propuesta se realizaron 5 maquetas musicales que estaban compuestas princi-

palmente por guitarras en su gran mayoría ejecutando acordes menores, lo cual les daba un tono

triste y melancólico a las propuestas. Después de numerosas reuniones con el asesor, se decidió

descartar estas propuestas, pues no cumplían el fin para el cuál estaban pensadas en su totalidad.


c) Cronograma

El desarrollo de este diseño sonoro fue programado para realizarse en las 16 semanas académicas

del semestre 2018-2, y se plantea el cronograma, Figura 6, basado en la metodología propuesta.

Fig. 6. Cronograma propuesto.

d) Banco de sonidos

Conociendo el género y la primera propuesta de guion basada en sinopsis por escenas, se empezó

a recolectar un banco de sonidos que pudiera ser útil para el diseño sonoro, incluyendo sonidos de

fondo que generaran tensión y suspenso, y golpes que pudieran ser útiles para marcar momentos

dentro de la historia, se recolectaron más de 40 sonidos de diferentes librerías.


e) Presupuesto

En la planeación de la producción se generó un listado de equipos necesarios para llevar a cabo el

proyecto desde el sonido: una Grabadora Zoom H6, Audífonos, 2 micrófonos lavalier

inalámbricos, tanto transmisor como receptor debían funcionar con baterías, debido a que en la

locación no se contaba con red eléctrica donde conectar bases de recepción inalámbrica, también

suficientes baterías para todo el día de rodaje; según estos requerimientos se genera el presupuesto

Figura 7.

Fig. 7. Presupuesto.

2) Producción

La producción se realizó el día 23 de septiembre en una locación ubicada por el sector de la avenida

Las Palmas en Medellín, la jornada empezó desde las 7 a.m. inicialmente, mientras la producción

acondicionaba a los actores se realizó la captura de sonido ambiente y roomtones que pudieran

servir en el proceso de postproducción; luego se le instalaron los micrófonos a los actores, teniendo

en cuenta que no fueran visibles al tiro de cámara. A la actriz que interpretaba el papel principal,

se le instaló el micrófono en la espalda sobre el sostén, este punto no era visible a la cámara ya que

esta estaba instalada sobre un casco que lograba cubrir dicho punto. El otro personaje, al tener una

chaqueta, facilitó la instalación del transmisor en uno de los bolsillos internos donde quedaba

oculto a la cámara.


Durante el rodaje, a medida que se grababan las escenas, se hicieron tomas puntuales de golpes y

ruidos que aportaran al desarrollo de la historia; todas las tomas obtenidas fueron relacionadas en

el formato de pietaje Figura 8.

Fig. 8. Formato de pietaje.

Se hicieron en total 41 tomas de audio, las cuales eran relacionadas y revisadas inmediatamente

para garantizar la grabación.

3) Postproducción

Esta etapa inició con la entrega por parte de los compañeros de Ingeniería multimedia de los cortes

finales de video, se creó una sesión por cada una de las escenas para el montaje del diseño sonoro,

configurada de la siguiente manera: sample rate 48000Hz, bit depth 24bit PCM, formato WAV y

frame rate 29.97 fps.


a) Edición de diálogos

Los diálogos grabados en campo, no fueron tenidos en cuenta en el montaje del diseño sonoro,

debido a que los actores que participaron en la producción eran poco expresivos, en el rodaje se les

insistió en que debían marcar mucho más sus expresiones pero al no ser actores profesionales, les

costó trabajo lograrlo, por esta razón se tomó la decisión de hacer doblaje en la totalidad de las

escenas para los personajes principales. El doblaje fue realizado en el estudio de grabación Búho

Negro, ubicado en la calle 8A No 33-40, se utilizó un micrófono Neumann TLM 49 y fueron

necesarias 2 sesiones de grabación, cada una de 2 horas, la primera en la se hizo la grabación del

total de las escenas y la segunda donde se hicieron las correcciones sugeridas por el asesor.

b) Montaje de ambientes

Las capturas hechas el día del rodaje fueron evaluadas y se tomó la decisión de descartarlas, ya que

contenían muchos ladridos de perros y cantos de aves que no aportaban al ambiente de suspenso

que se pretendía generar. No usar los ambientes capturados implicó utilizar ambientes de librerías

que generaran el suspenso necesario para el proyecto, desde la musicalización se implementó este

ambiente en armonía con la propuesta musical final.

c) Música final

Para el montaje de la música se utilizó un ambiente que funcionara con la música disonante

planteada en una de las maquetas realizadas en la preproducción (la que fue escogida en

conjunto con el asesor y los encargados del proyecto desde la parte multimedia), esta música estaba

compuesta por la suma de diferentes sintetizadores que definían a su vez distintos momentos de

tensión; se utilizó:

• Moog Slim Phatty

• Microkorg

• Dave Smith X4


Fig. 9. Sesión Logic X música final.

Para la sesión de música se utilizaron 10 canales, 8 de audio, como se observa en la Figura 9.

• Canal 1 (Hell) Ambiente de librería.

• Canal 2 (Reverse) Efecto percutido en reversa.

• Canal 3 (Synth -I) Sintetizador base que ejecuta disonancias y simula cuerdas frotadas

(Microkorg).

• Canal 4 (Synth I) Sintetizador ejecutando una línea melódica en frecuencia baja (Moog

Slim Phatty).

• Canal 5 (Synth II) Sintetizador ejecutando línea melódica en frecuencia media (Dave

Smith X4).

• Canal 6 (Synth III) Sintetizador que ejecuta disonancia en frecuencia alta simulando cuerda

frotada (Microkorg).

• Canal 7 (Synth IV) Sintetizador ejecutando una línea melódica en frecuencia alta (Dave

Smith X4).


• Canal 8 (FX Out) Sintetizador que ejecuta una secuencia de notas que marcan el final de la

canción .

Los canales 9 y 10 son los canales auxiliares 1 y 2 en los cuales se insertaron los efectos de Delay

y Reverb respectivamente. La música se desglosó entonces en varias secciones que se

implementaron dentro de las escenas de acuerdo al grado de tensión que se quería lograr en

consecuencia de las acciones tomadas dentro del video 360.

d) Foley

Se generó un listado de Foley necesario para cada una de las escenas y poder planear su

grabación, dicho Foley fue grabado en los estudios Búho Negro con un micrófono dinámico SURE

SM7B, la relación de sonidos incluía: presencias con cuero para el antagonista, presencias para la

protagonista, clicks de computador portátil, caídas de objetos sobre superficies de madera, entre

otros. El Foley obtenido fue apoyado también con efectos de librería para lograr sonidos más

realistas que aportaran a la inmersión sonora que se pretendía lograr.


e) Espacialización

El paso final del diseño fue posicionar cada uno de los sonidos dentro del video 360, este

proceso se logró haciendo uso de la herramienta planteada por Facebook, Facebook 360 Spatial

Workstation. El plugin FB360 Spatialiser facilita esta labor ya que permite monitorear el video

360 y posicionar los sonidos directamente sobre él (Figura 10).

Fig. 10. Plugin FB360 Spatialiser.

A las fuentes estéreo se les asignó entrada mediante mixdown en el plugin para convertirlas en

fuentes puntuales y ubicarlas más fácilmente en el video 360, se automatizaron los parámetros

azimut, elevation y distance; se aplicó reverberación tipo Room antes de la espacialización cuando

fue necesario. Los canales que se espacializaron generalmente eran canales auxiliares multicanal

(10 canales) debido a que el FB360 Spatialiser trabaja Ambisonic de segundo orden, entonces

requiere 9 canales para su funcionamiento. Dichos canales especializados fueron ruteados dentro

del DAW Reaper a un master al cual se le asignaba el plugin Control, el cual se muestra en la

Figura 11, éste se encargaba de hacer la decodificación binaural para monitorear la señal con

audífonos.


Fig. 11. Plugin FB360 Control.

Dentro del diseño también fue necesario no espacializar ciertos sonidos, entre ellos la música, la

cual inicialmente trató de espeacializarse pero al ser un sonido no diegético podía generar confusión

al ser espacializado, los canales no espacializados se agruparon en un canal auxiliar estéreo, el cual

al finalizar el diseño de cada escena fue exportado y reproducido de forma independiente dentro

del motor de realidad virtual Unity, a este canal se le asignó un plugin del paquete de Facebook

llamado FB360 Stereo Loudness, encargado de enviar información sobre la sonoridad al canal

master principal, al cual se le asigna otro plugin llamado FB360 Mix Loudness que permite medir

la sonoridad de la mezcla final Figura 12.


Fig. 12. Plugin FB360 Mix Loudness.

Al finalizar el diseño de cada una de las escenas, se exportó de cada una de las sesiones un archivo

B-Format de segundo orden y un canal estéreo, el archivo B-Format fue convertido a B-Format

de primer orden con la aplicación FB360 Encoder que incluye el paquete de Facebook.

Estos dos archivos se asignaron a cada una de las escenas respectivamente en Unity y se

reprodujeron con el SDK ResonanceAudioForUnity del Fabricante Google como se planteó desde

la preproducción.

4) Costos del proyecto

Para la etapa de producción se alquilaron 2 micrófonos lavalier a un precio unitario de

$75.000COP, una grabadora Zoom H6 a un costo de $100.000COP y se hizo la compra del

refrigerio para los participantes por un valor de $50.000COP.

Para el diseño sonoro se utilizaron dos sesiones de grabación siendo un total de 2 horas de grabación

para el foley y 4 horas de grabación para los dialogos en Búho Negro Studio; teniendo en cuenta

que el precio de la hora en el estudio es de $65.000COP, la grabación de foley y dialogos costó

$390.000COP.

La producción musical también se realizó dentro de Búho Negro Studio, dentro de lo paquetes que

ofrece el espacio, se tomó el de Gración, Edición y Mezcla (1 Track, 8 Horas de Grabación), para

un costo de $855.000COP.

Teniendo en cuenta todos los costos anteriores, el precio total del proyecto fue de $1.545.000COP.


Fig. 13. Costos del Proyecto.

VIII. EVALUACIÓN DE HERRAMIENTAS PARA DISEÑO SONORO DE VIDEOS 360

Como objetivo de este trabajo se planteó la realización de una comparación de 2 herramientas para

la producción de sonido inmersivo, se seleccionaron por su accesibilidad, la solución de Facebook,

Facebook 360 Spatial Workstation y el paquete de Waves, 360° Ambisonics. El procedimiento

que se realizó fue el siguiente:

• Se seleccionó el diseño sonoro de una de las escenas previamente editadas, buscando que

incluyera sonidos que pudieran espacializarse con los plugins de Waves; la escena escogida

fue la numero 5.

• Se exportaron stems de cada uno de los canales espacializados en esta escena.

• Se creó una nueva sesión donde fueron importados los stems y se procedió a realizar la

espacialización de cada uno de los canales, con el fin de obtener un archivo B-Format, igual

o similar al obtenido con la espacialización lograda con el plugin de Facebook.

A. Resultados de la comparación

Ambos paquetes funcionan sobre macOS y sobre Windows, requieren para su funcionamiento un

DAW que puede ser Protools o Reaper. Un requerimiento adicional que necesita el paquete

de Waves, es una webcam para que el plugin NX Head Tracker pueda reconocer los movimientos


de la cabeza y moverse dentro del sonido espacializado. El plugin encargado de la espacialización

en el paquete de Waves es el B360 Encoder, Figura 14, igual que el paquete de Facebook, este

permite recibir sonidos multicanal e integrarlos al ambiente 360.

Fig. 14. Plugin B360 Ambisonics Encoder.

El flujo de trabajo de ambos paquetes es muy similar, la única diferencia es que Waves trabaja

sonido Ambisonic de primer orden, entonces el ruteo al canal master debe hacerse con 4

canales únicamente, el canal master debe tener el plugin NX Virtual Mix Room, Figura 15, el cual

se encarga de decodificar el sonido Ambisonic en binaural para poder monitorear con audífonos.

Fig. 15. Plugin NX Virtual Mix Room.


Otro de los complementos de este paquete es el plugin NX Head Tracker, Figura 16, el cual se

ejecuta automáticamente al colocar sobre el canal master El NX Virtual Mix Room, este se encarga

de enviar información sobre el movimiento de la cabeza del usuario para moverse dentro del campo

360.

Fig. 16. Plugin NX Head Tracker.

Se realizó la automatización de cada uno de los canales espacializados y se obtuvo un sonido

Ambisonic de primer orden, el cual tuvo que ser girado 90 grados en el plano XY para poder

reproducirlo en Unity, el resultado muy similar al obtenido con el paquete de Facebook, la única

dificultad que se presentó, es que el paquete de Waves no permite el monitoreo del video 360,

entonces las automatizaciones, deben hacerse de forma aproximada sin referencia con el video 360.


IX. RESULTADOS

Como resultado se obtuvo un diseño sonoro 360 en Ambisonics (B-Format de primer orden),

adecuado para la implementación dentro de la plataforma Unity.

Se logró proponer una metodología funcional para el diseño sonoro de proyectos audiovisuales en

360, ya que el seguimiento paso a paso, de cada una de sus etapas, garantiza el alcance de objetivos

relacionados con sonido inmersivo.

Se estudió y se comprendió el manejo de los flujos de trabajo necesarios para la implementación

de un diseño sonoro Ambisonic y para la integración de dicho diseño en el entorno de realidad

virtual Unity.

Después de implementar el audio Ambisonics de primer orden, se notó que existía un desfase de

90 grados con respecto a la posición original exportada desde el DAW, probablemente debido a un

error de codificación de la plataforma Unity, o del modo en cómo Unity interpreta el B-Format.


X. CONCLUSIONES

Luego de realizados cada uno de los pasos propuestos en la metodología se logra un producto final

acorde a lo esperado, ya que apoya desde el sonido, la experiencia inmersiva y todas las sensaciones

que se pretendían transmitir desde el planteamiento del proyecto.

La realización de maquetas musicales desde la etapa de preproducción, garantiza un resultado final

acorde a los objetivos planteados.

Para este tipo de diseño sonoro funciona de mejor manera el plugin de Facebook, Facebook Spatial

Workstation, pues permite realizar el monitoreo del video 360 en tiempo real, mientras que el

plugin de Waves no.

Con la intención de resolver el problema del desfase de 90º que realiza Unity a la hora de

implementar el audio Ambisonics, este se movió 90º en el plano XY desde el DAW antes de

exportar el archivo B-Format final.


REFERENCIAS

[1] M. Schmidt, S. Schwartz, and J. Larsen, “Interactive 3-D audio: Enhancing awareness of

details in Immersive soundscapes?,” in Audio Engineering Society Convention 133, 2012.

[2] R. Oldfield, B. Shirley, and J. Spille, “An object-based audio system for interactive

broadcasting,” in Audio Engineering Society Convention 137, 2014.

[3] Y. Lasorsa and J. Lemordant, “An Interactive audio system for mobiles,” in 127th AES

Convention, 2009.

[4] S. Fueg, A. Hoelzer, C. Borss, C. Ertel, M. Kratschmer, and J. Plogsties, “Design, coding

and processing of metadata for object-based interactive audio,” in Audio Engineering

Society Convention 137, 2014.

[5] H. Wittek and G. Theile, “Development and application of a stereophonic multichannel

recording technique for 3D Audio and VR,” in Audio Engineering Society Convention 143,

2017.

[6] J. Susal, K. Krauss, N. Tsingos, and M. Altman, “Immersive audio for VR,” in Audio

Engineering Society Conference: 2016 AES International Conference on Audio for Virtual

and Augmented Reality, 2016.

[7] E. Benjamin, A. Heller, and R. Lee, “Why ambisonics does work,” in Audio Engineering

Society Convention 129, 2010.

[8] M. Frank, F. Zotter, and A. Sontacchi, “Producing 3D audio in ambisonics,” in Audio

Engineering Society Conference: 57th International Conference: The Future of Audio

Entertainment Technology–Cinema, Television and the Internet, 2015.

[9] N. Tsingos, P. Govindaraju, C. Zhou, and A. Nadkarni, “XY-stereo papture and up-

conversion for virtual reality,” in Audio Engineering Society Conference: 2016 AES

International Conference on Audio for Virtual and Augmented Reality, 2016.

[10] M. A. Gerzon, “Principles of Quadraphonic Recording (in Two Parts),” Stud. Sound, vol.

25, no. 10, 1970.

[11] M. A. Gerzon, “Ambisonics. Part Two: Studio Techniques,” Stud. sound, vol. 17, no. 8, pp.

24–26, 1975.

[12] P. Fellgett, “Ambisonics. Part One: General System Description,” Stud. Sound, vol. 17, no.


8, pp. 20–22, 1975.

[13] M. A. Gerzon and G. J. Barton, “Ambisonic surround-sound mixing for multitrack studios,”

in Audio Engineering Society Conference: 2nd International Conference: The Art and

Technology of Recording, 1984.

[14] D. Perez, “El inventor olvidado que pudo cambiar la historia de la música con la holofonía,”

2014. .

[15] J.-M. Jot and Z. Fejzo, “Beyond surround sound-creation, coding and reproduction of 3-D

audio soundtracks,” in Audio Engineering Society Convention 131, 2011.

[16] Discovery, “Mega Coaster: Get Ready for the Drop (360 Video),” 2016. [Online]. Available:

https://www.youtube.com/watch?v=-xNN-bJQ4vI.

[17] M. Neukom, “Decoding second order ambisonics to 5.1 surround systems,” in Audio

Engineering Society Convention 121, 2006.

[18] H. Lee, “Capturing and rendering 360o VR audio using cardioid microphones,” in Audio

Engineering Society Conference: 2016 AES International Conference on Audio for Virtual

and Augmented Reality, 2016.

[19] D. Kompas, “Prostorový zvuk pro potřeby virtuální reality v audiovizuálních dílech,” 2017.

[20] R. Diaz and T. Koch, “Live panorama and 3D audio streaming to mobile VR,” in Audio

Engineering Society Conference: 2016 AES International Conference on Headphone

Technology, 2016.

[21] J. Y. Hong, J. He, B. Lam, R. Gupta, and W.-S. Gan, “Spatial Audio for Soundscape Design:

Recording and Reproduction,” Appl. Sci., vol. 7, no. 6, p. 627, 2017.

[22] M. Chion, La audiovisión. Introducción a un análisis de la imagen y el sonido. 1993.

[23] P. G. Parera, “Espacialización sonora con Wavefield Synthesis y Vector Base Amplitude

Panning. Estudio comparativo.” 2013.

[24] D. Malham, “Higher order ambisonic systems,” (Tesis doctoral en Mphil) University of

York, 2003.

[25] F. Hollerweger, “An introduction to higher order ambisonic,” 2005. [Online]. Available:

https://semanticscholar.org/40b6/8e33d74953b9d9fe1b7cf50368db492c898c.pdf.

[26] RTVC, Manual General de Producción. Bogotá, 2009.

Documents

Diseño sonoro ambisonics para una narrativa audiovisual en …bibliotecadigital.usb.edu.co:8080/bitstream/10819/6889/1/... · 2019. 2. 22. · Diseño sonoro ambisonics para una