View
2
Download
0
Category
Preview:
Citation preview
Diseño sonoro ambisonics para una narrativa audiovisual en video 360
integrado a un ambiente de realidad virtual
Pablo Melo, pablomelo.buhonegro@gmail.com
German Alonso Benjumea, benjumeag@gmail.com
Trabajo de Grado presentado para optar al título de Ingeniero de Sonido
Asesor: Juan Pablo Hormiga Leal, Magíster (MSc).
Universidad de San Buenaventura Colombia
Facultad de Ingenierías
Ingeniería de Sonido
Medellín, Colombia
2019
Citar/How to cite [1]
Referencia/Reference
Estilo/Style: IEEE (2014)
[1] Pablo Melo y Germán A. Benjumea, “Diseño Sonoro Ambisonics Para Una Narrativa Audiovisual En Video 360 Integrado a un Ambiente de Realidad Virtual.”, Trabajo de grado Ingeniería de Sonido, Universidad de San Buenaventura Medellín, Facultad de Ingenierías, 2019.
Bibliotecas Universidad de San Buenaventura
• Biblioteca Fray Alberto Montealegre OFM - Bogotá.
• Biblioteca Fray Arturo Calle Restrepo OFM - Medellín, Bello, Armenia, Ibagué.
• Departamento de Biblioteca - Cali.
• Biblioteca Central Fray Antonio de Marchena – Cartagena.
Universidad de San Buenaventura Colombia
Universidad de San Buenaventura Colombia - http://www.usb.edu.co/
Bogotá - http://www.usbbog.edu.co
Medellín - http://www.usbmed.edu.co
Cali - http://www.usbcali.edu.co
Cartagena - http://www.usbctg.edu.co
Editorial Bonaventuriana - http://www.editorialbonaventuriana.usb.edu.co/
Revistas - http://revistas.usb.edu.co
Biblioteca Digital (Repositorio) http://bibliotecadigital.usb.edu.co
TABLA DE CONTENIDO
RESUMEN ................................................................................................................................. 7
ABSTRACT................................................................................................................................ 8
I. INTRODUCCIÓN ................................................................................................................... 9
II. PLANTEAMIENTO DEL PROBLEMA .............................................................................. 10
A. Antecedentes .................................................................................................................... 10
III. JUSTIFICACIÓN ................................................................................................................ 14
IV. OBJETIVOS ....................................................................................................................... 15
A. Objetivo general ............................................................................................................... 15
B. Objetivos específicos ........................................................................................................ 15
V. MARCO TEÓRICO ............................................................................................................. 16
A. Escena sonora ................................................................................................................... 16
B. Estereofonía y Sistema Multicanal .................................................................................... 16
C. Audio Binaural ................................................................................................................. 16
D. Creación Sonora Basada en Objetos .................................................................................. 17
E. Ambisonics y B-Format .................................................................................................... 17
F. Furse-Malham ................................................................................................................... 19
G. AmbiX ACN/SN3D .......................................................................................................... 20
H. Rotación del campo sonoro ............................................................................................... 21
VI. METODOLOGÍA ............................................................................................................... 22
A. Justificación del producto audiovisual ............................................................................... 22
B. Roles y responsabilidades ................................................................................................. 22
C. Estructura o guion del proyecto ......................................................................................... 23
D. Etapas ............................................................................................................................... 23
1) Preproducción ................................................................................................................ 23
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL
a) Tecnología a utilizar .................................................................................................. 23
b) Música ....................................................................................................................... 24
c) Cronograma ............................................................................................................... 24
d) Banco de sonidos ....................................................................................................... 24
e) Presupuesto................................................................................................................ 25
2) Producción ..................................................................................................................... 25
3) Postproducción .............................................................................................................. 26
a) Edición de diálogos .................................................................................................... 26
b) Montaje de ambientes ................................................................................................ 26
c) Música propuesta final ............................................................................................... 26
d) Foley ......................................................................................................................... 26
e) Mezcla y espacialización ........................................................................................... 27
VII. IMPLEMENTACIÓN DE LA METODOLOGÍA PROPUESTA EN EL DESARROLLO
DEL DISEÑO SONORO PARA UN VIDEO 360 ..................................................................... 28
A. Justificación del producto audiovisual ............................................................................... 28
B. Roles y responsabilidades ................................................................................................. 28
C. Estructura o guion del proyecto ......................................................................................... 28
D. Etapas ............................................................................................................................... 29
1) Preproducción ................................................................................................................ 29
a) Tecnología a utilizar .................................................................................................. 29
b) Música ....................................................................................................................... 30
c) Cronograma ............................................................................................................... 32
d) Banco de sonidos ....................................................................................................... 32
e) Presupuesto................................................................................................................ 33
2) Producción ..................................................................................................................... 33
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL
3) Postproducción .............................................................................................................. 34
a) Edición de diálogos .................................................................................................... 35
b) Montaje de ambientes ................................................................................................ 35
c) Música final ............................................................................................................... 35
d) Foley ......................................................................................................................... 37
e) Espacialización .......................................................................................................... 38
4) Costos del proyecto ........................................................................................................ 40
VIII. EVALUACIÓN DE HERRAMIENTAS PARA DISEÑO SONORO DE VIDEOS 360 .... 41
A. Resultados de la comparación ........................................................................................... 41
IX. RESULTADOS ................................................................................................................... 44
X. CONCLUSIONES ................................................................................................................ 45
REFERENCIAS ........................................................................................................................ 46
LISTA DE FIGURAS
Fig. 1. Cálculo de las componentes W,X,Y y Z de B-Format. .................................................... 18
Fig. 2. Primeros 16 armónicos esféricos de orden n y grado m. .................................................. 19
Fig. 3. Ordenamiento formato Furse-Malham. ........................................................................... 19
Fig. 4. Ordenamiento formato Furse-Malham. ........................................................................... 20
Fig. 5. Matriz de rotación para el eje Z. ..................................................................................... 21
Fig. 6. Cronograma propuesto. .................................................................................................. 32
Fig. 7. Presupuesto. ................................................................................................................... 33
Fig. 8. Formato de pietaje. ......................................................................................................... 34
Fig. 9. Sesión Logic X música final. .......................................................................................... 36
Fig. 10. Plugin FB360 Spatialiser. ............................................................................................. 38
Fig. 11. Plugin FB360 Control. .................................................................................................. 39
Fig. 12. Plugin FB360 Mix Loudness. ........................................................................................ 40
Fig. 13. Costos del Proyecto. ..................................................................................................... 41
Fig. 14. Plugin B360 Ambisonics Encoder. ............................................................................... 42
Fig. 15. Plugin NX Virtual Mix Room. ...................................................................................... 42
Fig. 16. Plugin NX Head Tracker. ............................................................................................. 43
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 7
RESUMEN
El desarrollo tecnologico en el campo audiovisual ha introducido el video 360 como una alternativa
para generar experiencias inmersivas como las logradas por los videojuegos y la realidad virtual, y
ha creado la necesidad, desde el diseño sonoro, de integrar ambientes sonoros que acompañen y
apoyen dicha experiencia, herrramientas como el sonido Ambisonics con el B-Format se han
estandarizado para la creación de dichos entornos sonoros.
Este trabajo pretende producir un diseño sonoro para un video 360 haciendo uso del sonido
ambisonics e integrarlo al entorno de realidad virtual Unity, generando una metodología que
especifique un procedimiento lógico que facilite su realización, además se comparan 2
herramientas para la producción de audio ambisonic destacando sus bondades y limitantes.
Se logró proponer una metodología funcional que incluye procesos de preproducción, producción
y postproduccion, que trazan el camino para lograr un diseño sonoro inmersivo que complemente
la experiencia generada por un video 360, se utilizaron herramientas como Facebook Spatial
Workstation sobre el DAW Reaper para la creacion del B-Format y LogicX para la creación de la
música original.
Palabras clave: Ambisonics, diseño sonoro, Audio inmersivo, video 360, Unity, Facebook Spatial
Workstation, Reaper, Logic X.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 8
ABSTRACT
The technological development in the audiovisual field has introduced 360 videos as an alternative
to generate immersive experiences such as those achieved by videogames and virtual reality, and
it has created the need to integrate sound environments that accompany and support the experience,
tools such as Ambisonics sound with the B-Format have been standardized for the creation of sound
environments.
This work aims to achieve a sound design for a 360 video using Ambisonics for Unity, creating a
virtual reality environment, not before generating a methodology that specifies a logical procedure
that facilitates its realization, besides comparing 2 tools for the production of Ambisonics audio,
highlighting its pros and cons.
It was possible to propose a functional methodology that includes processes of preproduction,
production and postproduction, which trace the path to achieve an immersive sound design that
complements the experience generated by a 360 video, tools such as Facebook Spatial Workstation
were used on the DAW Reaper for the creation of the B-Format and Logic X for the creation of the
original music.
Keywords: Ambisonics, Sound Design, inmersive Audio, 360 Video, Unity, Facebook Spatial
Workstation, Reaper, Logic X.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 9
I. INTRODUCCIÓN
Este trabajo se realiza con el objetivo de alcanzar el titulo en ingeniería de sonido de los autores y
como apoyo al trabajo de grado “Creación de una narrativa audiovisual interactiva en video 360”
plateado desde el programa de Ingeniería Multimedia de la Universidad San Buenaventura, el
cual pretende, haciendo uso de herramientas de programación y de producción de video 360,
crear un video mediante el cual el usuario final pueda tomar decisiones en el desarrollo de una
historia; dicho proyecto requiere un diseño sonoro que apoye la experiencia interactiva con el fin
de mejorar la sensación inmersiva en el usuario. Se desarrolla entonces una metodología que
contemple los procesos requeridos para la realización del producto sonoro, el cual incluye
espacialización y música original.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 10
II. PLANTEAMIENTO DEL PROBLEMA
El sonido para productos audiovisuales ha estado en constante evolución durante los últimos años
Mikkel en [1] y Oldfield en [2], en busca de que el espectador tenga experiencias más inmersivas
donde pueda interactuar y hacer parte de su desarrollo [3] [4]; avances tecnológicos como la
realidad virtual (VR) han permitido que el espectador interactúe y tome decisiones en el desarrollo
de una historia, exigiendo un importante apoyo sonoro que haga sentir al espectador inmerso en
otra realidad [5]. Esta tecnología, al igual que los videos 360, se ha masificado y su demanda es
cada vez mayor, generando la necesidad de implementar metodologías para la producción de
diseños sonoros que apoyen y mejoren la experiencia de inmersión, y faciliten la interacción del
espectador con el entorno virtual [6].
En la actualidad Ambisonics es el sistema multicanal que propone ambientes sonoros muy cercanos
a la realidad mediante herramientas que permiten posicionar sonidos en un entorno 360, generando
la sensación de espacialidad en el espectador, convirtiéndose así en la mejor opción que
actualmente existe para lograr una experiencia inmersiva en un video 360 [7] [8] [9]. Este
trabajo de investigación, pretende implementar un diseño sonoro Ambisonics (B-format) en un
video 360 para ser reproducido dentro de una herramienta de programación orientada
específicamente al desarrollo de entornos de realidad virtual y el planteamiento de una metodología
para la producción de audio inmersivo en videos 360.
A. Antecedentes
El sonido es parte fundamental a la hora de generar experiencias que pretendan incorporar al
espectador en entornos de realidad virtual, o en el caso de este trabajo en experiencias de videos
360. La búsqueda de experiencias inmersivas en el diseño sonoro empezó a explorarse durante la
década de los 70 cuando Michael Gerzon en [10] y [11] comenzó a cuestionar las técnicas de
grabación cuadrafónica existentes hasta esa época, Gerzon concluyó que podía optimizarse el uso
de la grabación cuadrafónica usando solamente 3 canales, reservado el cuarto canal para almacenar
información sobre el posicionamiento del sonido en el eje vertical. Años más tarde, Peter Fellgett
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 11
en [12] introdujo el concepto Ambisonics, haciendo una descripción de su funcionamiento y
planteando el diseño del micrófono de campo de sonido, un micrófono omnidireccional con patrón
polar esférico. Luego, Michael Gerzon en [11] y [13] encuentra la manera de hacer compatible
esta técnica con los sistemas de codificación existentes en la época para la transmisión de sonido y
enfatiza en las bondades del micrófono de campo de sonido, el cual, ya podía capturar información
sonora en el eje vertical como el mismo lo planteó 5 años atrás.
En los años 80, el argentino Hugo Zuccarelli desarrolló la holofonía [14], sistema de grabación
sonora que emula fielmente la forma en que el ser humano captura el sonido, permitiendo percibir
el sonido tal como lo escuchamos. Ringo fue el nombre del prototipo de cabeza binaural
desarrollada por este argentino, el cual alcanzó a grabar The Final Cut, el primer disco holofónico
grabado en la historia, realizado para la banda Pink Floyd.
Los años 90 no representaron un gran avance para las experiencias sonoras inmersivas, fue con la
llegada del nuevo siglo, la masificación de los videojuegos y la aparición de entornos de realidad
virtual, 3D y 360, que se generó la necesidad de incorporar audio inmersivo en dichos productos y
empezaron a surgir formas de realizar diseño sonoro para estos productos. Jean-Marc Jot y Zoran
Fejzo en [15] hablan de 2 formas de crear contenido sonoro para realidad virtual, una basada
en la grabación de entornos existentes, y otra basada en la síntesis virtual del espacio que se quiera
representar, la cual requiere de la reconstrucción artificial del espacio sonoro. M. Altman y
colaboradores clasifican los productos VR en dos grandes categorías en su trabajo “Inmersive audio
for VR” [6], "VR Interactivo" que corresponde a video juegos y películas interactivas, y "VR
Lineal" que corresponde a productos como eventos deportivos, conciertos y películas, y hace un
análisis de la creación de audio para VR basada en objetos y basada en la física, determinando que
para VR Interactivo funciona mejor la creación sonora basada en objetos y para VR lineal funciona
mejor la basada en la física.
En su trabajo también concreta aspectos fundamentales para lograr con éxito una buena
inmersión en la experiencia VR, como seguir el movimiento de la cabeza del espectador, los
seguimientos de cámara abordo (usados frecuentemente en videos promocionales de parques de
diversiones [16] y en la fórmula 1), el sonido diegético y la integración de la música al espacio
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 12
virtual, aspectos que mejoran el producto y generan ambientes sonoros que funcionan muy bien
para el acompañamiento de una experiencia visual 360 o de realidad virtual.
El sonido Ambisonics es compatible con sistemas caseros de uso común, como lo son los
sistemas de sonido envolvente 5.1, Martin Neukom en [17] plantea un método mediante el cual el
sonido Ambisonics puede ser reproducido en dichos sistemas comerciales.
La captura de sonido con arreglos de micrófonos estéreo empezó a tomar fuerza para garantizar
fidelidad del sonido. Nicolas Tsingos y colaboradores, en su trabajo [9], lograron mediante el uso
de grabadoras marca Zoom (H4N y H6) generar sonido Ambisonics para una presentación en vivo
de un comediante, integrando 5 canales de audio (2 pares estéreo y un canal monofónico) en B-
format. Hyunkook Lee [18] mediante experimentos con técnicas de captura cuadrafónica con
micrófonos cardioides, logró determinar que la variación de la distancia entre las capsulas de los
micrófonos no genera diferencias considerables en el resultado final de un audio Ambisonics.
Con los avances logrados hasta hoy y con el ánimo de masificar las experiencias inmersivas, Cedric
Yue y Teun de Planque en [19] desarrollaron un diseño sonoro Ambisonics utilizando B-fomat
para complementar una experiencia de realidad virtual diseñadas para la Google Cardboard, un
dispositivo de bajo costo que con la ayuda de un teléfono móvil facilita el acceso al público a
entornos VR, en su trabajo explican el proceso de codificación y decodificación Ambisonics y
como lo implementaron en dicha experiencia. En transmisiones vía web Rodrigo Diaz y Thomas
Kochen en [20] lograron transmitir en directo un concierto de la Orquesta Filarmónica de Berlín
usando video panorámico y audio 3D a teléfonos móviles.
El sonido ambiente hace parte importante para la caracterización de espacios, y de él, depende que
una experiencia de realidad virtual se aproxime a la realidad o no, Joo Young Hong y
colaboradores, analizaron diferente formas de capturar, procesar y reproducir sonidos ambiente
[21], haciendo una comparación de las técnicas de grabación existentes, concluyendo que la
fidelidad del sonido Ambisonics es ideal para la generación de ambientes sonoros realistas que
integren al espectador a un entorno de realidad virtual o video 360; Matthias Frank también destaca
las bondades de Ambisonics [8] calificándolo como un sistema de producción flexible que puede
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 13
adaptarse fácilmente en la reproducción para grandes audiencias y en audífonos para aplicaciones
móviles, además destaca su practicidad debido a que es amplia la oferta de VST-plugins para su
producción.
Las investigaciones desarrolladas hasta la fecha muestran la importancia del diseño sonoro para la
generación de ambientes inmersivos en productos audiovisuales y realidad virtual, y plantean
herramientas que permiten y facilitan el desarrollo de entornos sonoros que emulan la realidad
llevando al espectador a sentir que hace parte de otra realidad simulada.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 14
III. JUSTIFICACIÓN
La realización de este trabajo está sujeta al desarrollo del proyecto “Creación de una narrativa
audiovisual interactiva en video 360” plateado desde el programa de Ingeniería Multimedia de la
Universidad San Buenaventura, el cual pretende, haciendo uso de herramientas de
programación y de producción de video 360, crear un video mediante el cual el usuario final pueda
tomar decisiones en el desarrollo de una historia. Para el logro de este objetivo, es necesario el
apoyo desde el programa de Ingeniería de Sonido para lograr un producto que garantice, desde el
diseño sonoro, una experiencia inmersiva y realista.
Las herramientas necesarias para el desarrollo del proyecto existen y son accesibles, la
postproducción del diseño sonoro se puede lograr haciendo uso del paquete Facebook 360 Spatial
Workstation de distribución gratuita, el cual permite exportar el audio final en formato Ambisonics
B-Format y finalmente la integración con entornos de realidad virtual se puede alcanzar
reproduciendo el formato B-Format en el software Unity.
La investigación pretende también profundizar conocimientos en temas relacionados con el
sonido Ambisonics su preproducción, producción, y postproducción, los formatos que
actualmente se manejan, las técnicas de captura y su finalización e integración con entornos de
programación destinados a la realidad virtual.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 15
IV. OBJETIVOS
A. Objetivo general
Realizar diseño sonoro a una narrativa audiovisual en video 360, utilizando tecnología Am-
bisonics para reproducirla en el entorno de realidad virtual Unity.
B. Objetivos específicos
• Realizar procesos de preproducción, producción y postproducción de audio para el
diseño sonoro y música original.
• Desarrollar una metodología para la producción de audio inmersivo en un video 360.
• Realizar una comparación objetiva de dos plataformas para implementación de audio
espacial.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 16
V. MARCO TEÓRICO
A. Escena sonora
M. Chion en su libro La Audiovisión [22] plantea la importancia de la escena sonora en el campo
audiovisual para lograr el concepto de inmersión, plantea el concepto de imantación del sonido
respecto a la imagen y dice que para lograrlo no es necesario que el sonido siempre corresponda a
la imagen (sonido diegético), hace falta integrar una variedad de elementos sonoros que
enriquezcan la escena y permitan que el espectador se integre a lo que sus ojos ven, mediante
atmosferas que faciliten transmitir sensaciones que se quieran plasmar en un producto audiovisual.
B. Estereofonía y Sistema Multicanal
Un sistema estéreo convencional está representado por dos canales, izquierdo y derecho (L y R),
lo cual permite crear la sensación de que el sonido viene de un lugar específico entre las posiciones
de los dos altavoces. [23] La forma de situar la imagen sonora es mediante una distribución del
nivel de la señal de forma ponderada entre los dos canales. A lo largo de los años se han ido
añadiendo progresivamente más canales al par estéreo con el fin de mejorar la sensación espacial
de las escenas sonoras. Cuando los sistemas estereofónicos tienen más de dos canales, se les
conoce con el nombre de sistemas multicanal como por ejemplo el 5.1 (cinco canales más uno
opcional con ancho de banda limitado a las frecuencias graves LFE).
C. Audio Binaural
El sistema binaural, por otro lado, busca reconstruir la señal que llega a los oídos del oyente
basándose en la Función de Transferencia Relativa a la Cabeza o HRTF por sus siglas en inglés
(Head Related Transfer Function). [5] La HRTF se refiere a todos los aspectos físicos de la
localización del sonido para una posición específica de la cabeza, teniendo en cuenta aspectos como
la diferencia de tiempo interaural, sombra de la cabeza, difracciones en los pliegues de la oreja, etc.
Después de conocer la HRTF para ambos oídos y la posición de una fuente virtual en el espacio
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 17
con respecto a la cabeza, se pueden sintetizar las señales correspondientes a los dos oídos para un
sonido emitido por dicha fuente generando así el sistema binaural [23].
D. Creación Sonora Basada en Objetos
Representa una escena auditiva compleja como un conjunto de elementos singulares que
comprenden una señals de audio y parámetros o metadatos que incorporan la intención
artística de los elementos de audio. La creación sonora basada en objetos utiliza generalmente
audios monofónicos que han sido grabados o sintetizados mediante un proceso de diseño
sonoro. [6] Estos elementos de sonido son después manipulados en un DAW donde se pueden
posicionar en un espacio tridimensional (3D) de acuerdo con la metadata del sonido específico.
La creación sonora basada en objetos es ideal para el uso de aplicaciones de realidad vir-
tual debido a que tiene un procesamiento flexible pues la metadata posicional puede ser
dinámicamente modificada, como por ejemplo haciendo el seguimiento de cómo se mueve la
cabeza. [6] En comparación a la creación sonora basada en campos sonoros, esta ofrece una mejor
combinación entre fidelidad espacial e interactividad debido a que los objetos pueden mantenerse
en una posición determinada pues contienen metadatos posicionales que indican un
comportamiento específico basado en la aplicación deseada.
E. Ambisonics y B-Format
Ambisonics es un método de grabación y reproducción 3D que está basado en la descomposición
de armónicos esféricos que representan los campos sonoros [8]. Esta representación facilita la
producción en un entorno 360 pues es independiente del sistema de reproducción, debido a que
hace una adaptación mediante algoritmos que decodifican y permiten trabajar en cualquier sistema
de reproducción dado.
Uno de los formatos más populares con los que trabaja Ambisonics es el B-Format; las señales B-
format son la descomposición truncada de armónicos esféricos que representan el campo sonoro,
corresponden a la presión del sonido (W), y a las tres componentes del gradiente de presión (X,Y,Z)
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 18
en un punto en el espacio [19]. Estas cuatro componentes juntas (siendo W una señal mono, y
X,Y,Z señales estéreo figura de ocho) representan el campo sonoro general aproximando como una
esfera alrededor del micrófono y se calculan como lo muestra la Figura 1.
Fig. 1. Cálculo de las componentes W,X,Y y Z de B-Format.
Fuente: https://goo.gl/images/2djm5o
La resolución de una señal ambisonic se puede aumentar agregando componentes direccionales
propias del B-Format, dichas componentes no corresponden a los patrones polares comunes
omnidireccional y figura de 8, sino que se asemejan a hojas de trébol como lo muestra la Figura 2
[8], todas estas señales resultantes son conocidas como segundo y tercer orden u orden superior
Ambisonics.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 19
Fig. 2. Primeros 16 armónicos esféricos de orden n y grado m.
Fuente: https://goo.gl/images/Y8AjVi
En la actualidad hay 2 formatos de uso generalizado, el Furse-Malham y el AmbiX SN3D, ellos se
diferencian en el orden de sus componentes y su normalización o ponderación, aspectos
importantes a tener en cuenta en el intercambio de información, para evitar confusión al
momento de la reproducción del sonido B-Format.
F. Furse-Malham
Este formato utiliza un método de nomenclatura con letras para cada uno de los órdenes del B-
Format, XYZ para el primer orden, RSTUV para el segundo orden y KLMNOPQ para el tercer
orden, se organiza empezando con el eje Z en el centro y salta al lado derecho y luego al izquierdo,
siguiendo este patrón se ordena como se muestra en Figura 3. [24]
Fig. 3. Ordenamiento formato Furse-Malham.
Fuente: https://goo.gl/images/6KLe1v
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 20
Cada formato Ambisonics cuenta con un método de normalización para la reconstrucción exitosa
del campo sonoro, el formato Furse-Malham utiliza el esquema maxN, el cual se encarga
de normalizar cada uno de los componentes para que no exceda sus niveles máximos.
G. AmbiX ACN/SN3D
Este formato se ha convertido en un estándar para el manejo de sonido Ambisonic y se proyecta
como el más popular en el futuro cercano. Actualmente es usado por múltiples plataformas y su
ordenamiento está dado por el Ambisonic Channel Number (ACN) [25], asignando un número a
cada uno de sus componentes como lo muestra la Figura 4. Su normalización está dada por el
sistema SN3D comunmente utilizado en magnetismo y geología, este sistema consiste en que
ninguno de los componentes sobrepasa el valor pico del componente 0.
Fig. 4. Ordenamiento formato Furse-Malham.
Fuente: https://goo.gl/images/6KLe1v
Es importante definir estos conceptos claves dentro del proyecto pues para el desarrollo del mismo,
en los que se ven involucradas herramientas de programación y lenguaje técnico, se hace necesario
tener estas bases las cuales dan un punto de partida claro en la ejecución. El diseño sonoro a través
de herramientas de programación implica procesos de preproducción, producción y
postproducción, saber qué tipo de diseño se va a hacer exige el conocimiento previo de cómo es la
jerarquía de diseño cuando se está orientando la creación sonora ya sea a objetos o campos sonoros.
Conocer Ambisonics y el formato más popular en el que trabaja (B-Format), brinda her-
ramientas al ingeniero de sonido para coordinar los flujos de trabajo y la integración del diseño
sonoro con el motor de realidad virtual.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 21
H. Rotación del campo sonoro
El campo sonoro Ambisonics puede rotarse mediante la implementación de matrices simples de
rotación para cada uno de los ejes X,Y y Z. La rotación del campo sonoro es utilizada
principalmente dentro de las técnicas de reproducción de audio 3D.
Para mejorar la localización auditiva, en los entornos acústicos reales las personas mueven
contantemente la cabeza creando diferencias de nivel y tiempo interaural. Teniendo en cuenta que
a la hora de utilizar audífonos no podemos hacer movimientos de cabeza sin mover el campo sonoro
simultáneamente, los dispositivos que realizan el seguimiento a los movimientos de la cabeza
aparecen como una solución, estos dispositivos aportan la información del movimiento de
la cabeza y en conjunto con las matrices de rotación puede lograrse una decodificación
binaural la cual genera una experiencia inmersiva en el usuario [25].
La rotación del campo sonoro para el eje Z se implementa según la matriz que se muestra en la
Figura 5, para rotar un campo Ambisoncs de primer orden se utiliza la matriz cuatro por cuatro de
la esquina superior izquierda.
Fig. 5. Matriz de rotación para el eje Z.
Fuente: https://goo.gl/images/Z8gbrZ
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 22
VI. METODOLOGÍA
Para el desarrollo de proyectos de diseño sonoro Ambisonic en videos 360 se plantea la siguiente
propuesta, con el fin de definir un procedimiento que facilite la creación de ambientes sonoros
inmersivos que hagan coherente la experiencia audiovisual, la propuesta integra los procesos
básicos necesarios; desde la justificación del proyecto, definición del recurso humano necesario y
etapas requeridas para el logro del objetivo.
A. Justificación del producto audiovisual
Inicialmente es necesario plantear una justificación del proyecto a desarrollar, esta debe ser clara
y plantear un objetivo hacia el cual dirigir los esfuerzos. Cada una de las etapas del proceso debe
ir encaminada alcanzar el objetivo final, que en este caso, es la consecución de un diseño sonoro
inmersivo para un video 360, que apoye con una ambientación sonora esférica lo que se pretende
mostrar en el video. La justificación debe responder las preguntas, qué se quiere lograr, y porque
motivo. Plantea una base para la realización del proyecto.
B. Roles y responsabilidades
Definir las responsabilidades de cada uno de los integrantes del equipo que va a participar en el
desarrollo del proyecto es fundamental, ya que una estructura de cargos, facilita la toma de
decisiones. El proyecto debe definir por lo menos un director y un productor, quienes serán
responsables de concebir la idea y de coordinar la logística de todas las acciones necesarias para
llevar a cabo el producto audiovisual, ellos se encargan de definir que personal se necesita según
el tamaño del proyecto a desarrollar.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 23
C. Estructura o guion del proyecto
El trabajo de diseño sonoro está fundamentado en una idea inicial, la cual debe estar contenida en
un storyline, el cual sintetiza la temática y la narrativa que se quiere lograr con el proyecto. El
desarrollo de esta metodología requiere para su inicio, la existencia de un storyline en su etapa
inicial, y el desarrollo de un guion para el logro de un producto final.
D. Etapas
La producción audiovisual se ha encargado de establecer 3 etapas fundamentales para el
desarrollo de cualquier proyecto, el manual de producción de la RTVC [26], entidad encargada en
Colombia de programar, producir y emitir canales públicos Señal Colombia y canal
institucional, las define como preproducción, producción y postproducción; el desarrollo
coordinado de cada una de ellas garantiza el logro de un producto final. Las etapas planteadas a
continuación pretenden establecer un camino que tenga en cuenta los aspectos necesarios para la
producción de un diseño sonoro inmersivo.
1) Preproducción
Con base en el guion definido previamente, deben establecerse varios aspectos para el buen
desarrollo de esta etapa.
a) Tecnología a utilizar
Inicialmente debe definirse la viabilidad del proyecto desde la tecnología que se va a utilizar, esto
permite establecer las necesidades en cuanto a software y hardware necesario para lograr el diseño
final.
• Programas a utilizar (software).
• Equipos necesarios (hardware).
• Formato de audio, tanto de entrada como de salida.
• Formato final para distribución.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 24
b) Música
A partir de lo planteado en el guion, el cual define género y linea argumental del video, deben
determinarse referentes en cuanto a la música que va a usarse, por lo menos 5 referentes que puedan
dar una idea general de lo que se quiere mostrar y las sensaciones que esta debe transmitir
al espectador, los referentes ayudan a establecer:
• Instrumentos necesarios.
• Armonías acorde al genero.
• Línea de estilo a seguir.
c) Cronograma
El tiempo que toma el desarrollo del proyecto es importante definirlo en esta etapa, de esta manera
se establecen fechas de entrega o cumplimiento que ayudarán a lograr el objetivo final, este
cronograma debe contemplar fechas de inicio y finalización para cada uno de los procesos
necesarios, también si es posible debe programarse una visita a las locaciones para recopilar
información que pueda ser útil para el día de la producción.
d) Banco de sonidos
El diseño sonoro requiere gran variedad de sonidos; en la etapa de preproducción, y conociendo el
guion de la historia, es posible ir recopilando sonidos que puedan ser útiles en la etapa de
postproducción. Conociendo el género se consulta en librerias de sonido, en las categorías que
tengan relación con el tema a tratar, donde se pueden encontrar sonidos ambiente, efectos, pasos,
impactos y demás elementos que puedan complementar el sonido diegético del proyecto.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 25
e) Presupuesto
Conociendo todos los aspectos anteriormente mencionados, debe definirse un presupuesto el cual
tenga en cuenta requerimientos como:
• Alquiler de equipos para la producción.
• Adquisición de licencias de ser necesarias.
• Alquiler de estudio para el diseño musical.
• Recurso humano y talentos necesarios.
Cualquier aspecto que requiera inversión económica debe discriminarse en este punto, de esta
manera puede tenerse una base del costo total del proyecto.
2) Producción
En la producción se desarrollan todas las tareas planeadas en la preproducción y se ejecuta el
cronograma planteado. Deben tenerse en cuenta los siguientes aspectos en el rodaje, para poder
recolectar suficiente información sonora, útil en la siguiente etapa de postproducción.
• Captura de sonido ambiente y roomtones que puedan apoyar el producto final y apoyen la
sensación inmersiva que pretende lograrse.
• Captura de sonido directo de los personajes que desarrollan la historia.
• Captura de sonidos puntuales que puedan apoyar el diseño sonoro.
• Realizar registro de cada una de las tomas de audio en un documento (script o pietaje), que
facilite la identificación de cada pista en el proceso de postproducción, debe asociarse cada
una de las tomas de audio a la toma o clip de video correspondiente.
• Revisión inmediata de cada una de las tomas para garantizar la calidad de la captura.
• Teniendo en cuenta que el trabajo en esta etapa se centra en la captura de un video 360, es
esencial que los dispositivos destinados a la captura de sonido directo estén siempre ocultos
al tiro de la cámara.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 26
3) Postproducción
El inicio de esta etapa está condicionado a la entrega final de los cortes de video, es sobre estos que
se puede empezar el proceso.
a) Edición de diálogos
Inicialmente se realiza la edición de diálogos y puesta en sincronía con el video, dependiendo de
las tomas usadas para el corte final del video y haciendo uso del script o pietaje realizado en la
etapa de producción.
b) Montaje de ambientes
Seguidamente la edición de ambientes para cada una de las escenas, teniendo en cuenta las
sensaciones que se quieran transmitir de acuerdo a lo propuesto en el guion y buscando que haya
coherencia con la imagen.
c) Música propuesta final
Paralelamente, con los cortes finales de video y a partir de las maquetas propuestas en la etapa de
preproducción, se puede empezar a montar la propuesta final de la música para el video 360. Se
mezclan los elementos que hagan parte de la composición musical, teniendo en cuenta que estos
no deben chocar con la ambientación o el Foley a la hora de mezclar la música dentro del video.
d) Foley
Se debe hacer un listado del Foley necesario para planear su grabación, edición e inclusión en el
diseño sonoro, este debe apoyar cada una de las situaciones que se vean en el video. Teniendo en
cuenta el género que se va a trabajar, y el banco de sonidos definido anteriormente, se proceden a
realizar los apoyos al Foley mediante los sonidos de librería.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 27
e) Mezcla y espacialización
Dentro del DAW elegido, y teniendo en cuenta que es un video 360, se trabaja utilizando un plugin
de espacialización donde se automatizan cada uno de los parámetros que hacen posible la inmersión
en el espacio virtual.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 28
VII. IMPLEMENTACIÓN DE LA METODOLOGÍA PROPUESTA EN EL
DESARROLLO DEL DISEÑO SONORO PARA UN VIDEO 360
Para el desarrollo del diseño sonoro y música original para el video 360 se puso en práctica la
metodología propuesta anteriormente para comprobar su funcionalidad y efectividad en este tipo
de proyectos.
A. Justificación del producto audiovisual
El video 360 y su respectivo diseño sonoro se realizan con el fin de obtener el título profesional de
Ingenieros de Sonido de los realizadores de este proyecto, además se pretende adquirir
conocimientos relacionados con la espacialización sonora, los formatos Ambisonic, los flujos de
trabajo y la integración de sonido Ambisonic a una plataforma de desarrollo de realidad virtual
(Unity).
B. Roles y responsabilidades
La dirección y producción general del proyecto es asumida por los responsables de la realización
del video, Julián Mejía y Santiago Agudelo, estudiantes del programa de Ingeniería Multimedia.
Son ellos quienes desarrollaron el guion que fue la base para el desarrollo del diseño sonoro y
música original del producto audiovisual, cuyos responsables son los estudiantes del programa de
Ingeniería de Sonido German Alonso Benjumea Gómez y Pablo Andrés Melo Villegas.
C. Estructura o guion del proyecto
La idea original y el desarrollo del guion fueron elaborados por los compañeros del programa de
ingeniería multimedia, una historia de ficción, enmarcada en el género de suspenso y terror.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 29
D. Etapas
1) Preproducción
a) Tecnología a utilizar
La preproducción empezó haciendo un estudio de la viabilidad del proyecto, definiendo los
software que hicieran posible la reproducción de sonido Ambisonics en el motor de reproducción
de video utilizado para el montaje de la experiencia interactiva en video 360; la plataforma definida
desde la preproducción fue el software Unity, se encontraron 3 formas diferentes de reproducir
sonido Ambisonic en dicha herramienta, paquetes ofrecidos por desarrolladores como Oculus,
Facebook y Google, todos gratuitos y de fácil acceso; se realizaron las pruebas pertinentes con cada
uno de ellos en las siguientes versiones:
• ResonanceAudioForUnity – 1.2.1 (Google)
• Rendering SDK – v1.6.0 (Facebook)
• Oculus Spatializer Unity – v1.27.0 (Oculus)
Cada una de estas soluciones funcionó muy bien con la reproducción de audio B-Format (1st. Order
AmbiX), pero para este proyecto se decidió utilizar la solución planteada por Google, debido a que
para el montaje de la experiencia interactiva en video 360 se utilizó también un paquete del mismo
desarrollador, el GoogleVRForUnity – 1.170.0.
Luego se definió el plugin a utilizar en la espacialización de sonido, se evaluaron herramientas que
fueran accesibles, como el plugin gratuito proporcionado por Facebook, el Facebook 360
Spatial Workstation, y la solución para sonido Ambisonic de Waves, el paquete 360°
Ambisonics Tools el cual está compuesto por 3 plugins, 360 Ambisonics Encoder, Nx Virtual Mix
Room y Nx Head Tracker, también se tuvieron en cuenta plugins de espacialización como 360pan
suite de Audio Ease y el Sol VR360 de G-Audio, estos 2 últimos plantean una solución óptima en
la espacialización sonora no se pudo acceder a ellos, el de Audio Ease por su precio y el de G-
Audio porque, a pesar de ser gratuito, funciona únicamente sobre la versión de Protools 12 HD.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 30
Para el desarrollo de este trabajo se eligió el plugin de Facebook, ya que funciona sobre el DAW a
utilizar (Reaper), es de acceso gratuito y además permite monitoreo de video en 360, aspecto que
no permiten los plugins de Waves.
Quedan definidos entonces los siguientes aspectos según la metodología propuesta:
• Programas a utilizar (software): DAW Reaper, plugin de espacialización Facebook 360
Spatial Workstation, DAW Logic X para el montaje de la música original y Unity como
motor de realidad virtual.
• Equipos necesarios (hardware): Micrófonos lavalier inalambricos, grabadora Zoom H6,
audífonos y Macbook pro.
• Formatos de audio, tanto de entrada como de salida y formato final: Sonidos monofónicos
y estereofónicos que en el proceso de postproducción serán especializados para una
entrega final en Ambisonic B-Format de primer orden.
b) Música
Después de investigar cuál era la mejor forma de proceder en la ejecución para producir
sondtracks con el fin de generar suspenso y apoyar las escenas, se toma como referente
bandas sonoras como las de las películas The Witch y Sinister donde el principal elemento de
composición es la disonancia.
De acuerdo al guion se definen entonces momentos para la musicalización los cuales determinan
diferentes grados de tensión, siendo estos esenciales en el desarrollo de la trama pues le dan el tono
a la escena; los momentos de más tensión, donde la protagonista se encuentra desesperada e
intentando escapar, se denota beats más rápidos, ambientes abstractos (que se definen como
una constante durante todo el video 360) y densos tomando como referencia tracks pertenecientes
al álbum "Geoggadi" del dúo electrónico Boards of Canada. Para los momentos donde hay que
tomar decisiones y generar tensión al usuario, se utilizan unos latidos que se van acelerando con el
paso del tiempo dentro del rango de la decisión, y un acorde disonante agudo. Los elementos
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 31
sonoros están compuestos por sintetizadores y sonidos electrónicos, esto teniendo en cuenta los
recursos con los que se cuenta y el tono al que se quiere llegar.
Las referencias musicales usadas para el proyecto quedan definidas entonces así:
• The Dust Brothers, Fight Club: Original Motion Picture Soundtrack [CD]. California:
Restless Records, 1999.
• Christopher Young, Sinister: Original Motion Picture Score [CD]. USA: Varèse Sara-
bande, 2012.
• Hans Zimmer, Interstellar (Original Motion Picture Soundtrack) [CD]. USA: WaterTower
Music, 2014.
• Alexey Omelchuk, Metro: Last Light (Original Soundtrack) [CD]. USA: Sumthing Else
Music Works, 2013.
• Mark Koven, The Witch (Original Soundtrack Audio) [CD]. USA: Milan Records, 2016.
• Boards Of Canada, Geoggadi [CD]. Escocia: Hexagon Sun y Pentland Hills, 2002.
Como primera propuesta se realizaron 5 maquetas musicales que estaban compuestas princi-
palmente por guitarras en su gran mayoría ejecutando acordes menores, lo cual les daba un tono
triste y melancólico a las propuestas. Después de numerosas reuniones con el asesor, se decidió
descartar estas propuestas, pues no cumplían el fin para el cuál estaban pensadas en su totalidad.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 32
c) Cronograma
El desarrollo de este diseño sonoro fue programado para realizarse en las 16 semanas académicas
del semestre 2018-2, y se plantea el cronograma, Figura 6, basado en la metodología propuesta.
Fig. 6. Cronograma propuesto.
d) Banco de sonidos
Conociendo el género y la primera propuesta de guion basada en sinopsis por escenas, se empezó
a recolectar un banco de sonidos que pudiera ser útil para el diseño sonoro, incluyendo sonidos de
fondo que generaran tensión y suspenso, y golpes que pudieran ser útiles para marcar momentos
dentro de la historia, se recolectaron más de 40 sonidos de diferentes librerías.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 33
e) Presupuesto
En la planeación de la producción se generó un listado de equipos necesarios para llevar a cabo el
proyecto desde el sonido: una Grabadora Zoom H6, Audífonos, 2 micrófonos lavalier
inalámbricos, tanto transmisor como receptor debían funcionar con baterías, debido a que en la
locación no se contaba con red eléctrica donde conectar bases de recepción inalámbrica, también
suficientes baterías para todo el día de rodaje; según estos requerimientos se genera el presupuesto
Figura 7.
Fig. 7. Presupuesto.
2) Producción
La producción se realizó el día 23 de septiembre en una locación ubicada por el sector de la avenida
Las Palmas en Medellín, la jornada empezó desde las 7 a.m. inicialmente, mientras la producción
acondicionaba a los actores se realizó la captura de sonido ambiente y roomtones que pudieran
servir en el proceso de postproducción; luego se le instalaron los micrófonos a los actores, teniendo
en cuenta que no fueran visibles al tiro de cámara. A la actriz que interpretaba el papel principal,
se le instaló el micrófono en la espalda sobre el sostén, este punto no era visible a la cámara ya que
esta estaba instalada sobre un casco que lograba cubrir dicho punto. El otro personaje, al tener una
chaqueta, facilitó la instalación del transmisor en uno de los bolsillos internos donde quedaba
oculto a la cámara.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 34
Durante el rodaje, a medida que se grababan las escenas, se hicieron tomas puntuales de golpes y
ruidos que aportaran al desarrollo de la historia; todas las tomas obtenidas fueron relacionadas en
el formato de pietaje Figura 8.
Fig. 8. Formato de pietaje.
Se hicieron en total 41 tomas de audio, las cuales eran relacionadas y revisadas inmediatamente
para garantizar la grabación.
3) Postproducción
Esta etapa inició con la entrega por parte de los compañeros de Ingeniería multimedia de los cortes
finales de video, se creó una sesión por cada una de las escenas para el montaje del diseño sonoro,
configurada de la siguiente manera: sample rate 48000Hz, bit depth 24bit PCM, formato WAV y
frame rate 29.97 fps.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 35
a) Edición de diálogos
Los diálogos grabados en campo, no fueron tenidos en cuenta en el montaje del diseño sonoro,
debido a que los actores que participaron en la producción eran poco expresivos, en el rodaje se les
insistió en que debían marcar mucho más sus expresiones pero al no ser actores profesionales, les
costó trabajo lograrlo, por esta razón se tomó la decisión de hacer doblaje en la totalidad de las
escenas para los personajes principales. El doblaje fue realizado en el estudio de grabación Búho
Negro, ubicado en la calle 8A No 33-40, se utilizó un micrófono Neumann TLM 49 y fueron
necesarias 2 sesiones de grabación, cada una de 2 horas, la primera en la se hizo la grabación del
total de las escenas y la segunda donde se hicieron las correcciones sugeridas por el asesor.
b) Montaje de ambientes
Las capturas hechas el día del rodaje fueron evaluadas y se tomó la decisión de descartarlas, ya que
contenían muchos ladridos de perros y cantos de aves que no aportaban al ambiente de suspenso
que se pretendía generar. No usar los ambientes capturados implicó utilizar ambientes de librerías
que generaran el suspenso necesario para el proyecto, desde la musicalización se implementó este
ambiente en armonía con la propuesta musical final.
c) Música final
Para el montaje de la música se utilizó un ambiente que funcionara con la música disonante
planteada en una de las maquetas realizadas en la preproducción (la que fue escogida en
conjunto con el asesor y los encargados del proyecto desde la parte multimedia), esta música estaba
compuesta por la suma de diferentes sintetizadores que definían a su vez distintos momentos de
tensión; se utilizó:
• Moog Slim Phatty
• Microkorg
• Dave Smith X4
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 36
Fig. 9. Sesión Logic X música final.
Para la sesión de música se utilizaron 10 canales, 8 de audio, como se observa en la Figura 9.
• Canal 1 (Hell) Ambiente de librería.
• Canal 2 (Reverse) Efecto percutido en reversa.
• Canal 3 (Synth -I) Sintetizador base que ejecuta disonancias y simula cuerdas frotadas
(Microkorg).
• Canal 4 (Synth I) Sintetizador ejecutando una línea melódica en frecuencia baja (Moog
Slim Phatty).
• Canal 5 (Synth II) Sintetizador ejecutando línea melódica en frecuencia media (Dave
Smith X4).
• Canal 6 (Synth III) Sintetizador que ejecuta disonancia en frecuencia alta simulando cuerda
frotada (Microkorg).
• Canal 7 (Synth IV) Sintetizador ejecutando una línea melódica en frecuencia alta (Dave
Smith X4).
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 37
• Canal 8 (FX Out) Sintetizador que ejecuta una secuencia de notas que marcan el final de la
canción .
Los canales 9 y 10 son los canales auxiliares 1 y 2 en los cuales se insertaron los efectos de Delay
y Reverb respectivamente. La música se desglosó entonces en varias secciones que se
implementaron dentro de las escenas de acuerdo al grado de tensión que se quería lograr en
consecuencia de las acciones tomadas dentro del video 360.
d) Foley
Se generó un listado de Foley necesario para cada una de las escenas y poder planear su
grabación, dicho Foley fue grabado en los estudios Búho Negro con un micrófono dinámico SURE
SM7B, la relación de sonidos incluía: presencias con cuero para el antagonista, presencias para la
protagonista, clicks de computador portátil, caídas de objetos sobre superficies de madera, entre
otros. El Foley obtenido fue apoyado también con efectos de librería para lograr sonidos más
realistas que aportaran a la inmersión sonora que se pretendía lograr.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 38
e) Espacialización
El paso final del diseño fue posicionar cada uno de los sonidos dentro del video 360, este
proceso se logró haciendo uso de la herramienta planteada por Facebook, Facebook 360 Spatial
Workstation. El plugin FB360 Spatialiser facilita esta labor ya que permite monitorear el video
360 y posicionar los sonidos directamente sobre él (Figura 10).
Fig. 10. Plugin FB360 Spatialiser.
A las fuentes estéreo se les asignó entrada mediante mixdown en el plugin para convertirlas en
fuentes puntuales y ubicarlas más fácilmente en el video 360, se automatizaron los parámetros
azimut, elevation y distance; se aplicó reverberación tipo Room antes de la espacialización cuando
fue necesario. Los canales que se espacializaron generalmente eran canales auxiliares multicanal
(10 canales) debido a que el FB360 Spatialiser trabaja Ambisonic de segundo orden, entonces
requiere 9 canales para su funcionamiento. Dichos canales especializados fueron ruteados dentro
del DAW Reaper a un master al cual se le asignaba el plugin Control, el cual se muestra en la
Figura 11, éste se encargaba de hacer la decodificación binaural para monitorear la señal con
audífonos.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 39
Fig. 11. Plugin FB360 Control.
Dentro del diseño también fue necesario no espacializar ciertos sonidos, entre ellos la música, la
cual inicialmente trató de espeacializarse pero al ser un sonido no diegético podía generar confusión
al ser espacializado, los canales no espacializados se agruparon en un canal auxiliar estéreo, el cual
al finalizar el diseño de cada escena fue exportado y reproducido de forma independiente dentro
del motor de realidad virtual Unity, a este canal se le asignó un plugin del paquete de Facebook
llamado FB360 Stereo Loudness, encargado de enviar información sobre la sonoridad al canal
master principal, al cual se le asigna otro plugin llamado FB360 Mix Loudness que permite medir
la sonoridad de la mezcla final Figura 12.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 40
Fig. 12. Plugin FB360 Mix Loudness.
Al finalizar el diseño de cada una de las escenas, se exportó de cada una de las sesiones un archivo
B-Format de segundo orden y un canal estéreo, el archivo B-Format fue convertido a B-Format
de primer orden con la aplicación FB360 Encoder que incluye el paquete de Facebook.
Estos dos archivos se asignaron a cada una de las escenas respectivamente en Unity y se
reprodujeron con el SDK ResonanceAudioForUnity del Fabricante Google como se planteó desde
la preproducción.
4) Costos del proyecto
Para la etapa de producción se alquilaron 2 micrófonos lavalier a un precio unitario de
$75.000COP, una grabadora Zoom H6 a un costo de $100.000COP y se hizo la compra del
refrigerio para los participantes por un valor de $50.000COP.
Para el diseño sonoro se utilizaron dos sesiones de grabación siendo un total de 2 horas de grabación
para el foley y 4 horas de grabación para los dialogos en Búho Negro Studio; teniendo en cuenta
que el precio de la hora en el estudio es de $65.000COP, la grabación de foley y dialogos costó
$390.000COP.
La producción musical también se realizó dentro de Búho Negro Studio, dentro de lo paquetes que
ofrece el espacio, se tomó el de Gración, Edición y Mezcla (1 Track, 8 Horas de Grabación), para
un costo de $855.000COP.
Teniendo en cuenta todos los costos anteriores, el precio total del proyecto fue de $1.545.000COP.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 41
Fig. 13. Costos del Proyecto.
VIII. EVALUACIÓN DE HERRAMIENTAS PARA DISEÑO SONORO DE VIDEOS 360
Como objetivo de este trabajo se planteó la realización de una comparación de 2 herramientas para
la producción de sonido inmersivo, se seleccionaron por su accesibilidad, la solución de Facebook,
Facebook 360 Spatial Workstation y el paquete de Waves, 360° Ambisonics. El procedimiento
que se realizó fue el siguiente:
• Se seleccionó el diseño sonoro de una de las escenas previamente editadas, buscando que
incluyera sonidos que pudieran espacializarse con los plugins de Waves; la escena escogida
fue la numero 5.
• Se exportaron stems de cada uno de los canales espacializados en esta escena.
• Se creó una nueva sesión donde fueron importados los stems y se procedió a realizar la
espacialización de cada uno de los canales, con el fin de obtener un archivo B-Format, igual
o similar al obtenido con la espacialización lograda con el plugin de Facebook.
A. Resultados de la comparación
Ambos paquetes funcionan sobre macOS y sobre Windows, requieren para su funcionamiento un
DAW que puede ser Protools o Reaper. Un requerimiento adicional que necesita el paquete
de Waves, es una webcam para que el plugin NX Head Tracker pueda reconocer los movimientos
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 42
de la cabeza y moverse dentro del sonido espacializado. El plugin encargado de la espacialización
en el paquete de Waves es el B360 Encoder, Figura 14, igual que el paquete de Facebook, este
permite recibir sonidos multicanal e integrarlos al ambiente 360.
Fig. 14. Plugin B360 Ambisonics Encoder.
El flujo de trabajo de ambos paquetes es muy similar, la única diferencia es que Waves trabaja
sonido Ambisonic de primer orden, entonces el ruteo al canal master debe hacerse con 4
canales únicamente, el canal master debe tener el plugin NX Virtual Mix Room, Figura 15, el cual
se encarga de decodificar el sonido Ambisonic en binaural para poder monitorear con audífonos.
Fig. 15. Plugin NX Virtual Mix Room.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 43
Otro de los complementos de este paquete es el plugin NX Head Tracker, Figura 16, el cual se
ejecuta automáticamente al colocar sobre el canal master El NX Virtual Mix Room, este se encarga
de enviar información sobre el movimiento de la cabeza del usuario para moverse dentro del campo
360.
Fig. 16. Plugin NX Head Tracker.
Se realizó la automatización de cada uno de los canales espacializados y se obtuvo un sonido
Ambisonic de primer orden, el cual tuvo que ser girado 90 grados en el plano XY para poder
reproducirlo en Unity, el resultado muy similar al obtenido con el paquete de Facebook, la única
dificultad que se presentó, es que el paquete de Waves no permite el monitoreo del video 360,
entonces las automatizaciones, deben hacerse de forma aproximada sin referencia con el video 360.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 44
IX. RESULTADOS
Como resultado se obtuvo un diseño sonoro 360 en Ambisonics (B-Format de primer orden),
adecuado para la implementación dentro de la plataforma Unity.
Se logró proponer una metodología funcional para el diseño sonoro de proyectos audiovisuales en
360, ya que el seguimiento paso a paso, de cada una de sus etapas, garantiza el alcance de objetivos
relacionados con sonido inmersivo.
Se estudió y se comprendió el manejo de los flujos de trabajo necesarios para la implementación
de un diseño sonoro Ambisonic y para la integración de dicho diseño en el entorno de realidad
virtual Unity.
Después de implementar el audio Ambisonics de primer orden, se notó que existía un desfase de
90 grados con respecto a la posición original exportada desde el DAW, probablemente debido a un
error de codificación de la plataforma Unity, o del modo en cómo Unity interpreta el B-Format.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 45
X. CONCLUSIONES
Luego de realizados cada uno de los pasos propuestos en la metodología se logra un producto final
acorde a lo esperado, ya que apoya desde el sonido, la experiencia inmersiva y todas las sensaciones
que se pretendían transmitir desde el planteamiento del proyecto.
La realización de maquetas musicales desde la etapa de preproducción, garantiza un resultado final
acorde a los objetivos planteados.
Para este tipo de diseño sonoro funciona de mejor manera el plugin de Facebook, Facebook Spatial
Workstation, pues permite realizar el monitoreo del video 360 en tiempo real, mientras que el
plugin de Waves no.
Con la intención de resolver el problema del desfase de 90º que realiza Unity a la hora de
implementar el audio Ambisonics, este se movió 90º en el plano XY desde el DAW antes de
exportar el archivo B-Format final.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 46
REFERENCIAS
[1] M. Schmidt, S. Schwartz, and J. Larsen, “Interactive 3-D audio: Enhancing awareness of
details in Immersive soundscapes?,” in Audio Engineering Society Convention 133, 2012.
[2] R. Oldfield, B. Shirley, and J. Spille, “An object-based audio system for interactive
broadcasting,” in Audio Engineering Society Convention 137, 2014.
[3] Y. Lasorsa and J. Lemordant, “An Interactive audio system for mobiles,” in 127th AES
Convention, 2009.
[4] S. Fueg, A. Hoelzer, C. Borss, C. Ertel, M. Kratschmer, and J. Plogsties, “Design, coding
and processing of metadata for object-based interactive audio,” in Audio Engineering
Society Convention 137, 2014.
[5] H. Wittek and G. Theile, “Development and application of a stereophonic multichannel
recording technique for 3D Audio and VR,” in Audio Engineering Society Convention 143,
2017.
[6] J. Susal, K. Krauss, N. Tsingos, and M. Altman, “Immersive audio for VR,” in Audio
Engineering Society Conference: 2016 AES International Conference on Audio for Virtual
and Augmented Reality, 2016.
[7] E. Benjamin, A. Heller, and R. Lee, “Why ambisonics does work,” in Audio Engineering
Society Convention 129, 2010.
[8] M. Frank, F. Zotter, and A. Sontacchi, “Producing 3D audio in ambisonics,” in Audio
Engineering Society Conference: 57th International Conference: The Future of Audio
Entertainment Technology–Cinema, Television and the Internet, 2015.
[9] N. Tsingos, P. Govindaraju, C. Zhou, and A. Nadkarni, “XY-stereo papture and up-
conversion for virtual reality,” in Audio Engineering Society Conference: 2016 AES
International Conference on Audio for Virtual and Augmented Reality, 2016.
[10] M. A. Gerzon, “Principles of Quadraphonic Recording (in Two Parts),” Stud. Sound, vol.
25, no. 10, 1970.
[11] M. A. Gerzon, “Ambisonics. Part Two: Studio Techniques,” Stud. sound, vol. 17, no. 8, pp.
24–26, 1975.
[12] P. Fellgett, “Ambisonics. Part One: General System Description,” Stud. Sound, vol. 17, no.
DISEÑO SONORO AMBISONICS PARA UNA NARRATIVA AUDIOVISUAL EN VIDEO 360 INTEGRADO A UN AMBIENTE DE REALIDAD VIRTUAL 47
8, pp. 20–22, 1975.
[13] M. A. Gerzon and G. J. Barton, “Ambisonic surround-sound mixing for multitrack studios,”
in Audio Engineering Society Conference: 2nd International Conference: The Art and
Technology of Recording, 1984.
[14] D. Perez, “El inventor olvidado que pudo cambiar la historia de la música con la holofonía,”
2014. .
[15] J.-M. Jot and Z. Fejzo, “Beyond surround sound-creation, coding and reproduction of 3-D
audio soundtracks,” in Audio Engineering Society Convention 131, 2011.
[16] Discovery, “Mega Coaster: Get Ready for the Drop (360 Video),” 2016. [Online]. Available:
https://www.youtube.com/watch?v=-xNN-bJQ4vI.
[17] M. Neukom, “Decoding second order ambisonics to 5.1 surround systems,” in Audio
Engineering Society Convention 121, 2006.
[18] H. Lee, “Capturing and rendering 360o VR audio using cardioid microphones,” in Audio
Engineering Society Conference: 2016 AES International Conference on Audio for Virtual
and Augmented Reality, 2016.
[19] D. Kompas, “Prostorový zvuk pro potřeby virtuální reality v audiovizuálních dílech,” 2017.
[20] R. Diaz and T. Koch, “Live panorama and 3D audio streaming to mobile VR,” in Audio
Engineering Society Conference: 2016 AES International Conference on Headphone
Technology, 2016.
[21] J. Y. Hong, J. He, B. Lam, R. Gupta, and W.-S. Gan, “Spatial Audio for Soundscape Design:
Recording and Reproduction,” Appl. Sci., vol. 7, no. 6, p. 627, 2017.
[22] M. Chion, La audiovisión. Introducción a un análisis de la imagen y el sonido. 1993.
[23] P. G. Parera, “Espacialización sonora con Wavefield Synthesis y Vector Base Amplitude
Panning. Estudio comparativo.” 2013.
[24] D. Malham, “Higher order ambisonic systems,” (Tesis doctoral en Mphil) University of
York, 2003.
[25] F. Hollerweger, “An introduction to higher order ambisonic,” 2005. [Online]. Available:
https://semanticscholar.org/40b6/8e33d74953b9d9fe1b7cf50368db492c898c.pdf.
[26] RTVC, Manual General de Producción. Bogotá, 2009.
Recommended