Nombre 1 / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

with in/visible hidden noise Instalación interactiva multimedia

Descripción

Consiste en una experiencia que explora la conexión entre el sentido del tacto y el oído, la creación sonora a través de la intuición, la sinestesia y las formas de las ondas sonoras.

Palabras Clave

Interacción, sinestesia, Arduino, makey makey, instalación audiovisual, Duchamp.

Introducción

Al asistir al seminario de José Maldonado(CRAASSSHHHHH…..), entre muchas de las cosas que se discutieron, se me quedó una inquietud dentro de mi. En el arte y la comunicación audiovisual, siempre parece ser que la imagen tiene una veneración y merito total.

Esto da importancia solo a uno de los sentidos: la vista. ¿Qué pasa con los otros cuatro?

Esto me dio pie a la idea de la pieza. Quise crear algo que permita crear una experiencia que involucre el tacto y el sonido, desestimando lo mas posible la vista.

Elementos como el misterio, el azar, la intriga y la imaginación son importantes en mi obra. El trabajo de Marcel Duchamp “with hidden noise” fue uno de los pilares conceptuales, porque me interesó mucho la idea de la incertidumbre del objeto en si, pero al mismo tiempo involucrar la interacción con el mismo.

La incertidumbre de lo que yace dentro de la caja es algo sumamente inquietante para mi. Hasta cierto punto, el objeto no es tan importante, ya que el sonido en si sublima ese posible objeto….como dijo el Sr. Duchamp mismo, podría ser una moneda o un diamante….pero al final, suenan igual ¿no?

Tomando estas cosas en consideración, me emocionó mucho la idea cuando me surgió y la encontré como una excelente

manera de poner en practica mis nuevos conocimientos en computación física y código. Esto me permitiría hacer una cuasi-interpretación digital de la escultura de Duchamp, agregando mis propios criterios, mi visión, mi personalidad y mis propios caprichos (los objetos que elegí para mi obra, fueron elegidos de manera caprichosa…fui al rastro y lo que me encontrará interesante lo compraba)

En este trabajo también hice un tributo a las ondas básicas de los osciladores: la onda cuadrada, diente de sierra, sinusoidal y por último el ruido. Estas 4 ondas sirven como base en la creación de sintetizadores tanto análogos como digitales. Son los elementos básicos de la síntesis. También son de mis sonidos favoritos porque son crudos, limpios y sencillos.

Antecedentes

Reunion por John Cage. (Fig.1)

Performance audiovisual basado en el juego del ajedrez. Los jugadores (entre ellos Marcel Duchamp y su esposa Teeny, además del mismo Cage) utilizaron un tablero alterado, con una fotorresistencia instalada en cada cuadro. Al desplazar las piezas sobre la superficie de juego, se disparaban diferentes piezas de música, e imágenes de un osciloscopio en un televisor.

Reactable por Sergi Jordà, Marcos Alonso, Martin Kaltenbrunner y Günter Geiger. (Fig.2)

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

Una traducción visual, táctil y ergonómica, accesible para cualquier persona, que convierte el proceso de producción musical en algo totalmente lúdico y pragmático.

Una mesa con una pantalla táctil sirve como secuenciador y varios objetos que se ponen encima de ella funcionan como sintetizadores o samplers.

Fig.2

Microphones por Rafael Lozano-Hemmer (Fig.3)

Instalación sonora que depende totalmente del usuario para producir contenido. Consiste en varios micrófonos que graban lo que dice uno de los usuarios y luego lo reproduce al recibir una nueva entrada de sonido. Da posibilidades de jugar a un “cadáver exquisito” o sencillamente divertirse un poco.

Fig.3

With hidden noise por Marcel Duchamp(Fig.4)

Inspiración principal para esta pieza. Este ready-made es una pequeña caja con un objeto desconocido dentro. Al moverse la caja el objeto suena. Duchamp le pidió a su amigo Walter Arensberg que introdujera el

objeto dentro sin informarle a nadie de su contenido.

Fig.4

Descripción

El usuario se encuentra con una caja, con un orificio para entrar la mano. No se ven los contenidos de la caja, el orificio está hecho para que esconda su contenido a la vista. Al entrar la mano, siente varios objetos dentro de la caja, que reaccionan al tacto de diferentes maneras, generando sonido e imágenes.

Componentes utilizados y detalles de la construccion

Utilicé los siguientes componentes:

- Arduino Duemilanove - MaKey MaKey (un

microcontrolador que funciona como un teclado intervenido. Te permite conectar cables a cualquier objeto conductor, para que ese objeto sirva como una tecla del teclado al ser tocado.)

- Cables de electrónica - Una caja de cartón - 4 objetos de metal - Una azucarera de cobre - Sensor LDR - Sensor infrarrojo Sharp - Una peana - Ordenador - Altavoces - Proyector - Soldador, cortador de cables, etc..

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

Para la programación utilicé Arduino con la librería Firmata. Para la imagen, Processing con la librería para Arduino y OscP5(Librería OSC). Para sonido, PureData usando protocolo Osc para recibir valores desde Processing.

La obra consiste en una caja de cartón, con un orificio en la parte de arriba, que sirve para meter la mano en la caja.

Dentro de la caja hay 4 objetos metálicos (digamos indefinidos) que tienen contactos soldados con cables, que van hacia un MaKey MaKey.

Cada objeto tiene un cable que va hacia una de las entradas de teclas en el MaKey MaKey, de manera que al tocar cada objeto con la mano, se activa una tecla en el ordenador. Esto tendrá utilidad al momento de hacer el código. También, dentro de la caja hay un sensor Infra rojo instalado, que arrojara datos de la posición de la mano del usuario dentro de la caja. El sensor Infra rojo va hacia el Arduino.

Uno de los inconvenientes que tiene el MaKey MaKey, es que necesita que alguien lo toque constantemente para hacer tierra, si no, no funciona. Para solucionar esto, utilicé una azucarera(con tapa), la

cual lijé para poder soldarle un cable de GND que va hacia el MaKey MaKey. Esto convierte la azucarera completa en tierra, el usuario debe tocar la azucarera para que los objetos de la caja funcionen.

Adicional a esto, dentro de la azucarera (que lleva tapa), se encuentra un sensor LDR, que manda valores diferentes dependiendo de la luz que recibe (tomar en cuenta que como el LDR se encuentra dentro de la azucarera, cuando tiene la tapa puesta el LDR manda ciertos valores, cuando la tapa se quita manda otros valores diferentes)*

Para conectar el sensor LDR(que es bipolar), compartí el GND del MaKey MaKey con el sensor para darle la carga negativa y le instalé una funda termoretractiva a la patita de carga positiva, para que no tocara la azucarera(ya que la azucarera es conductiva y rompería todo el circuito si se tocaran)

Ver Fig. 5

*Usé el LDR en la primera versión de esta pieza, en la mas reciente ya no lo uso.

Proceso Físico

1. Lijé la azucarera para soldarle el cable GND.

2. Con el dremmel, le hice un orificio a la azucarera, para insertar el LDR.

3. Le puse la funda termorretráctil a la pata positiva del LDR y le soldé la pata negativa a la azucarera. El LDR está instalado.

4. Le soldé los cables de contacto a los objetos metálicos que van en el interior de la caja.

5. Instalé el sensor infrarrojo en el interior de la caja.

6. Hice varios orificios en la peana y en la caja para que todos los cableados queden por dentro de la peana.

7. Fijé la caja a la peana. 8. Pasé todos los cableados por la

peana. Procedí a conectar el Arduino y MaKey MaKey al ordenador.

Proceso Informático

Ver 0.5

1. Subí el script FirmataStandard al Arduino, para poder trabajar con el Arduino desde Processing. Cargué mi sketch en Processing, cargando la librería de Arduino.

2. Usando la librería beads en Processing, cree varios objetos de sonido.

3. Cree 4 osciladores, cada uno con una forma de onda diferente (Cuadrada, Sinusoidal, Ruido y Diente de Sierra)

4. Cada oscilador está asignado a uno de los objetos metálicos. Los objetos sirven como “teclas de piano”, cuando se tocan se activan

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

y cuando se sueltan se desactiva el sonido. Gracias al MaKey MaKey, cuando se toca un objeto, el ordenador reconoce el tacto como apretar la “w”,”s”, o cualquier otra letra. Solo tuve que agregar una función keyPressed y keyReleased para lograr esto. Utilicé las teclas w,a,s y d.

5. La frecuencia en Hz esta controlada por el sensor infrarrojo, dependiendo de la posición de la mano dentro de la caja, se altera el sonido del oscilador en tiempo real.

6. Cree un reproductor de muestras, que reproduce un fichero de sonido.

7. Este fichero de sonido se activa a través de una condicional que implementa los valores recibidos del LDR. Calibré los valores para luz y oscuridad del LDR. Cuando los valores son de oscuridad el reproductor no hace nada, cuando es luz se activa el reproductor con un bucle de sonido.

En esta primera versión, todo era muy crudo y la librería de Beads deja mucho que desear, ya que es un poco lenta y espesa, con mucha latencia en la interacción. Todo se hacia con el Processing.

Ver 0.7

1. El primer paso es igual, usé la librería de Firmata de Arduino para usarlo con el Processing. Cargué mi sketch en Processing, cargando la librería de Arduino.

2. Implementé elementos gráficos que irán proyectados justo encima de la caja. Estos gráficos van en Processing y se activan presionando las mismas teclas(w,a,s,d) (usan un keyPressed en el draw, ya que son animados y deben ir en loop continuamente mientras esté presionada la tecla) Cada gráfico va alineado conceptualmente acorde a la onda sonora a la cual acompaña. El gráfico de la onda cuadrada es una repetición al azar de cuadrados, el de la onda sinusoidal una repetición de curvas bezier, el diente de sierra un gráfico

generado a partir de triangulos que incrementan en tamaño, el noise es una lluvia de puntos.

3. Creé un patch en PureData(Fig.6) usando el mismo concepto para el sonido que la versión anterior. El patch contiene 4 objetos de sonido, cada uno con una onda diferente (Cuadrada, Sinusoidal, Ruido y Diente de Sierra). El patch tiene varios detalles que le permite tener un sonido mas fluido y rico (los objetos line que permiten hacer glissandos, fundidos, un objeto para el reverb y la calidad sonora en general que tiene el software) Por lo tanto, ya no uso la librería beads, todo el audio va por PureData.

4. Agregué la librería OscP5 a mi sketch de Processing, para que se comunique con Pure Data. Así, Processing manda un mensaje a PureData cada vez que se presiona una de las teclas w,a,s,d para que active uno de los objetos de audio. También, usando el Osc le envío al patch de PD los valores del sensor infrarrojo para que module la frecuencia en Hz de mis ondas. Al final, el Processing es el actor principal, el PD solo recibe valores y reproduce sonido.

Esta versión esta mucho mas pulida, no solo por los gráficos, los cuales le agregan mucha mas riqueza y dialogo a la pieza, si no, porque al usar PureData el sonido es de mucha mas calidad. Lo que hace posible unir el Processing y el PureData de una manera tan fluida es el protocolo Osc…lo cual me permitió usar el Arduino solo en el Processing y mandar los valores al PD desde ahí. Al final el flujo de los programas sería así:

Arduino(Librería Firmata) -> Processing (Librería Arduino y OscP5) -> PureData(Protocolo OSC)

Análisis de interactividad/reactividad (Fig.7)

Mas que interactivo, esta instalación es reactiva, ya que la generación de la pieza depende siempre del último mensaje(o interacción) que recibe. El usuario actúa

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

sobre la pieza y ella reacciona cada vez de una forma predeterminada, no hay un verdadero intercambio en la pieza. Bastante convencional a nivel tecnológico.

Sin embargo, hay factores emocionales y humanos que inciden en la experiencia: el desconocimiento y la separación de la vista de los objetos que se tocan, lo cual estimula o desanima por completo la exploración de la pieza (se de personas que negaron meter la mano en la caja por miedo a sus contenidos). El factor humano lo cual hace que el resultado sea totalmente al azar y diferente cada vez….este es el único y verdadero objeto “random” que puede haber.

Estos dos últimos elementos le agregan una profundidad al dialogo entre la maquina y el humano, a pesar de que sean intangibles y prácticamente incuantificable. Al mismo tiempo, estas cosas le permiten al usuario ser autor de la obra. La posición de la mano, el objeto que se toca, cuando se toca, hace que sea virtualmente imposible reproducir el mismo resultado dos veces, a nivel de imagen y sonido, creando una pieza única cada vez. No solo eso, sino que al terminar la interacción, la imagen se queda estática en el ultimo segundo donde hubo alguna intervención del usuario. Se puede interpretar como una pintura digital, un gráfico reactivo o un ejercicio lúdico/estético.

Conclusiones

Aparte de todos los tecnicismos y novedades que pueda acarrear el análisis de esta pieza, creo que lo mas importante es destacar dos elementos que no tienen nada que ver, pero que sin embargo son los que respaldan la ejecución totalmente y hacen que sea una experiencia variada

para cada persona: la sorpresa y lo inconvencional.

Los dispositivos tecnológicos móviles mas populares se distinguen porque combinan el tacto y la visión con fluidez y estilo(usando el sonido como añadido a esa experiencia, no como parte fundamental).

Creando una interface física digital donde se elimina una de las salidas y/o entradas(ya sea la pantalla táctil o botones visibles) se pueden hacer apreciaciones y reflexiones sobre la peculiaridad de los sentidos humanos y de los modos en los cuales interactuamos con los ordenadores.

Por otra parte, re-afirmo como los conceptos y las ideas son la herramienta mas potentes que tiene un artista y no la tecnología que pueda utilizar. Es sumamente interesante la re-lectura que este trabajo nos puede dar de diferentes predecesores artísticos(tales como Duchamp)

Finalmente, como ejercicio de aprendizaje para la clase, ha sido una excelente elección el ejecutar este proyecto, ya que he practicado multitud de cosas que me serán útil en un futuro, inclusive algunas que ni tenia planeadas ver, pero por necesidad me vi obligado a buscarlas.

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

Fig. 5

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

Fig. 6

Julio Sosa / 2014  

Master de Artes Visuales y Multimedia / Universidad Politécnica de Valencia  

Fig. 7