Neu

ro

FILM

Subtitulo H2DOCUMENTO DE

DISEÑOCesar González Franco

1

- El audiovisual interactivo debe estar desarrollado bajo una base de datos que guarde una r eferencia a una emoción (dato) para que puedan ser reutilizadas por el algoritmo que controla la narración usando como base las emociones sentidas por el usuario.

- Poder crear emociones en el usuario para poder generar diferentes direcciones narrativas en la cual se desenvuelva la historia.

- El espacio donde debe ser mostrado debe estar aislado de otros factores que sean d iferentes al audiovisual para que no haya contaminación emocional ni distracciones.

DETERMINANTES

REFERENCIAS

Kiel LongMind Pool Interactive installation 2010

Otra obra que t ambién u tiliza EEG es “MindPool” de K iel Long p resentada e n 2010. Esta obra capta las ondas neurales para crear sonidos y esculturas de agua dependiendo de la intensidad d e estas, hay que t ener m uy c laro que ondas neurales n o significa que s e estén captando emociones, simplemente ondas.

EMO-Synth at expo SPOTLIGHTS | emotion driven music generator

“EMO-Synth” c reado por Valery Vermeulen en 2010, es una obra que capta las emociones de los usuarios a través d e un d ispositivo EEG. Esta obra es u n software el cual r eproduce información v isual para generar emociones en el espectador y esa estas para que sonido que se genera lo sea a partir de las emociones del usuario.

2

Future Cinema | Z KM ( Center f or A rt and Media, Karlsruhe) |Por otro lado podemos ver como Lev Manovich intenta darle este carácter narrativo a las bases de datos con su obra “softcinema” en 2002. Esta obra consiste en p royecciones generadas por computador e n un espacio donde e l usuario puede sentarse y ver l o que sucede e n la pantalla. Fue u n trabajo en colectivo del cual Lev M anovich hacía parte, en este se mesclaban conceptos como las bases de datos y niveles de información.

co-authors: Mattia Casalegno and Enzo Varriale ( LanVideoSource ) produced by iMAL for the Media Facade Festival Europe 2010 w ith t he support of E uropean Commission Culture Programme, French S peaking C ommunity o f Belgium (digital art commission)

‘Staalhemel’ at a rts centre S TUK in Leuven, Belgium.

Un ejemplo de lo que digo anteriormente es la obra “Staalhemel” que significa Steel Sky. Esta obra fue creada por STUK en 2009. Consiste en un espacio donde hay d ispuestas e n el t echo una matriz de cuadros de metal, cada cuadro de metal es d e alrededor d e 1 metro de l argo y encima d e ellos hay una r epetidora (máquina que l e pega a l a placa de metal para generar sonido) además de una goma que apaga e l sonido hecho por la placa de metal y la máquina repetidora.

Esta alternativa de diseño nace como una evolución de las anteriores alternativas, tomando en cuenta tanto los contenidos y el desarrollo del argumento; para este último se revisó las obras que se encuentran en el estado del arte.

- Metodología

Para llegar a esta propuesta de diseño primero se hizo una investigación sobre elementos sonoros y visuales que i ndujeran e mociones e n los humanos. S e encontraron las siguientes investigaciones:

- El Sistema Internacional de Sonidos Afectivos (IADS)- Sistema Internacional de Imagenes Afectivas (IAPS)- Emotion elicitation using films, A revised film set for the induction of basic emotions- Relationship between color and emotion

Tomando en cuenta estos estudios se adquirieron las bases para el diseño del sistema tanto en colorimetría, sonidos que deben ser usados e imágenes (Films - películas).

De estas investigaciones hay analizadas diferentes películas y escenas de las cuales según una metodología explicada e n estos m ismos los investigadores d ilucidaron que t ipo de e moción causaba el film; esto mismo sucedió con los sonidos y con los colores. Luego de tener estos datos asociados a una emoción particular dispuso a crear una alternativa de diseño que respondiera a la pregunta de investigación y a sus determinantes. El resultado es una alternativa de juega con la idea de captar las emociones del usuario como único input y reorganizar los contenidos para poder convertirlas en un “Neuro Film”.

En esta alternativa de diseño se ha descartado la creación de una historia narrativa debido a que hay otras posibilidades creativas que pueden ser exploradas, esta alternativa propone la creación de un “Neuro Film” en tiempo real guiado por e l usuario basándose en contenido predefinidos mostrando así más flexibilidad en la conformación de las secuencia de los h ilos narrativos del audiovisual “Neuro Film” a través de sus emociones y dotando al resultado de unicidad.

Los contenidos que se usarán para esta obra se encuentran estudiados en “Emotion elicitation using films, A revised film set for the induction of basic emotions”, de estos se escogieron:

- On golden pond- An officer and a gentleman- When Harry met Sally- The last emperor- Cry freedom- My Bodyguard- Halloween- Marathon man

- Crimes and misdemeanors - All the president’s man- Gandhi- Witness- The Champ- The killing fields- The silence of the lambs

3

PROPUESTA DE DISEÑO

La descripción de esta alternativa se va ubicar en la posición del usuario y de cómo este debe interactuar con ella.

Primero el usuario se pone el dispositivo que capta las ondas neurales (EMOTIV EPOC Neuro-headset) en la cabeza y este estará captando constantemente las ondas neurales del usuario, el usuario podrá saber que esto es así debido a que la aplicación cuenta con una casilla en la cual se muestran las emociones que está sintiendo, estas emociones son: la Ira, el miedo, la tristeza y la alegría. Así pues el usuario al conectarse al dispositivo va a tener una retroalimentación gráfica en forma de barras horizontales que le indicará que emoción que tiene preponderancia y también si el dispositivo está captando las señales de su cerebro.

Luego de superado este paso el usuario podrá ver una biblioteca de contenidos que contiene videos y sonidos en forma de thumbnails con la cual no puede interactuar, solo podrá reconocer el contenido y como este es usado.

Ahora bien, el usuario tiene en la aplicación una casilla de video y otra casilla con el botón de play y a su lado un campo en el cual se le indica que debe introducir un nombre a su video (el cual es obligatorio), cuando ha puesto el nombre del video el botón de play puede ser activado y así comenzar la película “Neuro-Film”.

Al presionar este botón el usuario verá como los contenidos que están en la biblioteca de medios es seleccionado para ser usado en el “Neuro Film”; estos contenidos están en unas bases de datos las cuales disgregan el contenido de la siguiente manera: Estas base contendrá escenas de películas, estos contenidos estarán clasificados según la emoción que producen, sean estas las dichas anteriormente: Ira, miedo, tristeza y alegría.

Con estos elementos se construirá un “Neuro Film” según la emoción preponderante en ese momento, así pues las escenas de los filmes clasificados bajo esta emoción serán usados aleatoriamente para crear el “Neuro Film”, en el momento que haya otra emoción la cual tome relevancia por encima de las otras (la cual es captada por el EMOTIV EPOC Neuro-headset) el algoritmo encargado de crear el “Neuro Film” sabrá que debe usar contenidos que estén clasificados según la emoción sentida por el usuario en ese preciso momento. Este “Neuro Film” tiene una duración de 5 minutos y el usuario tiene la posibilidad de construir el “Neuro Film” enteramente de una sola emoción o desde el punto en que desee hacerlo, así pues debe sentir la emoción y en el momento en que la emoción deseada por el usuario esté por encima de las otras puede seleccionar en el medidor emocional un candado que recuerde la emoción y así no tener que preocuparse por sentir otras emociones, luego de esto puede volver a comenzar el video y este se creará según esa emoción sentida hasta cuando él lo desee o hasta el final del “Neuro Film”.

Luego de que el video llega a su fin, el usuario recibirá un link con la URL donde puede encontrar el video (en este caso en una página de youtube) y el link se enviará al mail (opcionalmente).

4

DESCRIPCIÓN DE LA ALTERNATIVA DE DISEÑO

Los factores de innovación que podemos encontrar en este proyecto se pueden ver en diferentes ámbitos, uno de ellos es la construcción de los hilos narrativos de un “Neuro Film” por medio de las emociones del usuario.

Podemos darle el poder al usuario de controlar a través de sus emociones los hilos narrativos del los filmes basándonos e n conceptos d e Lev M anovich, G eorge P . Landow y l a electroencefalografía.

El uso de la electroencefalografía está siendo explorados por diferentes artistas actualmente por diferentes colectivos, escuelas de arte y artistas individuales entre los cuales se encuentra STUK, Keil Long entre otros.

Este p royecto presenta una g ran innovación g racias a que s e captarán l as e mociones d e un usuario y se usarán para reorganizar un contenido preestablecido según esta emoción captada dando paso así a las interacciones emocionales para la construcción de un “Neuro Film”. En otras palabras computación afectiva.

Se hace una aclaración en la cual van a haber pantallazos iniciales donde se le indica cómo usar al usuario la aplicación:

1. El usuario entra al inicio de la aplicación donde se le instruye del funcionamiento de la aplicación.

2. Al finalizar esta instrucción el usuario se conecta al dispositivo EMOTIV EPOC y se cerciora de que esté correctamente puesto.

3. Luego en la aplicación encontrará una plantilla con los siguientes campos:a. Medidor de emociones.b. Biblioteca de medios (archivos utilizados para la creación del video).c. Área de visualización del video.d. Área de comandos para el inicio de la aplicación.

4. El usuario confirmará visualmente si el dispositivo EMOTIV EPOC Neuro-headset está funcionando correctamente gracias a los indicadores gráficos (barras horizontales) tienen actividad y están indicando que emociones está sintiendo en ese momento.

5. Luego de que el usuario está listo puede ver la biblioteca de medios con la información que está contenida en las bases de datos y la cual va a ser usada.

6. Luego de esto el usuario deberá introducir un nombre para el video para que pueda activar el botón de play de la aplicación y visualizar el video.

7. Luego de que ha presionado el botón de play de la aplicación se verá como el contenido en la biblioteca de medios es seleccionado y utilizado para construir el video en tiempo real. El video durará 3 escenas exactamente y estará construido con los contenidos en las bases de datos.donde se había parado.

5

FACTORES DE INNOVACIÓN

FUNCIONAMIENTO

8. E n cualquier momento el usuario puede parar el video y decidir sobre que emoción debe construir el video en adelante o si desea que solo sea sobre una emoción en particular, para lograr esto el usuario debe:

a. P arar el video en cualquier momento o sentir una emoción desde antes de comenzar el video. b. Luego de sentida la emoción y mientras retiene ese estado emocional debe p resionar un candado que se encuentra en el medidor emocional para dejar l a emoción fija. c. C omenzar o darle play al video para que comience desde el comienzo o desde el lugar donde se había parado.

9. Luego de que el video finaliza será enviado a una página en youtube donde estarán todos los videos realizados por los usuarios, además se le dará a este un URL con la ruta para encontrar su video y así mismo una opción para compartir su video en redes sociales.

Al comenzar la aplicación se le mostrará al usuario una guía rápida de cómo debe ser usada la aplicación que está a punto de utilizar. #1: Se le muestra al usuario los pasos necesarios para poder usarla, de tal manera en la cual vea para que sirve cada objeto que está dentro de la interfaz del usuario y no se sienta peridio.

6

SECUENCIA DE USO

#2: Cuando el usuario termina de leer las instrucciones y pulsa el botón de ir a la aplicación y se le muestra 6 elementos: El medidor emocional, la biblioteca de medios, el área de video, área de nombre del video, botón de play.

7

#2.1 Medidor de emociones.

Este medidor de emociones mostrará que emoción es la preponderante en cualquier momento del uso de la aplicación, además de esto tendrá una opción de bloqueo de estado en el cual se puede guardar las emociones sentidas en determinado momento hasta que e l usuario lo desee, este medidor de emociones cuenta con 4 emociones y sus respectivas barras horizontales y un botón de candado el cual puede ser usado por el usuario.

Al presionar el botón de emoción única se recordará el estado en el que estén las emociones en ese instante.

#2.2 Biblioteca de medios.

Esta biblioteca de medios es una visualización del contenido que está en las bases de datos de la aplicación, e s un r ecurso que s e le d a al usuario para que note que contenido está siendo usado. Esta biblioteca mostrará los fimls que hay e n la base d e datos, estoss se mostrarán en forma de thumbnails.

Luego d e que e l usuario decide comenzar a usar l a aplicación s e podrá visualizar que contenido está siendo usado debido a que se indicará resaltándolo, cuando este contenido ya ha sido usado será sombreado y cuando no lo ha hecho estará normal, con s u opacidad en 100%. Que el contenido haya s ido usado no quiere decir que no pueda volver a ser usado otra vez por el algoritmo.

8

#2.3 Área del video

El área donde se visualizará el video está compuesta por el contenido que será usado (clips de video y sonidos). Esta tendrá una barra de progreso, esta barra de progreso tendrá indicadores de 0:00 segundos hasta 1:00 minuto (que es lo que dura el video) además se podrá visualizar con colores que tipo de emoción ha sido preponderante durante un espacio de tiempo ya que la barra adquirirá el color asignado a cada emoción durante el periodo de tiempo que se ha sentido y así mismo se coloreará.

#2.4 Botones y áreas necesarias para la operación de la aplicación

9

10

INTERFAZ

11

12

Los determinantes y requerimientos para diseñar un sistema que permita generar una experiencia innovadora usando l as e mociones como mecanismo de selección d e los hilos narrativos hipermedia de un audiovisual interactivo son los siguientes:

- Técnicos

1. La aplicación puede ser realizada en el lenguaje de programación C#, .Net integrando las librerías Google.GDData.client.dll, Google.GData.Extensions.dll, Google.GData.Youtube.dll

2. Antes de usar la aplicación es necesario calibrar las emociones del usuario para que esta pueda ser usada correctamente.

3. Las emociones son calibradas gracias a videos que inducen emociones.

- Funcionales

1. La interacción debe ser eficaz y sencilla para evitar confusiones.2. No estimular al usuario para que sus emociones lleguen sin contaminación.3. La aplicación debe tener instrucciones para poder guiar al usuario antes de que le de uso

a esta.

- De uso

1. Debe permitir la interacción adecuada del usuario, para que este pueda concentrarse más fácilmente en la actividad, se debe pensar en que debe ser sencillo para que no genere ningún tipo de emoción que afecte al usuario al usar la aplicación.

2. La aplicación debe tener pocas interacciones para que el usuario pueda concentrarse en el contenido y en su desarrollo.

3. Puede usarlo cualquier persona de cualquier edad.

- Formales

1. Debe generar un ambiente neutral donde ninguna emoción sea producida gracias a la interacción con la aplicación.

El usuario para el cual está pensado esta instalación es una persona que no está familiarizada con la computación a fectiva, por eso m ismo s e planteó i ncluir en e l diseño d e la aplicación l as instrucciones para que la curva de aprendizaje del uso de la aplicación sea más alta haciendo así que el usuario pueda manejar con más confianza la aplicación. Además de esto se planteó una interfaz neutral con colores que no afecten mucho la respuesta emocional del usuario así como también se hizo lo posible porque el número de “clicks” que se necesitan para que la aplicación funcione sea el mínimo con el objetivo de evitar la frustración en el usuario.

13

MATRIZ DE REQUERIMIENTOS, OBLIGACIONES Y RESTRICCIONES

MATRIZ DE REQUERIMIENTOS, OBLIGACIONES Y RESTRICCIONES

Es necesario realizar una calibración con cada usuario que vaya a usar la aplicación debido a restricciones técnicas de la interfaz “Emotiv EPOC Neuroheadset”. Este dispositivo es muy bueno reconociendo expresiones f aciales, pensamientos y ondas neurales, t anto así que f ingir una sonrisa no se reconoce como una emoción de felicidad debido a que diferentes partes del cerebro controlan los músculos faciales.

“Neurological studies indicate that true emotions follow their own special path to the motor system.” (Picard, 2000)

Es por eso que cada usuario debe tener su propio perfil con su forma de sentir las emociones para que el “Neuro Film” pueda funcionar.

La obra va a estar expuesta en un espacio sobrio, va a haber un monitor (televisor LCD) pegado en la pared a la altura de una silla donde irá sentado el usuario de “Neuro Film”; además de esto el equipo necesario para el funcionamiento de este estará dispuesto en un prisma rectangular que estará cerca d e la s illa donde s e encuentra e l usuario ( Este equipo e s el EMOTIV EPOC Neuro-headset); también habrá un pc donde estará montado el código de la obra con todos sus elementos necesarios. Este modelo está pensado para que no haya factores externos los cuales influyan en como el usuario siente a través de la interacción con la obra.

14

PLANOS TÉCNICOS (del espacio, como va a estar dispuesta la obra)

15

ERGONOMÍA

El espacio que hemos definido para el uso de la obra está ligado a como una persona experimenta una película en una habitación, por lo general las personas tienden a ubicar su cabeza a la altura del televisor. Obviaremos el computador de escritorio y la lámpara debido a que el usuario no tiene relación directa con estos.

Como podemos ver en el esquema de abajo, l a altura de la s illa habrá un p risma rectangular donde estará puesto el “Emotiv EPOC Neuroheadset” para que el usuario pueda ponérselo.

17

La d istancia de l a silla a l televisor L CD será de m ás d e un m etro para que e l usuario pueda sentirse cómodo y no tenga molestias visuales y pueda disfrutar de la experiencia.

La altura de la cabeza del usuario estará alineada con el centro del televisor para que no tenga cansancio en el cuello.

Subtitulo H2

GRACIASCesar González Franco