porJordi Alonso

42ª edición del SIGGRAPH en el Convention Center de Los Angeles

Esta edición ha contado con 14.800 participantes provenientes de 70 países. De los 432 papersenviados sólo 82 han sido aceptados (19%), 2 puntos por debajo del promedio histórico del 21%.

Día 1CursosLas herramientas de producción y el lenguaje deben adaptarse al nuevo medio que es la VR. El storyboard trandicional no funciona siempre, aunque sí el concept art.En el pipeline, Unreal Engine sustituye a renderman, y los tiempos de render pasan de11h por frame a 11ms. El modelado y rigging también tienen que adaptarse a los nuevostiempos de render en tiempo real y a los frame rates de 90fps.Algunos efectos como los caustics o el pelo, son un gran desafío en VR.Los shaders o la GI sólo se habilitan cuando son estrictamente necesarios, y condicionana que se deshabiliten otras cosas.Un consejo es que no hay que optimizar demasiado pronto.En un futuro inmediato, habrá que hacer paint, animación e iluminación directamente enVR. Hay una predilección por usar Unreal Engine como motor de render, al tener unasmejores prestaciones y ser open source, frente a otras tecnologías como Unity, que sobretodo se usa en profiling.

Production sessionsInsideOutEl ponente de Pixar estuvo explicando de forma detallada la secuencia cubista:-Modelado: justo al entrar los personajes en la zona empiezan a apreciar formas muy simples.Estaban inspiradas en el arte de Joan Miró para ir pasando a otros estilos de otros artistascomo Kandisnsky, Dalí o Picasso.-Estructura de cámara:Lenguaje de cámara para indicar si estábamos Inside (mente) o Out (mundo real).Modelaron la distorsión de las lentes ultra primes y Cooke S4 para la película.Foco (imperfect focus), movimiento orgánico/mecánico,...La progresión de la intensidad visual según si estaban dentro o fuera variaban.Progresión de la escala: se usaban lentes con focales de 40mm para representar los

recuerdos, y en cambio, se usaban lentes de 20mm para representar los sueños.En los encuadres con la familia, la protagonista suele estar en el centro, pero sedesconecta cuando se quiere ir y se reconecta cuando vuelve.4 estados en la habitación de control (the screens of inside out):-Conciencia-Memoria (evento pasado repetido)-Sueños-Imaginación (glow en los edges)Se hizo un grading de la película específico para Dolby Vision (HDR 3D).

Designing Epic experienceshttp://www.develop-online.net/tools-and-tech/unreal-diaries-a-boy-and-his-kite/0211853 La película “Kite” está calculada en tiempo real, y cubre el equivalente a una extensión de100Km2. Se ha hecho un modelado procedural de la vegetación, e incluye 190.000 rocas,200.000 árboles y millones de arbustos, flores y briznas de hierba.Se hizo un photo scouting en Nueva Zelanda con HDR, light probes y fotografíaspanorámicas. Se diseñaron los Game Assets con 3 niveles de detalle:En el nivel más alto, había múltiples polígonos por hoja, en otro nivel había menos (4 porhoja) y se diseñó un último nivel con muy pocos polígonos por rama+hojas.Se usó el render Time of Day, para simular el paso del sol y el cambio de sombras.Se hicieron mejoras en el modelo de cámara, con aberraciones cromáticas, profundidadde campo, vignetting. Se consiguió con todo ello, un motion blur más preciso.Se empleó el sistema de color de la academia ACES, que mejora la saturación y hace losrenders más realistas.Adaptando contenido de pelis y juegos a experiencias VR: >=90fps

Baja latencia, Alta fidelidad visual-movimiento: 1/3 de lo necesario para un videojuego

Día 2VR ready: ok this time?Esta sesión estaba comentada por un representante de Ford motor company, que teníanen Emerging tecnnologies el Ford Immesive Vehicle Environment, uno de intel y por JaronLanier, pionero de la VR ahora en Microsoft Research, moderado por Carolina Cruz-Neira.En 1981 en un paper, Jaron ya predijo que la VR estaría lista para el consumidor en 2020,y aun lo cree. “Expectations then (1992) were too much. Today's available technology,make it more realistic to accomplish some of them”.

Left to Right: Carolina Cruz-Neira (Indiana University), Ronald Azuma (intel), Elizabeth Baron (Ford MotorCompany), Jaron Lanier (Microsoft Research)

Ford Immersive Vehicle Environment

VR PostproductionEn una sesión prevista para 75 personas, hubo una marabunta de gente.

La sesión la presentó Greg Downing de xRez Studios. Se tomaron fotos con un Drone y a su vez con una pértiga de 6m.

Siguiente sesión: 360º production for New deal studiosSiguiente sesión: Gawain of The MillFinal output google's cubicmap 1k por cada cara del cubo

Keynote session (MIT MediaLab: Joichi Ito)https://www.youtube.com/watch?v=yXF_MElegC4 El concepto de Open hardware y las impresoras 3D, hacen posible una revoluciónparecida a lo que significaron el open software y las telecomunicaciones a preciosrazonables. Hizo mención a la “Fábrica en una caja” de Samsung para hacer circuitos. Shenzen, en China, es el equivalente al Silicon Valley pero en el hardware, allí se puedehacer cualquier cosa y en cualquier volumen. Habló de su iniciativa para fabricar uncontador Geiger móvil, un proyecto que arrancó al día siguiente del terremoto de Japónque provocó la catástrofe de Fukushima.Otra parte de la sesión se fue a la parte biológica como medio, "Bio is the new digital"parece que ha dicho Nicholas Negroponte.Explica el caso de unas bacterias programadas para que encuentren azúcar y para queenvíen señal eléctrica que luego es amplificada para conectarla a un PC. El nuevoconcepto de Synthetic biology.Mostró un nuevo secuenciador de ADN por USB, y también un laboratorio en la nube quepermite hacer análisis biológicos: A lab in the cloud.Para finalizar su sesión, explicó cómo tenían un campo "sembrado" de sensores (paradetectar cambios en la temperatura, humedad, luz, sonido) y así mejorar las cosechas.

ILM 40 yearsTerminator2 para Dennis Muren, significa el cambio definitivo a los CG (con el uso de lasherramientas de composición digital). En la sesión se hizo un repaso exhaustivo a 40años de ILM y su evolución en el mundo de los VFX.

PostersQuiero destacar sobre otros, los siguientes posters:

University of Hull. Francisco Inacio: Reducing geometry-processing overhead for novelviewpoint creation.http://dl.acm.org/citation.cfm?id=2792599&dl=ACM&coll=DL&CFID=807836949&CFTOKEN=36897301

Autoedición de música: A Music Video Authoring System Synchronizing Climax of VideoClips and Music Via Rearrangement of Musical Bars http://dl.acm.org/citation.cfm?id=2792608

Wobble strings de Shogo Fukushima de la University of Tokyo, presenta una técnica parapoder ver la oscilación de las cuerdas de una guitarra.http://s2015.siggraph.org/attendees/emerging-technologies/events/wobble-strings-spatially-divided-stroboscopic-effect

Día 3eyeSelfieSolución para analizar el fondo de retina con un dispositivo económico y portátil, un pasomás hacia el tricorder.http://web.media.mit.edu/~tswedish/projects/eyeSelfie.html

PapersImage flattening de Sai Bi (University of Hong Kong). De gran ayuda para la segmentacióny detección de features en una imagen. http://i.cs.hku.hk/~yzyu/publication/L1PIF-sig2015.pdf

Soft shadows removal Maciej Gryka (University College London)Un método para eliminar sombras suaves de fotografías, tras una ligera intervención delusuario. http://visual.cs.ucl.ac.uk/pubs/softshadows/

A computational approach for Obstruction-Free Photography (Tianfan Xue, MicrosoftResearch y otros de Google)Eliminación de reflejos y obstáculos de una fotografía, a partir de una secuencia de fotos.

HalideHalide es un relativamente nuevo lenguaje de programación (sale de una tesis PhD en2013), e incluye un compilador optimizado para tareas relacionadas con el procesamientode imagen, que permite llegar a rendimientos de hasta 6 veces el rendimiento de códigonativo OpenCV, sin tener que hacer hacks complicados, y que fue demostrado en directosin trampa ni cartón.

Web3Dv3.3 es la versión actualX3DOM = X3D en HTML

Emerging TechnologiesLightfield HMD Stereoscope

An automultiscopic projector array for Interactive Digital HumansMuy interesante la proyección multiescópica interactiva de un superviviente del holocaustojudío, hecha con 216 microproyectores. https://vimeo.com/128641902 La persona podía hacerle preguntas con lenguaje natural, y recibir una contestación muybien relacionada con la pregunta, de forma natural, como si habláramos con la persona.

Siggraph Next Ramesh Raskar (MIT Media Lab)Aprovechar el movimiento de los fluídos para captar energíaAlimentación: controlar luz y climaArquitectura sin Aire AcondicionadoMateriales hidrofóbicos/hidrofílicosMedicina: visualizar para ayudar en operaciones, prótesis, medicina móvil (CAT Scans,eyeSelfie)

William Marshall (Planet Labs)Querían hacer una “line scan” del planeta con 155 satélites, lo que suponía una inversiónde $US 850M al principio del proyecto, así que tuvieron que reducir el tamaño de lossatélites. Hasta la fecha han lanzado 87 satélites en 8 cohetes en 2 años. Ya existen 13receptores en todo el mundo y están construyendo más. Reciben 6TB/día con unaresolución de 3-5mQuieren automatizar la detección de cambios. Pueden saber con NIR cuanta cosecha hay

Hiroshi Ishii (MIT MediaLab – Tangible Media Group)Beyond pixels, towards radical atoms.El Tangible media group del MIT, colaboró para el Lexus design amazing 2014 en Milán.Otros proyectos mostrados en la presentación: Sandscape, Timescape, InFORM(colaborador remoto), Cooper Hewitt design museum, Triptych, Transform, Pneuduino,bioLogic (bacilus subtilus natto), ZeroN (levitated interaction material)

Pioneers MeetingUncanny valley de Paul Debevec. Una revisión exhaustiva de la evolución de loscomputer graphics, ya traspasando el Uncanny Valley. Al final mostró imágenes delproyecto de captura 3D de Barack Obama, y de la proyección multiscópica de unsuperviviente del holocausto judío.

Fiesta de Solid Angle en el downtown

Día 4ACES - Double Negative production pipelineCómo se ha adaptado el pipeline de producción en DoubleNegative para aceptar ACES.Capture:

Source Media -> convertidos a un espacio de color común (normalmente el de la cámara principal)

Lineal a LogarítmicoGradingLogarítmico a Lineal

Display:LUT 709 a una pantalla Eizo & Client QuickTimeACES2066-1, ACESCGSource media en ACES se convierte a ACESCG

Dependiendo del cliente, se pasa a través de IDT(Input Device Transform) antes de ir a ACES y a ACESCGACESCC a ACES para la transformación del reference rendering a la salida (ODT).

Jon Peddie Research LuncheonLas estadísticas muestran que el tiempo de render se mantiene constante en el tiempo,cada vez se pide más calidad pero los tiempos no se reducen.Blustreak (James Knight):El concepto de Virtual Production ya está implantado en la producción cinematográficaactual. La preproducción y la postproducción han crecido mucho en los últimos años ycasi ya llevan el mismo tiempo completarlas (generación de assets, performance capture,on set visualization, virtual camera).Jaunt Studios (Grant Anderson):Se debe compensar la exposición en el stitching. Están usando 3 modelos distintos decámaras 360. ¿Dónde pones a la gente? ¿Y las luces?Tippett Studio (Sanjay Das):¿Google sparklight stories? ¿360° with The Mill? A finales de este año 2M, 4M, 8M ...Poca gente para cascos de VR. ¡Pero hay miles de millones de móviles!

Panel:VR LA es el nombre de un nuevo congreso que se celebrará a finales de agosto"Sleep no more" ¿peli VR? https://itp.nyu.edu/classes/dvr-spring2016/vr-theater-or-sleep-no-more/ Es necesario que el conjunto de herramientas actual, soporte la VR (edición, colorcorrection, compositing)

The Foundry está incorporando ya el soporte a la VR en sus herramientas

The Kronos GroupOpenVX (un acelerador de aplicaciones de computer vision multiplataforma)SYCL (una capa para C++ que abstrae programar OpenCL de forma eficiente y portable)SPIR-V (lenguaje para computación paralela y gráficos)WebGL 2.0 (aun se encuentra en fase de desarrollo)Biodigital human (sceneJS) órganos humanosRicardo Cabello (“MrDoob”) creador de three.js, hizo una presentación “jaw droping”Tony Parisi glTF (quiere ser como el JPEG para la transmisión de escenas y modelos 3D)Marmoset artstation.com (minion)Sketchfab.com (modelos y animaciones en fbx)Fraunhofer IGD, presenta algunos modelos de hasta 12TB en el navegador

Siggraph NextAydogan Ozcan (Medicina en UCLA)7B cell phones (potentes, cámaras de buena resolución yconectados), pueden adaptarse y convertirse en “smartmicroscopes”, que "piensan" y se reconfiguran."Viaje alucinante" en concepto: pillCAM (concepto anticuado,no toma decisiones, se analizan las imágenes al final)

Douglas Lanman (Oculus Research)VR/AR Challenges:1: higher resolution (puedes leer el periódico?)

A: foveated rendering-microsoftB: computational displays

2: wider fields of view (estamos alrededor de los 140° y las visión humana está en 220°Sensics xSightsVAC vergence accommodationprescription lenses

5: form factor "sunglasses" (paper que él mismo publicó en 2014)

6: everyday augmented realityA: occlusion

7: Eye contactHMD & HMS (head mounted sensors)

Renderman User GroupSe hace un repaso de las mejoras aplicadas para las pelis Finding Dory y Toy Story 4El tiempo medio de render por frame es de 18.5hSe presenta la nueva versión de Renderman para Blender, para Houdini y para cinema4DOmnidirectional stereo Peleg 2001Renderman.pixar.com/forum Mack Kobayashi 3D 360° (stupid tricks)

Día 5

PapersPolarization 3DSe ha presentado un paper para poder obtener formas más precisas a partir de lainformación que proporciona la polarización: shape from Polarization

Con esta técnica se mejora el rendimiento de un scanner láser al poder capturar conprecisión las normales, y ya existen sensores que capturan la polarización en tiempo real.

Palette-based photo recoloringhttp://recolor.cs.princeton.edu

LightfieldRender lightfield VR otoy (16K x 6K). Otoy ha demostrado unvideowall de 16Kx6K en el exhibition y también daba laposibilidad de probar un prototipo del Project Tango de Google.

User centric computational videographyhttp://gvv.mpi-inf.mpg.de/teaching/uccv_course_2015/ Video snapping 2014 para sincronizar vídeosBerthouzoz 2012 (traquea la cara y analiza la voz e incluso recorta imágenes/o las copiasegún el caso -en la interfaz de usuario, eliminas el texto y saca del vídeo los frameshaciendo procesamiento y blending)Bonneel et al. 2014 propone en su paper cambiar la textura a un edificio manteniendo lailuminación.Eliminar personas que se cruzan de las imágenes del vídeo que grabaste.Moviereshape (hacer más “cachas” a una persona)

Garment replacement (cambiar la ropa de alguna persona en la imagen)Inverse rendering (encontrar el modelo a partir de la imagen)Virtual dubbing (síntesis de bocas a partir de la voz de doblaje)DuctTakeSemi-automated video morphingComputational time-lapse. Bennett 2007Motion magnificationHyperlapse (Información del giroscopio para estabilizar frames)First-person hyperlapse video. Kopf 2014Using photos to enhance videos of a static scene. Bhat 2007Unwrap mosaics. Rav-acha 2008Virtual aperture, virtual exposureSelectively de-animate (light reimagine photography) muy útil para componer situaciones complicadas

Digital Human League (Ago 2014) tiene14 fundadores, en busca de superar el uncannyvalley. https://labs.chaosgroup.com/index.php/category/digital-human-league/