Entrevista con el equipo creativo detrás de la exposición digital de Kid A Mnesia, desarrollada por Epic Games, [namethemachine] y Arbitrarily Good Productions.
Publicada por Unreal Engine, el 13 de Enero de 2022.
¿Cuales fueron las primeras indicaciones para este proyecto?
Sean Evans: a modo de contexto, la era de Kid A / Amnesiac fue un período especialmente productivo para Radiohead, y entre la banda, Stanley y Nigel crearon una enorme cantidad de arte visual y música. Mucho de este arte visual se creó durante un período de bloqueo creativo musical, que llevó a Thom a sumergirse en el lado visual. La exposición tenía como fin cubrir la producción de esa era, dentro de unas ruinas alienigenas olvidadas. Iba a ser un museo que combinaba un laberinto con la Biblioteca de Babel, un lugar que inspiraba una sensación de estar perdido sin sentir desesperación. A veces, el jugador debía sentirse abrumado. Pero el diseño no tenía un camino correcto y tampoco callejones sin salida.
Chelsea Hash: Thom describió la exposición como estar «atrapado en un futuro que nunca sucedió».
¿Qué indicación les dieron sobre cómo debían usar las canciones? ¿Cómo trabajaron para incluirlas?
Sean Evans: Recuerdo en 2019 que Nigel me hizo escuchar cómo pensaba que podía funcionar esto. Fue fascinante. Había varias canciones mezcladas entre sí, que a veces se reducían a elementos mínimos y otras veces mezclaban elementos de otra canción. Esa fue la primera impresión del proyecto. Nigel tenía un concepto bastante sólido sobre cómo debía funcionar.
Por eso, construimos la estructura para que encaje con el concepto del audio. Mucho del diseño de audio debía sentirse como una galería y no atacar al espectador. Esto fue genial y nos permitió comenzar a controlar el flujo de todo esto, para poder dar momentos de tensión y de tranquilidad.
Nigel y Thom querían que el enorme espacio dentro de la pirámide tenga tres canciones, «How To Disappear Completely», «Pyramid Song» y «You and Whose Army?». El cuarto que diseñamos era gigantesco y tenían forma de hexágono, por lo que Nigel pensó en remezclar las canciones en surround de seis puntos. Es un gran efecto – mientras el jugador se mueve por el espacio, se escuchan diferentes elementos de la canción. Ese enfoque fue tan exitoso que permitió extender el concepto a otros espacios y canciones – como «Treefingers», que suena dentro de la pirámide. No existían pistas separadas de esta canción, pero Nigel pudo usar otros elementos para mezclarla en surround.
Matthew Davis: la primera indicación que escuché fue la idea de «canciones desmembradas». Había tanto material, tanto de los álbumes como en las paredes, que desmembrar todo en sus componentes mínimos para presentarlos de cierta forma no solo respetaba la esencia del material sino también era esencial para construir una experiencia a partir de eso.
¿Cómo usaron las luces para transmitir emociones o generar cierto humor a medida que se recorre la experiencia?
Sean Evans: no queríamos iluminarlo mucho como un museo tradicional, sino más bien como un santuario olvidado. Logramos esto con una mezcla de luces tradicionales, proyecciones y superficies iluminadas. La tecnología de proyección fue desarrollada por nuestro equipo de modo que no resulte muy costosa y se pueda usar en una gran cantidad de superficies en una sala. Muy efectivo. Lo mismo pasó con el arte visual iluminado. Es genial caminar por un pasillo oscuro y dejar que el arte visual nos guíe.
Otro elemento de iluminación personalizada que implementó Carlos García (Artista Técnico Mayor de Arbitrarily Good Productions) fue poner pantallas de video que reflejaran luz. Esto lo podés ver en la sala de Los Televisores o en el Depósito de Píxeles, donde son las pantallas gigantes lo que ilumina dinámicamente la escena.
También usamos luces para cambios de velocidad. Por ejemplo, cuando estás en la pirámide, todo se ilumina y la iluminación se pierde en el infinito. Pero a medida que avanzás, entrás en salas más y más oscuras; primero en el Fósforo Verde – un cuarto que parece vacío con escritos de una matriz de puntos verdes en la pared – y después en el Sótano Vacío, que es totalmente oscuro y desolado. Y toda ese flujo de iluminación se repite en el diseño de sonido.
¿Cómo encararon el diseño por niveles que tiene este proyecto? ¿Cómo construyeron su mapa? ¿Cómo hicieron que haya una continuidad?
Brett Lajzer: se suponía que muchos de los cuartos y espacios de la exposición iban a ocupar el mismo espacio en el mundo real, porque eran parte de una construcción real. Inclusive cuando algunos de ellos no podrían existir en absoluto. Resolvimos los problemas/limitaciones que nos impuso el espacio usando unas cuantas herramientas, que incluyeron un sistema de transporte, portales y teletransportación.
Al comienzo del proyecto, desarrollamos un sistema que solamente cargaba los cuartos que estaban alrededor del jugador. Esto hizo posible que usemos cuartos que se superponen, siempre y cuando no requieran ser cargados al mismo tiempo. Los portales y teletransportadores nos permitieron hacer que lugares físicamente desconectados parezcan adyacentes. La pirámide (dentro y fuera) y la galería serpenteante son las dos áreas que explotan esto más: es lo que hace que la galería parezca infinita.
Chelsea Hash: Sean desarrolló la ambiciosa previsualización de prototipos y las pruebas con cajas grises en Unreal Engine junto al equipo creativo de la banda. Esto nos permitió establecer un proceso en el que nos pudimos comenzar confiados a pulir el entorno para la mayoría de los espacios muy al comienzo. Al conocer el equilibrio y el ritmo entre los espacios abstractos ambiciosos y los más tradicionales, resolvimos satisfactoriamente los problemas técnicos. Los pasillos largos se convirtieron en lienzos para graffiti, o los oscurecimos para crear un efecto, o los llenamos de música y gente. Evolucionó desde la idea de un depósito concreto e incrementalmente se fue cerrando, ocultando, llenando de gente y cosas y aislándose, y creamos un un efecto emocional en el jugador usando las herramientas a nuestro alcance.
¿Cómo usaron colores para evocar ciertas emociones o cambios en los espacios?
Sean Evans: Chelsea y yo usamos el color deliberadamente como coordenadas visuales. El jugador podría comenzar a reconocer dónde estaban e identificar la familiaridad porque diferentes cuartos tienen diferentes esquemas de colores. Esto también trabaja muy de cerca con la iluminación. Toda la exposición tiene este aspecto muy en cuenta desde el comienzo – todos los esquemas están desarrollados y mapeados.
¿Cuáles fueron los puntos de inspiración para los diferentes cuartos?
Sean Evans: Cada cuarto tiene un tema, aunque sea uno muy abstracto. Como dije antes, el mapa general está influenciado por laberintos, dibujos y escritos de la Biblioteca de Babel. De ahí vienen los hexágonos. La Biblioteca de Babel es un espacio ficticio compuesto solamente de cuartos hexagonales de igual tamaño sin pasillos que los conecten. Necesitábamos pasillos largos por lo que no nos ajustamos a esa idea estrictamente.
La mayoría de los cuartos se diseñaron alreadedor del arte visual que iban a mostrar, y eso es un trabajo de curaduría de Thom, Dan y Christine Jones. Los cuartos del primer nivel – antes de entrar en la pirámide – deberían sentirse más posibles físicamente. Una vez que entras en la pirámide, se supone que los espacios se sienten más como un vacío, más imposibles.
Algunos cuartos mutaron a medida que avanzó el desarrollo, como la Cámara Fantasma. Teníamos una versión en nuestro primer demo conceptual, pero ha cambiado mucho desde entonces. La adición del coro de voces robóticas de Thom y los fantasmas animados le dieron vida al cuarto. Algunos cuartos están basados más directamente en el arte que íbamos a usar, como la Cámara de Papel. En ese cuarto, el arte que íbamos a usar eran montones de páginas de un libro de dibujos y anotaciones y hojas de letras. Básicamente, cubriríamos las paredes, piso y techo con papel. Tuvimos una idea similar para el Cuarto de Televisores. Teníamos montones de videos cortos para mostrar, así que amontonemos TVs viejas y VCRs hasta el techo. La Cámara de Papel y Los Televisores son una especie de reflejo del otro.
El interior de la pirámide es un espacio interesante, basado en Geometría Infernal. Esa fue una idea extraña que Dan nos contó en la que un cuarto altera la cantidad de paredes hasta enloquecer al ocupante. Fue sutil la manera en la que se manifestó, pero cada vez que el video cambia dentro de la Pirámide, el número de paredes cambia. Una vez que el espectador sale del elevador, deberían aparecer en un espacio más tradicional. La Rotunda es una galería infinita que contiene todo el arte visual de la exposición. Es como un índice. Es un espacio hermoso y pacífico basado en la Rundetaarn de Copenhague. El siguiente cuarto, la Galería de Paisajes, se basó en una pintura de Monet del Musée de l’Orangerie en París.
¿Qué tanto fue creado usando Unreal Engine? ¿Qué se creó por separado y se fusionó?
Chelsea Hash: si bien el ambiente y los personajes se desarrollaron con herramientas tradicionales de DCC como Maya, todas las iteraciones de diseño de niveles y las secuencias de niveles se crearon con Unreal Engine.
¿Cómo fue el proceso de creación de personajes?
Chelsea Hash: comenzamos con un modelo construido en base a los temas y a las representaciones de personajes comunes de la discografía de Radiohead. El equipo desarrolló después una combinación experimental de animaciones, renderizados y reactividad, de modo que un gran numero de personajes puedan reflejar lo que pasaba en el espacio. Era importante que se sientan variados sin llegar a ser aleatorios.
Los desarrollamos compartiendo esqueletos, lo que permitió que compartamos comportamientos básicos entre el material y le demos a los diseñadores una forma de configurar rápidamente las opciones que irían bien con la personalidad del espacio. Los personajes se mueven por rutas predefinidas y un sistema creciente lleva registro de cuántos NPCs manualmente posicionados se mostrarían en una zona determinada. Esto aseguró que pudiéramos preservar el tono deseado, mientras los jugadores continúan experimentando nuevas caras en nuevos lugares,, ya sea porque se desplazan a otro cuarto o en diferentes sesiones de juego.
Devon Chapman: La creación de personajes para este proyecto fue un proceso muy exploratorio. El objetivo era intentar canalizar la energía creativa de Thom y Dan durante esta etapa en algo que encaje con este ambiente abstracto. Nos inspiramos en los sketches y tratamos de encontrar formas de que tengan sentido en 3D y que evoquen una reacción emocional del jugador. Ser novedoso, pero al mismo tiempo familiar para los fans que reconocen a los hombrecitos de palos, los osos y los minotauros de Radiohead.
Hay un gran trabajo de partículas en esta exposición, especialmente en el camino en el bosque y la secuencia de «How To Disappear Completely». ¿Nos pueden contar sobre el proceso de creación?
Sean Evans: Tenía una idea de cómo quería que funcione esto, pero no soy uno de los que trabaja con Niagara [una plataforma de efectos visuales]. Logré que funcione fuera de Unreal Engine con otro sistema de partículas, pero no tenía idea de cómo hacerlo funcionar dentro del Engine. Al final, logré importar una captura de mi sistema de partículas como datos LIDAR y usé eso dentro de Unreal para mostrarle a Chelsea y los expertos en Niagara el ritmo y la escala.
Sin embargo, el texto de la terminal del cuarto Commodore fue hecho con un sistema personalizado Niagara que podía buclear y procesar fragmentos de palabras aleatorios.
La secuencia animada de pintado LIDAR, que tiene «How To Disappear Completely» de fondo, se hizo en Niagara. Lo hicimos generando las partículas de color a partir de las texturas y ajustando el ruido, la velocidad y el desplazamiento de la textura de color. Estos valores se controlaron con Sequencer.
Han hablado de esto antes, pero hay tantos cuartos impresionantes en esta exhibición. ¿Pueden describir algunos de ellos? Por ejemplo, ¿cómo crearon el Depósito de Pixeles? Para los que no lo vieron, tiene un efecto de explosión de imágenes genial que parece detener el tiempo
Sean Evans: Ese cuarto fue una inclusión de último momento. Es una respuesta al Atrio de la Pirámide, que es brillante y rojo, con luz solar y plantas y árboles. El Depósito de Pixeles es frío, oscuro y sintético, Como fue una adición de último momento, traté de lograr un efecto que fuera relativamente simple de implementar, pero genere una reacción grande en el espacio. Algo que que realmente cambie el cuarto. La primera versión del espacio que realizó el equipo en la etapa de bloques me dejó atónito.
Fue divertido de hacer porque salió rápido. Como era una configuración sencilla hecha en Blueprint usando controles de reproducción de videos que habíamos usado previamente en el armado de otros cuartos, había más lugar para ajustar la implementación. Es una de las razones por las que es una de las experiencias más interactivas. Las primeras versiones de los cuartos, previas al proceso final, nacieron desde un punto de vista más cinemático, pero este lo hicimos desde el juego.
¿Y el cuarto de los Televisores? ¿Cómo eligieron e implementaron los videos?
Sean Evans: El espacio se construyó en base al concepto de los videos. Cuando Kid A y Amnesiac se lanzaron originalmente, la banda había lanzado un montón de videos cortos. Algunos fueron hechos por Shynola, otros por Chris Bran y otros eran fragmentos de webcasts hechos en ese momento. Este cuarto es una versión directa de cuando la exposición iba a ser algo real. Está basada en un negocio de baratijas, y es uno de esos cuartos que probablemente no era posible dentro de Unreal.
Al final, queríamos hacer un cuarto que funcionara en lo macro y lo micro. Este es otro que les salió muy bien a los desarrolladores e ingenieros. Es genial, te puedes alejar un poco y ver este salón como una grilla o acercarte y ver los pixeles en los televisores.
Brett Lajzer: el desafío más grande con este cuarto era encontrar la forma de tener muchos más videos reproduciéndose de los que soporte el sistema – en este caso, había 72 fuentes de video. El sistema que ideamos usa pre composición de los videos como si fueran una grilla. Esto fue logrado como un video único 4K que se mapea en los televisores del cuarto y los reproduce son afectar seriamente el rendimiento. El sistema permite múltiples mapeos diferentes, que es lo que permite que cada pantalla tenga su propio contenido o repita el mismo blip en varias pantallas.
Chelsea Hash: Nuestro artista técnico usó el sistema personalizado de datos de recursos de Unreal Engine para permitirnos crear diferentes modos de predefiniciones directamente en el Editor. Para los modos que incluían una combinación de videos repartidos en varios monitores, los datos se compilaban en compensaciones UV materiales. Esto le permitió al equipo de ambientes posicionar los televisores en la forma más evocadora y artística posible y confiar en los sistemas de video CRT y la dirección creativa para el mapeo. Las otras opciones hubieran requerido una organización más procedimental de los televisores o una configuración más típica, centrada en los datos.
¿Y el cuarto de Papel?
Ese cuarto, curiosamente, no lo hicimos en Niagara, sino que lo implementamos usando sombreado y procesamos todo con Houdini para darle a cada página movimiento y datos de UV. La cantidad de dirección creativa rígida para los UVs nos llevó a un enfoque basado en las mallas.
La complejidad de la turbulencia de este papel semitransparente y los bordes desparejos de papel requirió una colección enorme de parámetros y configuración de parámetros de instancias de materiales. Por eso, el primer paso fue hacer que se viera bien y el segundo era que sea controlable, y el tercero era que sea secuenciable.
Por separado, la presentación del arte visual se refinó para asegurar que se pueda mostrar aleatoriamente y se muestre diferente arte cada vez. Para lograr esto, mapeamos varios atlas en 4K que no estaban tan pixelados inclusive en el modo a cuarto completo (del piso al techo) y le quitamos el espejado a la parte trasera de las páginas, componiendo al mismo tiempo sets de texturas PBR de papel de alta calidad.
Asegurar que todos esos conroles se puedan simplificar y contribuyeran a algo que se pueda dirigir y controlar artísticamente era una parte central del proceso.
Matthew Davis: La Cámara de Papel fue uno de los desafíos acústicos más divertidos, porque tuvimos que usar casi todas las técnicas empleadas en otras partes de la experiencia en un solo cuarto. Mucho de la experiencia audio visual se basa en una mezcla de sonidos diegéticos y no diegéticos, y eso hace que la música a veces sea una combinación de los dos en muchos espacios, lo que ayuda a crear la sensación de estar inmerso en estas composiciones.
La idea para este cuarto era que los componentes de la melodía de «In Limbo» representen el cuarto ‘construido’, y la sección rítmica y las reverberaciones representan el cuarto vacío ‘deconstruido’. Tuvimos que asegurarnos de que todo vaya bien desde el punto de vista de la composición y la mezcla a medida que el cuarto se despedazaba dinámicamente y se volvía a armar en una secuencia procedimental de aproximadamente quince minutos, básicamente pasando por dos estados musicales mientras un tornado de papeles remolinea en el cuarto. Programamos controles de parámetros en tiempo real (RTPCs) en Wwise e hicimos que los controle el estado de deconstrucción del cuarto en cada momento, así como la dirección del viento. Los mismos RTPCs también controlaron un cubo de SFX (papeles en movimiento, viento, etc) que tenían varios estados – como por ejemplo quieto, volando, reformándose. El resultado es una tormenta de sonido que cambia constantemente.
Y para finalizar, ¿qué pueden decir del efecto de zootropo que le da vida a la secuencia de «You And Whose Army?»?
Sean Evans: cuando estábamos haciendo el demo, se me ocurrió que dentro de la Pirámide habría una especie de zootropo. Pero nos quedamos sin tiempo para siquiera pensar en algo tan complejo, así que lo descarté.
Cuando llegó el momento de desarrollar la secuencia del Sótano Vacío, hablamos de usar la forma de toro para «Pyramid Song», y sobre cosas que suceden en formaciones circular. Stanley mencionó zootropos, y lo geniales que eran y lo curioso de su tecnología. Me levanté y pensé que era mi oportunidad. Hice un esquema de un concepto de zootropo 3D fuera de Unreal que funcionaba tomando cuadros de una captura falsa y dividiéndola en instancias en una formación radial. No era lo mejor, pero el efecto funcionaba. Funcionaba a un grado suficiente para mostrárselo a Chelsea y ellos desarrollaron un Blueprint dentro de Unreal que llevó la idea a otro nivel. Nos dio muchísimas habilidades. Podías intercambiar animaciones, mallas, animar escalas y todo tipo de variables. El resto se basó en personajes 3D desarrollados a partir del arte visual y, claro, la música. Esa sensación oscura de sentirte abrumado pero sin rendirte y dando pelea. Es una gran canción.
