La absurda belleza de hackear la máquina de imágenes de IA GauGAN 2 de Nvidia
Escribir frases sin sentido en el algoritmo de Nvidia produce algunos "errores" fascinantes, a veces hermosos, a veces miserables, en la mayoría de los casos fascinantes.
Al escribir las palabras "ZDNet superb reporting" en el programa GauGAN 2 AI de Nvidia, se producen automáticamente imágenes surrealistas.
Escriba las palabras "ZDNet superb reporting" en la nueva demostración de inteligencia artificial de Nvidia, GauGAN 2, y verá una imagen de lo que parecen grandes piezas de aislamiento de espuma luchando en un lago con un fondo nevado.
Agregue más palabras, como "ZDNet excelente reportaje atractivo", y verá la imagen transformada en algo nuevo, una forma apenas reconocible, tal vez un auto de carreras de Fórmula Uno que ha sido digerido, avanzando a lo largo de lo que parece una especie de carretera, frente a vistas borrosas de una estructura hecha por el hombre.
GauGAN 2 produce una extraña interpretación de la frase "ZDNet excelente reportaje atractivo".
Tira los dados con un pequeño botón de una imagen de dos dados, y la misma frase se convierte en un paisaje espeluznante, envuelto en niebla, con una boca bostezante de algún tipo de naturaleza orgánica, pero completamente inidentificable en cuanto a su especie exacta.
Otra tirada de dados produce esta extraña criatura de paisaje más.
Escribir frases es la última forma de controlar GauGAN, un algoritmo desarrollado por el gigante de los chips gráficos Nvidia para mostrar el estado del arte de la IA. El programa GauGAN original se introdujo a principios de 2019 como una forma de dibujar y hacer que el programa genere automáticamente una imagen fotorrealista completando el dibujo.
El término "GAN" en el nombre se refiere a una amplia clase de programas de redes neuronales, llamados redes generativas adversarias, introducidos en 2014 por Ian Goodfellow y sus colegas. Las GAN utilizan dos redes neuronales que operan con propósitos cruzados, una de las cuales produce una salida que refina constantemente hasta que la segunda red neuronal etiqueta la salida como válida. La naturaleza competitiva de las idas y venidas es la razón por la que se les llama "adversarios".
Nvidia ha realizado un trabajo pionero en la ampliación de las GAN, incluida la introducción en 2018 de "Style-GAN", que permitió generar fotos falsas altamente realistas de personas. En ese trabajo, la red neuronal "aprendió" aspectos de alto nivel de los rostros y también aspectos de bajo nivel, como el tono de la piel.
En el GauGAN original de 2019, Nvidia utiliza un enfoque similar, permitiendo dibujar un paisaje como áreas, conocido como mapa de segmentación. Esas abstracciones de alto nivel, que contenían objetos básicos como lagos, ríos y campos, se convirtieron en una plantilla estructural, y el programa GauGAN luego completaría el mapa de segmentación dibujado con formas fotorrealistas.
La versión dos del programa se ha actualizado para manejar el idioma. La intención es que uno le dé a GuaGAN 2 frases sensatas, cosas relacionadas con los paisajes, como "la costa ondula acantilados". El programa GauGAN 2 responderá generando una escena de aspecto realista que coincida con esa entrada.
GauGAN 2 se desarrolló en su fase de "entrenamiento" al recibir 10 millones de imágenes de paisajes de alta calidad, dice Nvidia, utilizando la supercomputadora Selene construida a partir de GPU de Nvidia.
También se puede crear automáticamente un mapa de segmentación a partir de las palabras escritas, lo que permite volver atrás y editar el diseño del paisaje de la misma manera que el GauGAN original permitía crear un mapa desde cero.
Como Nvidia describe GauGAN 2 en una publicación de blog, la combinación de texto e imagen y mapa de segmentación es un gran avance en la IA multimodal:
GauGAN2 combina el mapeo de segmentación, la pintura interna y la generación de texto a imagen en un solo modelo, lo que lo convierte en una poderosa herramienta para crear arte fotorrealista con una mezcla de palabras y dibujos. La demostración es una de las primeras en combinar múltiples modalidades (texto, segmentación semántica, boceto y estilo) dentro de un solo marco GAN. Esto hace que sea más rápido y fácil convertir la visión de un artista en una imagen de alta calidad generada por IA.
El beneficio práctico, dice Nvidia, es que uno puede usar unas pocas palabras para obtener una imagen básica sin ningún dibujo en absoluto y luego ajustar los detalles para refinar el resultado final.
Pero agregar palabras que no tienen nada que ver con paisajes, como "ZDNet", comienza a generar artefactos locos que tienen una belleza a veces repugnante y a veces espantosa, dependiendo de tu gusto. En la terminología del aprendizaje profundo, las imágenes extrañas producidas por frases sin sentido son el resultado de que el programa tenga que lidiar con un lenguaje que está "fuera de distribución", es decir, que no se captura en los datos de entrenamiento que se alimentan a la máquina. Enfrentado a frases irreconciliables, el programa se esfuerza por hacer coincidir una imagen con la frase.
Como se puede observar en una serie de imágenes, los "acantilados de ondulaciones costeras" producen una imagen muy fiel en un primer momento. Agregar calificativos con palabras impertinentes (bicicleta, ciudad de Nueva York, el nombre de Cassandra) comienza a cambiar y dar forma al paisaje de maneras extrañas.
Salida automática por GauGAN2 de la frase "la costa ondula los acantilados".
Salida automática por GauGAN2 de la frase "costa, ondulaciones, acantilados, bicicleta, Nueva York, Cassandra, taladro, avión, sabiamente, neumático, ostentoso".
Cosas aún más interesantes suceden cuando se eliminan todas las palabras del paisaje, dejando solo las tonterías. Extraños paisajes futuristas o amebas multicolores aparecen a la vista.
Salida automática de GauGAN2 para la frase "Cassandra taladro avión sabiamente neumático ostentoso".
Salida automática de GauGAN2 para la palabra "ostentoso".
Salida automática de GauGAN2 para la palabra "ostentoso"
Salida automática de GauGAN2 para la frase "sabiamente neumático ostentoso".
Salida automática de GauGAN2 para la frase "sabiamente neumático ostentoso".
El experimento se puede llevar aún más lejos con frases extendidas que sean sugerentes sin ser exactamente descriptivas. Trata de alimentar en la primera línea del poema de T.S. Eliot The Wasteland: "Abril es el mes más cruel, criando lilas de la tierra muerta".
El resultado son unas imágenes impactantes que, de hecho, son algo apropiadas. A medida que uno tira los dados, surgen muchas variantes de paisajes apropiados, con solo artefactos leves en algunos casos.
"Abril es el mes más cruel, criando lilas de la tierra muerta", T.S. Eliot, The Wasteland.
Gracias a las innovaciones de StyleGAN, GauGAN es capaz de aplicar un estilo a la imagen, para condicionar esencialmente la salida para que tenga la forma de alguna otra imagen, algo así como una mezcla.
La aplicación del estilo al poema de Eliot distorsiona las fieles imágenes del paisaje hasta dejarlas irreconocibles. Una vez más, una gran cantidad de objetos extraños aparecen con una especie de cualidad orgánica repugnante para algunos de ellos, otros simplemente fragmentos rotos de lo que alguna vez fue una imagen.
También se pueden enviar imágenes e incluso realizar dibujos a mano alzada en GauGAN 2. Presentar una vieja fotografía tomada en Þingvellir, el sitio del antiguo parlamento islandés, no sirvió de mucho. La imagen permaneció en su mayor parte sin transformar, en pruebas limitadas.
Una foto tomada en Þingvellir, el sitio del antiguo parlamento islandés, no se alteró en su mayor parte cuando se presentó a GauGAN2.
Sin embargo, la adición de la palabra "Þingvellir" produjo un paisaje lo suficientemente realista que estaba en consonancia con el sitio de Þingvellir.
La salida de GuaGAN2 para la palabra "Þingvellir" estaba en el espíritu del antiguo paisaje islandés.
Agregar la palabra "volcán" produjo un paisaje alternativo impactante, menos realista, más surrealista.
Salida automática GuaGAN2 para el "volcán Þingvellir".
Agregar una palabra impertinente, como "Tecnología", sacudió aún más el panorama, agregando extrañas cifras sin sentido.
Salida automática GauGAN2 para la frase "Tecnología Þingvellir".
En lugar de enviar una foto de un paisaje, se puede dibujar, como era el caso en el GauGAN original. De nuevo, algo que no está en consonancia con la demostración, como un dibujo que no es de un paisaje sino de la cabeza de una persona, produce resultados más interesantes. Un dibujo de una cara se puede re-piel, si se quiere, mediante el uso de la función de mash-up. Tirar los dados produjo variaciones interesantes.
dibujando directamente en GauGAN2.
Dibujo de una cabeza re-skinizada utilizando la función de capas en GauGAN2.
Dibujo de una cabeza re-skinizada utilizando la función de capas en GauGAN2.
La combinación del dibujo con la palabra "Þingvellir" produjo cambios sutiles, al igual que la adición de palabras adicionales como "volcán" y "grieta". La imagen fue rediseñada para tener una especie de textura volcánica.
Dibujo de una cabeza combinado con las palabras "Grieta del volcán Þingvellir" y rediseñado utilizando la función de capas en GauGAN2.
Tenga en cuenta que la interfaz de usuario de la aplicación puede ser difícil de desplazar en los navegadores de escritorio. Por alguna razón, parece funcionar mejor en el navegador de una tableta, como un iPad.