La nueva herramienta de IA de Google puede convertir texto en música
Google anunció recientemente que ha desarrollado un nuevo generador de música de inteligencia artificial (IA) que puede crear música de cualquier género con una descripción de texto.
En un artículo de investigación publicado el jueves, los investigadores de Google presentaron la herramienta de IA para hacer música denominada "MusicLM" como un modelo que genera música de alta fidelidad a partir de descripciones de texto como "una melodía de violín relajante respaldada por un riff de guitarra distorsionado".
MusicLM presenta el proceso de generación de música condicional como una tarea de modelado jerárquica de secuencia a secuencia, y "genera música a 24 kHz que permanece constante durante varios minutos. ”
Además, la herramienta de IA puede producir música "original" a partir de indicaciones de texto y sonido durante un máximo de 5 minutos a partir de texto y señales auditivas. MusicLM fue entrenado en una base de datos que consta de más de 2,80,000 horas de música para aprender a generar canciones coherentes para descripciones en cualquier género deseado.
"Nuestros experimentos muestran que MusicLM supera a los sistemas anteriores tanto en calidad de audio como en adherencia a la descripción del texto. Además, demostramos que MusicLM puede estar condicionado tanto por el texto como por una melodía, ya que puede transformar melodías silbadas y tarareadas de acuerdo con el estilo descrito en un título de texto", se lee en el documento.
De acuerdo con el trabajo de investigación, MusicLM podría crear canciones a partir de subtítulos ricamente escritos, como:
La banda sonora principal de un juego de arcade. Es rápido y optimista, con un riff de guitarra eléctrica pegadizo. La música es repetitiva y fácil de recordar, pero con sonidos inesperados, como choques de platillos o redobles de tambores.
O
A través del "modo historia", donde el audio se generó proporcionando una secuencia de indicaciones de texto más cortas, que incluyen:
- Tiempo para meditar (0:00-0:15), tiempo para despertar (0:15-0:30), tiempo para correr (0:30-0:45), tiempo para dar el 100% (0:45-0:60)
- Canción electrónica reproducida en un videojuego (0:00-0:15), canción de meditación reproducida junto a un río (0:15-0:30), fuego (0:30-0:45), fuegos artificiales (0:45-0:60)
MusicLM de Google también puede generar clips de música que capturan el estado de ánimo y la atmósfera de las pinturas, particularmente de las descripciones de algunas de las obras de arte más conocidas del mundo del arte, como "El grito" de Edvard Munch y la famosa "La persistencia de la memoria" de Salvador Dalí.
Puedes dirigirte a la página de GitHub de Google para escuchar algunas de las pistas de música generadas por MusicLM.
Para respaldar futuras investigaciones, Google ya ha lanzado MusicCaps, un conjunto de datos compuesto por 5,5k pares de música-texto, con descripciones de texto enriquecidas proporcionadas por expertos humanos.
Sin embargo, no esperes que MusicLM esté disponible para el público en el corto plazo en el futuro, ya que hay muchas preocupaciones que deben abordarse antes de que se publique.
Según los investigadores de Google, la herramienta de IA tiene limitaciones existentes, que incluyen sesgos de programación que pueden conducir a la falta de representación y apropiación cultural, calidad vocal y fallas tecnológicas, así como el uso de negaciones y ordenación temporal utilizados en las indicaciones de texto.
De hecho, durante un experimento, los investigadores de Google descubrieron que aproximadamente el uno por ciento de los ejemplos de música creados por MusicLM se copiaron directamente de las canciones en las que se entrenó, lo que generó preocupaciones sobre los derechos de autor.
"Reconocemos el riesgo de posible apropiación indebida del contenido creativo asociado al caso de uso. Hacemos hincapié en la necesidad de más trabajo futuro para abordar estos riesgos asociados a la generación de música: no tenemos planes de lanzar modelos en este momento", afirma el estudio.