Maria Arnal, cantante: “He pasado dos años aprendiendo a usar la IA e investigando; los clones de voz son la base de mi nuevo disco”

VIPS Neo

Arnal convierte la inteligencia artificial en una extensión emocional de su voz, uniendo arte, ciencia y memoria en su nuevo disco

Yuval Noah Harari, el superdotado que se enseñó a leer a sí mismo y ahora dicta la filosofía del siglo XXI que siguen Bill Gates y Mark Zuckerberg

Horizontal

Concierto de Maria Arnal en el Teatre Grec de Barcelona en la Mercè. 

Miquel Muñoz / Shooting / Colaboradores

Hace años que la cantante y compositora combina la música tradicional con la electrónica. De hecho, es una de las voces más innovadoras de la música española contemporánea. Sin embargo, lejos de conformarse, empieza una nueva etapa en la que se sumerge en nuevos recursos digitales como la inteligencia artificial para crear un nuevo universo más complejo, experimental y polifacético.

Ha cantado en el Sónar, ha ofrecido una TED Talk en Vancouver (Canadá) y ha actuado en la Biennal de Arquitectura de Venecia. Todo, mientras investigaba becada en el Supercomputing Center de Barcelona y el Intelligent Instruments Lab de Reikiavik. Con un primer single estrenado el 30 de octubre y producido junto a Alizzz, Ama, sus fans esperan su nuevo disco en las próximas semanas.

Lee también

Guille Collado, extrabajador de TikTok: “Mucha gente habla del algoritmo y de los 'trucos' para hacerse viral, pero nadie habla del trabajo real: guionizar, tener una narrativa y conocer a tu audiencia”

Manu Collado
Guille Collado, extrabajador de TikTok.

En tu nuevo disco, Maria, hay un trabajo muy intenso con inteligencia artificial. ¡Cuéntanos!

Los dos últimos años los he pasado aprendiendo a utilizar la IA, sobre todo en relación a mi instrumento musical que es la voz, y lo he podido hacer gracias a una beca europea de artes, ciencia y tecnología, donde seleccionaron a diez artistas europeos, de entre los que fui la única artista española. Mi trabajo de colaboración era con el Barcelona Supercomputing Center, donde he podido estar un año entero investigando la IA a nivel creativo.

¿En qué ha consistido este trabajo?

Lo que he hecho es una investigación profunda de todos los modelos de voz que existen y de los que han existido tradicionalmente, buscando cuáles son los límites. No tanto para clonar mi voz, porque la voz física ya la tengo, sino para experimentar cómo puedo hacer más complejo mi instrumento. Todos estos clones de la voz son la base de mi nuevo disco.

¿Cómo ha funcionado este proceso?

Lo que me ha permitido esta investigación es tener una serie de instrumentos customitzados, es decir, hechos a medida de mi voz, que hacen una extensión digital de mi voz y me permiten hacer cosas que yo no puedo hacer. Uso mucho la idea de la prótesis. Por ejemplo, un microscopio es una prótesis visual, es tecnología hecha a medida para ver aquello que no puedes ver a simple vista. Pues lo que he hecho yo es crear un tipo de prótesis vocal para extender mi voz hacia lugares donde no puedo llegar a través de mi cuerpo físico. Son lugares que a nivel de producción musical son interesantes y que a nivel de proceso creativo son muy inspiradores.

¿Has aplicado la IA más allá de estas clonaciones de voz?

Sí, toda esta investigación me ha hecho encontrar unas maneras de presentar los temas más allá de lo que es la estructura de la canción. Me ha permitido hacer piezas que pueden ser, por ejemplo, instalaciones sonoras. En una, por la que recibimos el premio S+T+ARTS en el Festival Ars Electronica de Linz, trabajábamos sobre la creación de datasets o conjuntos de datos. Al final, los modelos entrenan a partir de materiales y si tú trabajas conceptualmente qué materiales le das, consigues un resultado u otro. Esto ha añadido una capa muy enriquecedora a mi perfil de cantautora y lo continúo alimentando.

La inteligencia artificial ofrece oportunidades de colaboración que de otro modo no existirían

Maria Arnalcantante

Hay músicos y cantantes que no tienen esta actitud abierta respecto a la inteligencia artificial y a quienes, de hecho, les da miedo que les pueda robar el trabajo…

La IA tiene una dimensión muy única porque avanza a muchísima velocidad y en todos los sectores de nuestra realidad. Esto hace que haya oportunidades de colaboración que quizás de otro modo no existirían. Yo no creo que dentro del mundo de la música o de las artes vivas donde yo me muevo hubiera podido trabajar durante un año con físicos y científicos del Barcelona Supercomputing Center, pero es gracias a esta tecnología y al equipo de Fernando Cucchietti, que es la persona con quien he trabajado más estos últimos meses, que he podido trabajar con la IA desde otras perspectivas. He podido trabajar no para intentar clonar mi voz, sino para experimentarla y poder dar sentido a partir de aquí a modelos que quizá no suenan bien, pero que para mí son interesantes.

En todo este proceso has trabajado codo a codo con físicos, profesionales que tienen un enfoque muy diferente al de los artistas. ¿Cómo os habéis entendido?

El arte y la música trabajan sobre todo a partir de los símbolos, y la ciencia a partir de los hechos, pero al final la actitud de crear y de descubrir, que es la del artista y la del científico, pasa por la investigación y por hacerte determinadas preguntas. Creo que aquí hay una parte en la que nos hemos entendido muy bien con el equipo y ha sido una de las cosas más enriquecedoras de este proceso. También tengo que decir que mi madre es profesora de ciencia y tiene esta actitud curiosa que siempre he compartido con ella. Continuaré esta línea porque para mí es una vía muy interesante, un espacio que no me necesita a mí como performer, me necesita como creadora.

Maria Arnal, cantante.

Maria Arnal, cantante.

Cedida + Diseño de Selu Manzano

Tus fans han podido escuchar ya estas nuevas composiciones en directo: primero en el Sónar en Barcelona y después en diferentes ciudades de España, Europa y próximamente México. Y, por cierto, con muy buena acogida de público y de crítica. Sin embargo, no la tienen aún en soporte físico o digital. ¿Por qué has decidido estrenarlas sobre el escenario?

El disco está dedicado a mi prima hermana, que murió cuando yo tenía trece años. Su presencia sin cuerpo me ha estado acompañando toda la vida y ahora puedo hablar desde mi propia voz sobre ello. En el disco estreno una nueva voz que tiene esta extensión digital. Para mí era muy importante explicar la tensión entre dónde llega el cuerpo y dónde no llega y, por tanto, quería que hubiera danza. En directo, las bailarinas funcionan como coristas gracias a un instrumento que hemos desarrollado con el Intelligent Instruments Lab de Reikiavik, un laboratorio que genera instrumentos digitales donde estuve como artista residente también el año pasado y donde creamos unos brazaletes que son sensores de movimiento. Los sensores recogen el movimiento de las bailarinas en tiempo real en seis parámetros y estos parámetros van a un ordenador donde hemos creado un software que traduce estos datos de movimiento a datos de síntesis con los clones de mi voz. Es decir, que mientras ellas bailan en directo, tú escuchas mi voz como si ellas fueran coristas, activada por su movimiento. Este álbum, pues, tiene mucho de innovación, de actitud abierta y de experimentación de cosas que no se han hecho antes con la tecnología.

Hemos creado unos brazaletes que recogen el movimiento de las bailarinas de mi espectáculo en tiempo real y los traduce a clones de mi voz

Maria Arnalcantante

¿Es más caro producir un disco incorporando todos estos recursos digitales?

No, en realidad son los mismos recursos que he tenido siempre: el ordenador, mi propia voz y el tiempo. No creo que sea un tema de recursos económicos, sino más bien del tiempo que dedicas.

En todo este camino debes de haber comparado diferentes modelos de IA. ¿Has encontrado muchas diferencias entre unos y otros?

Sí, hay muchas diferencias. Un mismo modelo cambia mucho dependiendo del dataset que utilices para entrenarlo. Y también son muy diferentes los modelos. Por ejemplo, el modelo físico reproduce digitalmente las ecuaciones que hace el tubo del trato vocal y el sonido final es muy robótico. Después están los modelos de difusión, que se utilizan de manera muy diferente porque usan como imágenes para entrenarse. Estos reproducen las voces de manera más fidedigna y son los modelos con los que más se está experimentando ahora. Y existen los modelos de texto a voz, en los que tú les das la información en notas, les dices qué nota, palabra o fonema quieres, y te dan el fonema con la nota que tú los has pedido. Finalmente, están los modelos de transferencia de timbre, donde tú coges un input de sonido y te lo vuelven con el sonido con el que está entrenado.

Una herramienta tan poderosa como la inteligencia artificial en manos de muy poca gente da mucho miedo porque ya vemos que el uso que se hace dista mucho de ser ético y positivo

Maria Arnalcantante

Después de todo este proceso creativo, donde intervienes tú pero también la herramienta digital, ¿te cambia la percepción que tú tienes como autora de una pieza?

Digamos que mi percepción como autora siempre ha sido bastante abierta. Creo que la cultura y la creación son espacios en base a una previa, a una herencia. Al final la IA por sí misma no puede cantar: soy yo quien le tengo que hacer cantar.

Después de un tiempo de incertidumbre, ahora muchas de las creaciones hechas con IA se tienen que etiquetar como tal. ¿Dónde pones los límites éticos del uso de este recurso?

Para mí es muy importante definir que no solo hay una manera de usar la IA, hay muchas. Vivimos en un mundo extremadamente capitalista y, por lo tanto, una herramienta tan poderosa en manos de muy poca gente da mucho miedo porque ya vemos que el uso que se hace dista mucho de ser ético y positivo. A mí me ha tocado vivir en esta época y, como creadora inquieta, quiero entender cómo funciona y cómo la puedo usar de manera creativa para ver si me interesa o no. Todo el mundo conoce la IA, pero nadie sabe cómo funciona. Y esto tiene que ver con uno de los males de esta época, que es la bajísima capacidad de atención que tenemos, y que a la vez tiene que ver también con cómo se utilizan estas tecnologías. Para mí es muy importante hacer un uso ético para ponerme en el lugar donde yo me quiero situar en el uso de esta tecnología que ya es imparable.

Lee también

¿Tienes miedo que la IA, en un determinado momento, nos lleve a homogeneitzar la creación artística?

No hay IA sin personas. En todo caso, serán las personas las que homogeneizan, no la IA por sí misma. Ya sabemos que hay un montón de música hecha hoy en día que sirve para activar las plataformas musicales, para que no pierdan su crecimiento, y que al final la homogeneización es una dinámica que ya existe en el mainstream. Somos los humanos los que usamos las IAs.

Ahora que ya has entrado de lleno en el mundo de las herramientas digitales más avanzadas, ¿hay algo que te gustaría experimentar más allá del trabajo que estás haciendo ahora con este nuevo disco?

Ahora hay todo el tema de los ordenadores cuánticos… Creo que sería muy interesante poder hacer algo con esto.

Para acabar… fuera del ámbito de creación artística, ¿te consideras tecnológica? ¿Me tengo que imaginar la casa de Maria Arnal llena de gadgets tecnológicos?

¡No, no! Yo dedico los recursos a la música y a mi proyecto. Me encanta la tecnología, me encanta saber qué es lo que puedes hacer, pero en un ámbito determinado. Yo soy muy artesanal.

Mostrar comentarios
Cargando siguiente contenido...