Durante casi una década, nuestros equipos han estado explorando cómo la inteligencia artificial (IA) puede apoyar el proceso creativo , construyendo herramientas que empoderan a los entusiastas y profesionales a descubrir nuevas formas de expresión creativa.
Durante el último año, hemos estado trabajando en estrecha colaboración con socios de toda la industria musical a través de nuestra Incubadora de IA musical y otros medios. Sus aportes han guiado nuestros experimentos de música generativa de vanguardia y nos han ayudado a garantizar que nuestras nuevas herramientas de IA generativa abran de manera responsable las puertas de la creación musical a todos.
Hoy, en asociación con Google Labs , lanzamos una experiencia renovada para MusicFX DJ que permite a cualquier persona generar música de forma interactiva y en tiempo real.
También anunciamos actualizaciones de nuestro kit de herramientas de IA musical, llamado Music AI Sandbox , y destacamos nuestras últimas tecnologías de IA musical en Dream Track de YouTube , un conjunto de experimentos que los creadores pueden usar para generar instrumentales de alta calidad para sus cortos y videos.
Generando música en vivo con MusicFX DJ
En I/O de este año, compartimos un avance de MusicFX DJ , una herramienta digital que cualquiera puede tocar como un instrumento, haciendo que la alegría de crear música en vivo sea más accesible para personas de todos los niveles.
Hoy presentamos una serie de actualizaciones para MusicFX DJ, que incluyen un conjunto ampliado de controles intuitivos, una interfaz rediseñada, una calidad de audio mejorada y nuevos comportamientos de modelos. Estas capacidades permiten a los jugadores generar y dirigir un flujo continuo de música, compartir sus creaciones con amigos y tocar juntos en una sesión de improvisación.
Trabajando en estrecha colaboración con Jacob Collier , cantante, compositor, productor y multiinstrumentista ganador de seis premios GRAMMY, diseñamos estas actualizaciones para que MusicFX DJ sea más accesible, útil e inspirador.
A diferencia de las herramientas de DJ tradicionales que mezclan pistas preexistentes, MusicFX DJ genera música completamente nueva al permitir que los jugadores mezclen conceptos musicales como indicaciones de texto. Con MusicFX DJ, los jugadores pueden combinar sus géneros, instrumentos y vibraciones favoritos para crear nuevos estilos, improvisar un set de DJ en vivo o buscar nuevas melodías, timbres y ritmos para usar en la producción.
Si bien no es un instrumento musical tradicional, MusicFX DJ es un punto de entrada accesible y expresivo a la creación de música en vivo. Independientemente de la experiencia musical de cada uno, MusicFX DJ ofrece a los músicos controles intuitivos para generar y dirigir un paisaje sonoro musical único y en constante evolución.
Creas esta masilla sónica en tiempo real que sorprende infinitamente y que esencialmente busca alquimizar o forjar conexiones entre cosas que de otro modo serían poco probables. Jacob Collier
MusicFX DJ se sustenta en dos enfoques novedosos. En primer lugar, adaptamos un modelo de música generativa sin conexión para realizar transmisiones en tiempo real. Para ello, lo entrenamos para que generara el siguiente clip de música, en función de la música generada anteriormente y de las indicaciones de texto proporcionadas por el reproductor.
En segundo lugar, en lugar de tener un único mensaje de texto fijo, como los modelos típicos de conversión de texto a música, ofrecemos a los jugadores la posibilidad de combinar varios mensajes de texto y cambiar la combinación con el tiempo. El modelo logra esto combinando representaciones de cada mensaje, conocidas como incrustaciones, con la importancia relativa de cada incrustación, elegida por el jugador mediante un control deslizante. El modelo utiliza estas incrustaciones combinadas para ayudar a dirigir el estilo de la música.
Construyendo controles más intuitivos
Junto con Jacob, buscamos descubrir y construir controles dedicados que pudieran ser intuitivos para principiantes, alentar la experimentación y brindar rutas más diversas para la expresión creativa que las indicaciones de texto únicamente.
Con los nuevos controles de MusicFX DJ, los jugadores pueden dirigir la instrumentación y crear fácilmente cortes y bajos quitando y agregando el bajo, la batería y otros instrumentos. Pueden ajustar aspectos de textura de la música, como cuán brillante u oscura, repetitiva o aleatoria y suave o áspera debe sonar y sentirse.
Los músicos también pueden controlar la tonalidad y el tempo, lo que facilita la interpretación junto con la música existente y con otros durante sesiones de improvisación prolongadas. Nuestros equipos han disfrutado mucho utilizando MusicFX DJ junto con sus instrumentos tradicionales y estamos ansiosos por escuchar lo que otros crean con estas nuevas capacidades.
Generando sonido con calidad de producción
Como parte de la colaboración, también exploramos cómo un reproductor podría usar la salida del modelo como fuente de inspiración y como parte de una gran composición. Pero nuestros modelos anteriores carecían de la calidad necesaria para crear audio profesional. Gracias a las últimas innovaciones de nuestro equipo de investigación de audio, incluidos los nuevos códecs de audio neuronal y las arquitecturas de red optimizadas, MusicFX DJ ahora puede transmitir audio estéreo de 48 kHz con calidad de producción en tiempo real.
Compartir y descargar audio
Inspirados por el enfoque de Jacob en la colaboración creativa, tanto con otros artistas como con su público , queríamos facilitar la interacción y el intercambio de música creada con MusicFX DJ. Los jugadores ahora pueden descargar 60 segundos de su audio de MusicFX DJ y compartir sesiones con amigos, quienes pueden ver la reproducción de una actuación e incluso participar para tomar el control en cualquier momento, llevando la música en una dirección completamente nueva.
Un conjunto de herramientas ampliado de Music AI Sandbox
Music AI Sandbox es un conjunto experimental de herramientas de IA para la música que tiene como objetivo potenciar los flujos de trabajo de los músicos, productores y compositores que colaboran con nosotros a través de la Incubadora de IA para la música de YouTube . Ha sido un valioso campo de pruebas para recopilar comentarios de diversos artistas, compositores y socios de toda la industria musical sobre nuestras herramientas de música generativa más recientes y experimentales. Si bien Music AI Sandbox no está disponible públicamente en este momento, los elementos exitosos de este trabajo se integrarán en productos de Google de amplio acceso.
Desde que mostramos públicamente Music AI Sandbox en el I/O de este año, también hemos estado trabajando en estrecha colaboración con el equipo de Tecnología y Sociedad de Google para mejorar la experiencia del usuario y conectarnos con la comunidad artística a gran escala para recopilar comentarios. Este trabajo nos ha ayudado a realizar actualizaciones importantes en los modelos detrás de este conjunto de herramientas.
Pronto, los evaluadores de confianza podrán esbozar una canción y usar una vista de múltiples pistas para ayudar a organizar y refinar las composiciones con controles precisos. Esta nueva versión de Music AI Sandbox integra nuestras últimas tecnologías, incluidos los modelos que impulsan MusicFX DJ, junto con funciones populares como generación de bucles, transformación de sonido y pintura interna para ayudar a los usuarios a conectar sin problemas partes de sus pistas musicales.
El experimento Dream Track de YouTube ahora genera bandas sonoras instrumentales
A partir de nuestro trabajo continuo con YouTube, hemos desarrollado nuestro experimento Dream Track para permitir que los creadores estadounidenses exploren una variedad de géneros e indicaciones que generan bandas sonoras instrumentales con potentes modelos de texto a música.
[Seguir leyendo…]
https://deepmind.google/discover/
