Et si à force de chier sur la techno, le vocoder et l’autotune (pardon, l’ajustement automatique d’intonation1), c’était carrément des robots qui envahissaient les charts ? Pas nos deux Versaillais casqués, des vrais de vrais, en métal et en circuits imprimés, ou en lignes de code alambiquées. Un joli pied de nez à tous les auditeurs de tout, sauf du rap, et aux allergiques aux sons non-organiques.
En 2017 j’écrivais sur la place de l’algorithme dans la création musicale, en particulier du projet du laboratoire de Sony qui avait créé un titre de pop 60s à la Beatles en décorticant des centaines de morceaux de l’époque.
Trois ans plus tard, les bots utilisant le machine learning pour créer de la musique se sont développés, quand ce ne sont pas carrément de vrais robots qui font directement de la musique. Je vous fais péter pour l’occasion trois exemples de robots musicaux.
Shimon, le robot
Shimon est l’exemple de robot musicien le plus impressionnant, puisqu’il combine intelligence artificielle (ou plutôt machine learning) et vraie carcasse amovible. Ce qui fait qu’il est capable de jouer des marimbas, de composer des mélodies, d’écrire des chansons et même de les chanter.
Il a été créé par le Professeur Weinberg, directeur du Georgia Tech Center for Music Technology et musicien de jazz, qui voulait qu’on écrive des chansons à sa place. Avec l’aide de ses élèves, il a fait apprendre à Shimon 50 000 paroles de musiques de jazz, de hip-hop et de prog-rock. Le tout grâce au deep learning, une classe du machine learning.
« Il y a beaucoup de systèmes qui utilisent le deep learning, mais pour les paroles c’est différent. La façon dont le sens sémantique se déplace à travers les paroles est différente. De plus, la rime et le rythme sont évidemment super importants pour les paroles, mais ce n’est pas aussi présent dans les autres générateurs de texte. Donc, nous utilisons un apprentissage profond (deep learning) pour générer des paroles, mais il est également combiné avec des connaissances sémantiques ».
Le processus de création est assez simple :
- Weinberg donne un thème ;
- Shimon écrit des paroles à partir de ce thème ;
- Weinberg assemble les textes et compose les chansons ;
- Parfois, Shimon compose aussi quelques mélodies ;
- A l’aide d’un groupe (humain), ils jouent ensemble les morceaux créés.
Shimon a sa propre voix, unique, elle aussi créée et entraînée grâce au machine learning. Mais il y a encore mieux : il peut bouger sa tête, ses sourcils et sa bouche en rythme. Il peut réaliser des chorégraphies, et même compter la mesure avant le début d’une chanson.
C’est cet ensemble de choses qui lui a permis de sortir un album, « Shimon Songs« , que vous pouvez écouter sur Spotify, et de réaliser des concerts avec son groupe humain.
On ne sait pas s’il tape des traces dans les loges, mais il a presque déjà tout d’une vraie star.
Travis Bot, un Travis Scott de 1 et de 0
Si vous avez suivi un tant soit peu les dernières années rap, vous avez dû entendre parler de Travis Scott, la coqueluche trap consacrée depuis son « Astroworld » en 2018.
Un succès qui a donné des idées à l’agence créative Space 150, qui a créé un morceau de Travis Scott 100% à partir du machine learning. L’outil a balayé la discographie de l’artiste pour claquer un titre inédit. Histoire de compléter le tableau, l’agence a réalisé un clip en deep fake.
A quoi bon se faire chier avec un vrai rappeur à la fin ? On a peut-être percé le secret de Jul…
Jukebox, l’IA qui resuscite le King
OpenAI est l’un des organismes les plus investis dans la recherche de l’intelligence artificielle, en partie fondé par des gros pontes comme Elon Musk et Peter Thiel, déjà derrière le monstrueux PayPal.
Vous avez sûrement entendu parler de leur GPT-3 ou Image GPT, deux modèles capables de générer des textes pour le premier et de séquences de pixels pour le second. GPT-3 a permis d’écrire un article récompensé par le Guardian et peut même créer du code informatique, le tout en utilisant le deep learning et 175 milliards de paramètres.
Mais ce qui nous intéresse ici, c’est son application à la musique. L’Intelligence Artificielle nommée Jukebox réussit à comprendre le contexte de la chanson en la comparant à des milliers d’autres, dont certaines de genres différents, pour créer de nouveaux morceaux de toutes pièces dans un genre similaire. C’est par exemple le cas du morceau dans le style d’Elvis Presley un peu plus haut ou de celui dans celui de Katy Perry.
En gros, Jukebox décompose les musiques à sa disposition, définit une voix et un texte, crée les harmonies et trouve les mélodies et le tempo adaptés.
Si la performance est impressionnante, l’IA n’a pas encore vraiment trouvé son utilité. C’est en tout cas ce qui ressort des premières utilisations par des musiciens, comme le déplorent les créateurs de Jukebox :
Nous avons partagé Jukebox avec un ensemble de 10 musiciens de différents genres… malheureusement ces musiciens n’ont pas trouvé que notre invention était immédiatement applicable à leur processus de création.
1 : C’est l’une des nouvelles traductions de la Commission d’enrichissement de la langue française, qui prend un malin plaisir à dénaturer tous les termes anglais déjà bien utilisés.