LyricJam, un système capable de générer des paroles autour d'une composition en direct

(ETX Daily Up) - Des chercheurs de l'université de Waterloo au Canada ont développé LyricJam, un système de deep learning capable de générer en direct des paroles pour de la musique instrumentale. L'objectif est de créer un outil pour permettre aux artistes d'explorer des thèmes, des idées se rapportant aux émotions produites par leur musique.

LyricJam, futur outil indispensable pour les artistes en quête d'inspiration ? C'est en tout cas le projet des chercheurs de l'université de Waterloo en Ontario avec un système informatique capable de générer des paroles pour de la musique instrumentale, en direct. À la différence d'autres systèmes de génération de paroles, LyricJam peut proposer des mots adaptés au rythme, aux accords ou encore aux instruments en temps réel, comme un artiste joue de la musique en direct. Cela peut permettre d'aider les artistes à trouver de nouvelles compositions qui correspondent à leur musique.

Les chercheurs développent ce système de deep learning depuis plusieurs années. Initialement, le but était de pouvoir générer des paroles par rapport au style d'un artiste en analysant ses paroles et sa musique. Au final, le système se développe vers un modèle où l'intelligence artificielle agit comme un partenaire pour proposer de nouvelles possibilités aux créateurs et les inspirer pour de nouvelles créations.

Faire de la musique autrement

"L'objectif de cette recherche était de concevoir un système capable de générer des paroles reflétant l'humeur et les émotions exprimées par divers aspects de la musique, tels que les accords, les instruments, le tempo, etc.", a déclaré Olga Vechtomova, une des chercheuses à TechXplore. "Nous avons entrepris de créer un outil que les musiciens pourraient utiliser pour s'inspirer de leur propre écriture de chansons."

Essentiellement, le système peut traiter la musique live jouée par un musicien ou un groupe et générer des paroles qui correspondent aux émotions exprimées par celle-ci. Les artistes seraient alors en mesure de revoir ces paroles générées et de s'en inspirer ou de les adapter, découvrant ainsi de nouveaux thèmes intéressants ou des idées de paroles qu'ils n'avaient pas envisagées auparavant.

Alors comment tout ça fonctionne ? Le logiciel convertit des fichiers audio en spectrographes puis utilise ses modèles d'apprentissage pour générer des paroles correspondant à la musique traitée en temps réel. Pour lui permettre d'apprendre rapidement, le modèle utilise deux auto-encodeurs variationnels, l'un pour les représentations de l'audio, l'autre pour apprendre les paroles. Les auto-encodeurs sont des réseaux de neurones artificiels que l'on utilise pour représenter un ensemble de données. Il devient variationnel lorsqu'on lui demande de faire des hypothèses de réponse. Ici, les paroles.

Il est possible d'utiliser LyricJam sur ce site pour se rendre compte de son avancée. Il ne fournit pour l'instant que des paroles en anglais. LyricJam pourrait devenir un outil extrêmement précieux pour les artistes à la recherche de paroles uniques et qui désireraient diversifier leurs thématiques. Les chercheurs de l'université de Waterloo continuent de développer le système et essayent de concevoir d'autres outils pour améliorer ses capacités.