OpenAI développe un modèle d'intelligence artificielle capable de résumer des livres

(ETX Daily Up) - OpenAI, l'entreprise à but lucratif plafonnée fondée par Elon Musk, continue d'améliorer son modèle de langage GPT-3 et développe un outil pour résumer des livres ou des textes. Une évolution notable qui pourrait notamment bénéficier aux entreprises. 

Résumer des livres entiers grâce à une intelligence artificielle, c'est possible ! S'il existait déjà des entreprises spécialisées dans le domaine comme Primer ou encore les tentatives de Facebook et Google, OpenAI se positionne dans le secteur. L'association a développé un modèle d'IA capable donc de résumer des livres, mais plus simplement des textes, des documentations ou encore des études. Dans les faits, le modèle résume des petites sections du livre puis les additionne avant de les résumer de façon plus affinée et plus précise. Une recette potentiellement très efficace pour nous aider à gagner en productivité. 

La capacité de résumé des documents long et fastidieux pourrait bien s'avérer utile pour une majorité d'entreprises. Le cabinet McKinsey rapporte que les employés passent environ 1,8 heure par jour, soit 9,3 heures par semaine, en moyenne à chercher et à rassembler des informations liées à leur travail. Quant à leur qualité, ces résumés semblent plutôt bons. OpenAI a demandé à des humains de juger ces résumés et l'ordinateur obtient une note de 6/7 5% du temps par des personnes ayant lus le livre et 5/7 environ 15% du temps. Si ce n'est pas encore extraordinaire par manque de constance, le langage n'est que dans sa phase expérimentale. Le modèle a parfois généré des déclarations inexactes en raison du manque de contexte ou encore certains détails importants sont parfois difficiles à identifier. 

Apprentissage par renforcement

Si la tâche semble facile, résumer des livres, c'est un des segments qui pose problème pour les grands modèles préentraînés qui ne sont pas très bons pour ça. Ce nouveau modèle s'appuie sur des recherches d'OpenAI, qui a constaté dans ses multiples expériences sur l'IA que l'humain avait aussi sa part de responsabilité pour permettre à une intelligence artificielle d'apprendre au mieux. L'entraînement s'aligne sur des commentaires humains pour modifier les préférences des utilisateurs, plus communément appelé apprentissage par renforcement. 

Pour créer le modèle, OpenAI a combiné donc l'apprentissage par renforcement avec une autre idée, celle de rédiger des petits résumés individuels simples et d'en faire des condensés plus affinés au fur et à mesure. Cela permet de faire d'une tâche difficile (résumer un livre ou un long texte complexe) une mission beaucoup plus simple (résumé un livre en plusieurs parties avant de le rendre digeste). Il a été ensuite entraîné sur des livres de fictions contenant plus de 100.000 mots. 

"Ce travail fait partie de nos recherches en cours sur l'alignement des systèmes d'IA avancés, ce qui est essentiel à notre mission", ont écrit des chercheurs d'OpenAI dans un billet de blog. "Nos progrès sur le résumé de livres constituent le premier travail empirique à grande échelle sur les techniques d'alignement à l'échelle. Pour l'avenir, nous recherchons de meilleures façons d'aider les humains à évaluer le comportement des modèles, dans le but de trouver des techniques qui s'adaptent à l'alignement de l'intelligence générale artificielle". 

Pour l'instant, l'association n'a encore pas communiqué si elle comptait rendre son service public et open source.