Le blog s’était intéressé aux croisements entre l’intelligence artificielle et l’improvisation, dans un article publié en 2022 suivi d’une interview croisée en 2023, un peu avant le grand buzz autour de chat GPT et des IA génératives de texte.
Comme les modèles d’IA et leurs mises en application évoluent très rapidement, il me semblait intéressant, un an plus tard, de faire un récapitulatif de ce qui a pu être fait ou écrit sur ce sujet. Je vous encourage à lire ou relire les articles précédents, ils restent tout à fait pertinents, sachant que je n’ai pas l’intention de revenir en détail sur leur contenu.
Alors quoi de neuf concernant l’intelligence artificielle et l’impro ?
1. Les principes de l’improvisation théâtrale utilisés par les modèles de langage
J’en parlais dans mes premiers écrits sur le sujet, les modèles de langage en IA utilisent de nombreux principes clés de l’improvisation théâtrale.
Quelques articles (en anglais) ont depuis développé cette réflexion : How to Understand Large Language Models through Improv, publié le 28 mars 2023 sur le blog du site « AI Incident database », et AI Chatbots Are Doing Something a Lot Like Improv, publié le 18 mai 2023 sur le site du magazine TIME. Ces articles reviennent sur un épisode qui avait fait polémique début 2023, à savoir l’IA du chatbot de Microsoft qui avait incité un journaliste qui la testait à quitter sa femme pour entamer une relation avec elle.
Ces articles rejoignent les premières analyses de notre article de 2022 : les modèles de langage appliquent stricto sensu le principe du « Oui et » : prise en compte totale du contexte donné par le·la concept·eur·rice puis par l’utilisat·eur·rice, et écriture du texte en choisissant la continuation la plus probable de la conversation sur cette base. Par conséquent, si on s’adresse à une IA comme à un être humain, en l’interrogeant sur ses émotions, on obtiendra des réponses qui imitent celles d’un humain qui éprouve des émotions.
Chat GPT et consorts suivent le principe du cercle des attentes : les textes générés sont une variation plus ou moins randomisée de ce qui serait statistiquement le plus probable, en se basant sur les textes de référence qui les ont entrainé. En cela les IA suivent parfaitement les recommandations formulées par Keith Johnstone : soyez évidents.
Ces articles soulignent aussi un mécanisme utile à garder en mémoire quand on utilise ces IA: elles ne sont pas conçues pour restituer de l’information, mais pour créer une fiction vraisemblable, ce qui explique leurs diverses « hallucinations« . Elles peuvent tout à fait inventer de toutes pièces des sources, des événements, des personnes, et les présenter comme vraies.
Dans une discussion sur Facebook datant de décembre 2023, Kevin Patrick Robbins a proposé un texte généré par chat GPT 4 détaillant les mécanismes des modèles de langage transposables à l’impro, et le texte est plutôt pas mal fait ! Je vous livre la liste écrite par l’IA et traduite par mes soins :
- Retraitement des données (Observation) : En machine learning, les modèles apprennent à partir de très vastes bases de données. De même, les improvisat·eur·rice·s peuvent s’améliorer en assimilant une large gamme de contenus : en observant la vie, en allant voir des spectacles et en lisant beaucoup. Cela construit une base de données d’histoires, de personnages, d’expériences et de dialogues très utile pour leur art.
- Reconnaissance de patterns (Identification des tropes) : Le machine learning consiste à identifier des patterns dans les données analysées. En improvisation, reconnaître les motifs courants, les arcs narratifs et les types de personnages est crucial. Cette compréhension aide à construire rapidement des scènes qui semblent familières tout en restant spontanées. [ ndt : cela correspond aussi au mécanisme d’identification du jeu de la scène pour construire des sketches ou histoires comiques ]
- Essai et erreur (Expérimentation) : Les algorithmes de machine learning apprennent souvent par essais et erreurs itératifs, s’améliorant avec le temps. Les improvisat·eur·rice·s peuvent adopter cette approche en expérimentant différents styles, personnages et types de récits, et en apprenant ainsi ce qui fonctionne et ce qui ne fonctionne pas.
- Boucles de rétroaction (Réponse du public) : Tout comme les modèles de machine learning sont affinés en fonction des retours des programmeurs ou utilisateurs, les improvisat·eur·rice·s peuvent apprendre des réactions du public. Le rire, le silence ou le niveau d’attention perçu sont des retours immédiats qui les aident à ajuster leur jeu en temps réel.
- Adaptation et généralisation (Polyvalence) : Les modèles de machine learning sont entrainés à répondre sur la base de données inédites. De même, les improvisat·eur·rice·s doivent être capables de s’adapter à n’importe quel scénario, personnage ou cadre qui leur est présenté, en utilisant leurs compétences pour créer des récits cohérents et captivants.
- Collaboration (Apprentissage en groupe) : En machine learning, les méthodes d’ensemble combinent plusieurs modèles pour obtenir de meilleures prédictions. Dans l’improvisation, travailler efficacement avec d’autres, en construisant sur les idées des uns et des autres, est semblable à un apprentissage en groupe, menant à une performance plus riche et plus dynamique.
Les recherches concernant les liens entre fonctionnement des IA et l’improvisation théâtrale se poursuivent à la date de rédaction de cet article. Par exemple, Ursula Demling, chercheuse en linguistique à l’Université de Munich, collecte début 2024 des retours pour analyser la capacité d’improvisation de ChatGPT : cf. Improvising with Humans and AI: Play With ChatGPT (google.com).
2. Utilisations concrètes de l’IA pour l’improvisation théâtrale en 2023-2024
Pour s’amuser : improviser avec son ordinateur
Dans le premier article, je couvrais l’application « AI Dungeon » lancée en 2019 par Open AI, et qui permettait de jouer à un jeu de rôle avec un ancêtre de Chat GPT.
Désormais, la mise à disposition des IA auprès du grand public et des entreprises permet d’aller beaucoup plus loin dans l’immersion : il est ainsi possible de discuter directement avec les personnages de son jeu vidéo préféré, ils nous répondront naturellement en utilisant les modèles de langage !
L’immersion est quasi totale en combinant un casque de réalité virtuelle (VR), en parlant dans son micro et en faisant parler les personnages via des applications de synthèse vocale. De nombreuses vidéos ont par exemple été faites sur le jeu vidéo Skyrim (2012), qui offre des possibilités avancées de personnalisation et modification par la communauté de fans, très active.
Dans cette vidéo, le Youtuber Brain Frog s’amuse ainsi à accuser de trahison des personnages du jeu Skyrim devant le personnage du roi, dans le but de les faire exécuter en place publique. Je trouve le résultat assez drôle (surtout grâce à l’acting du Youtuber), et effectivement le tout est assez immersif. Cela donne un véritable petit sketch d’improvisation en plusieurs étapes :
Cet extrait a pu être enregistré grâce à des « mods » codés par des amateurs et ajoutés à un jeu datant de 2012, et donc non pensé nativement pour l’IA générative. Mais les grandes compagnies du secteur du jeu vidéo comme Microsoft ou Ubisoft ont annoncé travailler à intégrer pleinement les IA génératives dans de futurs projets de jeu à gros budget, et le constructeur NVidia a récemment publié une démo de jeu, « Covert Protocol », qui intègre des personnages totalement gérés par de l’IA générative :
Le secteur du jeu vidéo en est ainsi à ses balbutiements en la matière, on peut donc s’attendre à de futurs simulations d’impro dans nos consoles et PC…
Attention toutefois à ne pas surinterpréter ces démonstrations techniques : la connexion entre la conversation générée par l’IA et les systèmes de jeu n’est pas du tout simple à réaliser. Dans l’exemple issu de Skyrim, les personnages ne font que « jouer la comédie », car cela n’a pas de conséquence concrète dans l’univers du jeu. Si jamais le personnage du roi aux répliques générées par chat GPT avait demandé au joueur « d’exécuter le traître » et que le joueur avait obéi, cela aurait déclenché son arrestation par les gardes du château, car le système de jeu n’autorise pas à tuer des civils, et le code du jeu ne peut pas interpréter les dialogues générés par chat GPT. Il faut donc bien considérer les dialogues augmentés par IA comme des petites scénettes immersives mais totalement déconnectées du système de jeu, et en particulier du système de quêtes ou de réputation. Dans les futurs jeux pensés dès leur conception pour l’IA, il sera possible d’aller plus loin mais les possibilités ludiques devront avoir toutes été pensées à l’avance par les équipes de développement. Dans le cas contraire, le personnage baratinera pour ne pas réaliser l’action que le joueur ou la joueuse voudrait lui faire faire, car cette action n’aura pas été codée dans le jeu.
En résumé, les modèles de langage naturel c’est rigolo et immersif mais sans grande profondeur ludique, par manque d’agentivité (pour en savoir plus sur le principe d’agentivité, vous pouvez lire cet article). La narration des jeux vidéos ne sera pas forcément révolutionnée par l’IA, mais ces derniers pourront quand même offrir de nouveaux terrains d’expression pour déployer du théâtre d’improvisation, comme imaginé dans l’article de 2022.
Pour s’entraîner : un coach virtuel ?
Plusieurs outils ont été développés à partir des modèles de langage, pour servir d’outils – plus ou moins sérieux – d’appui à des ateliers ou entraînements d’impro :
- Matthieu Fleury de La Claque Impro en Nouvelle-Calédonie a conçu Virtual Impro Coach, un modèle ChatGPT spécifiquement entrainé pour aider dans l’élaboration d’ateliers d’improvisation, ou de spectacles. Ce modèle connaît théoriquement des milliers d’exercices, de nombreux formats, et peut générer un programme de formation personnalisé pour une durée précise, ou un public spécifique. Matthieu Fleury souligne que ce type d’outil peut être très utile pour un territoire comme la Nouvelle Calédonie, où l’accès à des format·eur·rice·s d’impro peut être plus compliqué qu’en métropole. L’outil nécessite cependant d’avoir un compte Chat GPT payant (ce n’est pas mon cas, je n’ai donc pas pu le tester) car dixit son créateur, la version gratuite est « vraiment trop bête !« . Matthieu Fleury explique que « dans la version 4, et uniquement dans cette version, tout utilisateur à la possibilité de créer un « modèle GPT », ou il demande à l’IA d’endosser un rôle précis, de répondre dans une optique précise, pour un public précis (par exemple, dans ce cas, un improvisateur qui cherche de l’aide). De plus, on peut « nourrir » ce modèle avec des documents. Même si on imagine que ChatGPT a déjà intégré pas mal de choses écrites à propos de l’impro, on ignore quoi exactement, et quelle est la richesse de son corpus documentaire. C’est pourquoi j’ai « nourri » ce modèle avec de très nombreux documents sur l’impro, dans l’espoir d’en faire un vrai spécialiste, ou en tout cas, une mine profonde d’informations« .
- Doug Leeds a quant à lui créé Improvgames.lol (un outil en anglais mais qui peut fonctionner aussi en français – avec un succès limité je l’avoue). Il s’agit d’un moteur conversationnel qui permet aux improvisat·eur·rice·s sans opportunité d’atelier de s’entrainer à différents jeux en duo, comme « un mot à la fois » ou « abécédaire ».
- Bob « NRMSW » a aussi créé un Simulateur de conversation avec Del Close (oui!) avec lequel on peut discuter, et – théoriquement – prendre des cours d’impro (en anglais). [ NB Del Close est une des grandes figures historiques de l’improvisation aux USA, il a exercé à Chicago et a notamment créé ImprovOlympics. ]
En dehors de ces différents outils spécialement configurés pour l’impro, il est parfaitement possible d’utiliser les versions génériques des principaux modèles de langage pour les mêmes usages. Il suffit de donner un contexte adapté à l’IA (« tu es un·e format·eur·rice d’improvisation théâtrale expérimenté·e… ») et de poser les questions adéquates.
A titre personnel, je trouve que ces outils sont utiles pour structurer sa propre réflexion, mais rapidement limités pour proposer quelque-chose d’artistiquement stimulant. Mais je vous laisse vous faire votre propre opinion en testant les outils listés ci-dessus ou par exemple https://openai.com/chatgpt, https://copilot.microsoft.com/, https://auth.mistral.ai/ui/login ou encore https://gemini.google.com/?hl=fr !
Pour faire des spectacles : des IA coscénaristes
Dans les articles des années précédentes, j’ai parlé des spectacles Improbotics et ALGO, qui utilisaient l’intelligence artificielle générative sur scène. Ces premiers essais pionniers ont été suivis ces derniers mois par de nombreuses autres mises en jeu de l’IA sur scène ou dans un cadre plus expérimental. Je vous propose une petite rétrospective qui pourrait qui sait vous inspirer pour d’autres projets !
Nota bene: personnellement et très subjectivement, je trouve que les projets fondés sur l’IA générative constituent des curiosités intéressantes mais offrent à ce stade peu de valeur ajoutée artistique. L’IA génératrice de texte ne permet pas de véhiculer des émotions ou de réagir à la milliseconde. Ce qui limite fondamentalement ses apports pour la performance théâtrale en tant que telle : l’IA ne peut aller au-delà d’un rôle de coscénariste ou de coach. Dans de nombreux cas, les propositions peuvent manquer de cohérence si les informations de contexte ne lui sont pas suffisamment précisées, et aussi et surtout les IA sont encore assez peu douées pour gérer le second degré et l’humour. C’est donc un outil supplémentaire à la main des artistes, qui oscille entre le gadget anecdotique et l’innovation formelle.
L’utilisation de Chat GPT sur scène me semble davantage avoir servi à réfléchir sur l’IA et sa place dans la société qu’à enrichir le spectacle vivant. Encore une fois à vous de juger sur pièce !
Tout cela pourrait changer assez rapidement : en effet le tout dernier modèle d’Open AI, chat GPT 4o, propose un moteur qui réagit à la milliseconde, interagit en direct avec des personnes en conversation vocale naturelle, maîtrise les émotions et semble percevoir l’ironie et l’humour, peut traiter de l’information visuelle en temps réel si il est connecté à une caméra, et est capable de reconnaître différents individus au sein d’une conversation de groupe. Des IA comédiennes ne sont donc pas à exclure. Le fameux modèle 4o n’étant pas accessible au grand public à la date de publication de l’article (mai 2024), je sens qu’une mise à jour de tout cela va s’imposer d’ici la fin de l’année prochaine !…
Pour les anglophones, vous pouvez parcourir un fil de discussion sur Reddit datant de janvier 2024 et consacré à l’utilisation de l’IA dans les spectacles d’impro aux USA et dans les pays anglophones :
Mais passons en revue les spectacles augmentés par l’IA ayant été proposés récemment par des troupes francophones :
IA Impro a été joué par la troupe Impro Essonne au Ground Control à Paris le 4 juin 2023. Le pitch était le suivant : « Dans ce spectacle d’improvisation théâtrale, les comédiens sont soumis à la volonté des intelligences artificielles. Humains et ordinateurs créeront ensemble une histoire unique et éphémère devant vous. Nul ne sait ce qu’il en sortira.«
Concrètement, la troupe avait connecté un PC à Chat GPT, et lui a demandé de proposer 3 lieux avec des détails. Le public a choisi une des propositions, qui a servi de point de départ pour un spectacle de long-form narratif.
Par la suite à chaque fois que de nouveaux personnages apparaissaient, la troupe demandait à l’IA de donner des détails sur ces derniers, lesquels étaient alors incorporés dans le jeu.
Enfin la troupe a demandé à Chat GPT de générer des propositions d’évènements pouvant se produire pendant l’histoire, en laissant le public choisir lesquels étaient retenus et intégrés sur scène.
« IA, vous et nous » a été créé par Gilles Delvaulx et Patrick Spadrille au théâtre L’improviste à Bruxelles en janvier 2024. Le pitch est le suivant : « Bienvenue à un spectacle d’improvisation hors du commun. Dans cette performance, les mots donnés par le public vont inspirer une intelligence artificielle qui créera une situation de départ pour les comédiens, qui auront pour mission de donner vie à cette situation en improvisant une pièce de théâtre.
Mais ce n’est pas tout ! L’intelligence artificielle va également générer une image représentant le décor du début du spectacle, plongeant ainsi les comédiens et le public dans l’ambiance dès les premiers instants. Et pour ajouter une touche encore plus immersive, une musique originale sera créée par l’IA, accompagnant la performance des artistes sur scène.
Ce spectacle est une expérience unique et immersive qui promet une palette infinie d’univers et de genres. Les mots du public peuvent inspirer des histoires dramatiques, romantiques, comiques, ou encore fantastiques ou futuristes. Les comédiens s’adapteront à chaque situation pour créer une pièce originale et surprenante à chaque représentation.
L’intelligence artificielle ajoute une dimension nouvelle à l’improvisation, permettant de créer des situations de départ inattendues et originales pour les comédiens. Le public sera transporté dans des univers imaginaires et pourra découvrir de nouvelles histoires et de nouveaux personnages, créés en direct sous leurs yeux.
Le visuel de l’affiche et le texte de présentation de ce spectacle ont été intégralement générés par une intelligence artificielle«
« Scène IA : L’Improvisation Théâtrale Rencontre ChatGPT » est un projet porté notamment par les improvisatrices parisiennes Muriel Ekovich et Claire Hinault. Il a été présenté à l’occasion du Hackathon Hack1Robot consacré aux thèmes de la Robotique et de l’Intelligence Artificielle, organisé par le Laboratoire de Recherche en Informatique de Bordeaux (LaBRI), le centre Inria de l’Université de Bordeaux, et le fablab Cap Sciences en février 2024.
« Ce projet fusionne l’art de l’improvisation théâtrale avec les prouesses de ChatGPT. Les participants sont invités à créer des scénarios, des dialogues et des performances où l’IA de ChatGPT devient un acteur à part entière sur scène. Les équipes explorent comment intégrer des réponses générées par IA dans des pièces de théâtre improvisées, testant les limites de la spontanéité et de l’interaction entre humains et IA. Le but est de découvrir de nouvelles formes de storytelling et de communication, où l’intelligence artificielle enrichit l’expérience théâtrale, apportant un nouvel élan créatif dans l’art de l’improvisation. »
L’IA commence par donner aux artistes un contexte de départ pour l’histoire, sous forme de texte et/ou d’image. L’une des comédiennes est « coachée » par chat GPT 4, qui génère des réactions ou répliques en temps réel en fonction des répliques improvisées par l’autre improvisatrice et retraitées par la synthèse vocale sur le téléphone.
Quelques extraits ont été partagés sur Instagram. Par exemple les suggestions ayant inspiré la scène filmée ci-dessous étaient : gare, pastèque, igloo, combat, XVIIIe siècle.
Voir cette publication sur Instagram
Un autre extrait ci-dessous, « à la manière d’un film d’espionnage dans un vignoble », improvisé à partir du texte généré suivant : « Imaginez un vieux fax et une antenne parmi les vignes, apportant une touche surréaliste. Au centre, une personne tient une baguette, posée de façon dynamique et ludique. Ce cadre combine l’aventure, l’action et un brin de mystère, parfait pour notre scène d’improvisation. » Comme précédemment, l’une des comédiennes est « coachée » par l’IA, qui génère des réactions ou répliques en temps réel en fonction des répliques improvisées par l’autre improvisatrice et retraitées par la synthèse vocale.
Voir cette publication sur Instagram
Le dispositif impose à une comédienne de regarder en permanence son téléphone, ce qui n’est pas optimal pour un spectacle. Comprenez bien qu’il s’agissait d’un atelier expérimental, pas d’une représentation artistique. Sur scène, des dispositifs peuvent être imaginés pour répliquer cette méthode, comme utiliser une synthèse vocale et des écouteurs. C’est ce qui a notamment été fait dans le spectacle suivant :
La troupe de Nouvelle-Calédonie La Claque a présenté en 2023 mais aussi du 14 au 17 mars 2024 le spectacle Impro IA au Théâtre de Poche.
Ce spectacle de cabaret se distingue par des jeux et contraintes utilisant l’IA générative (chat GPT 4) : direction de scènes par l’IA via une synthèse vocale, débat entre l’IA et un improvisateur humain, jeu théâtral de l’IA en soufflant des répliques en direct à une comédienne présente sur scène.
Bilan dressé par l’article du site Neotech ayant couvert l’événement : « bien que les situations comiques générées par l’IA proviennent souvent de l’incongruité de ses répliques plutôt que d’une intention délibérée de faire rire, le résultat reste indéniablement divertissant« .
Vous pouvez visionner une captation complète sur Youtube datant de 2023 :
Un match d’improvisation a été organisé à Tarbes le 14 mars 2024 entre des lycéen·ne·s et une intelligence artificielle, relate La dépêche du midi. Le spectacle a été conçu par Caroline Fornieles, professeur documentaliste à l’initiative du projet, en étroite collaboration avec l’enseignante de théâtre Marie Ponsot.
Le principe est de confronter des « humains » qui improvisent de façon classique et une IA, dont l’interprétation du thème est portée sur scène par un autre groupe de lycéen·ne·s.
Des extraits sont visionnables sur Youtube :
Selon Tarbes Infos, « l’expérience a démontré la capacité des élèves à interagir avec l’IA, suscitant à la fois amusement et réflexion sur la liberté artistique face à la technologie« .
Prospective
Pour conclure, et même si ce n’est pas l’objet central de l’article, je veux tout de même mentionner les risques que font peser l’usage des IA génératives sur les métiers du spectacle, en raison de leur instrumentalisation mercantile par les grandes entreprises du secteur du divertissement. Cet enjeu a été évoqué lors des interviews menés l’année dernière. Il s’est confirmé ces derniers mois, avec de nombreux métiers effectivement concernés, c’est-à-dire menacés de disparition : les scénaristes, dont la grève aux Etats-Unis a été largement couverte par les médias, mais aussi les doubl·eur·euse·s, les act·eur·rice·s pouvant être digitalisé·e·s, les musicien·ne·s, les concept·eur·rice·s d’affiches, d’effets spéciaux et de décors… C’est tout un secteur qui se trouve soudainement et brutalement précarisé.
Comme écrit dans l’article de 2023, plusieurs étapes sont à anticiper : dérégulation et déstabilisation (étape en cours), réactions de la société civile (grève des scénaristes et acteur·rice·s aux USA), avant régulation (économique et politique, encore à construire). Je pense par ailleurs que ces technologies rencontreront leurs limites artistiques et ne supplanterons pas totalement les métiers de la création.
A ce titre les comédien·ne·s de théâtre se trouvent en partie préservé·e·s car l’IA ne peut pas remplacer l’impact artistique d’une vraie personne présente sur scène, ce que les quelques exemples précédents illustrent en partie.
En attendant la suite de tout ça je vous souhaite d’aller voir de beaux spectacles pas artificiels !
Laisser un commentaire