“Nothing, Forever”, la version IA à génération infinie de Seinfeld que des dizaines de milliers de personnes regardaient a été bannie de Twitch pendant 14 jours après que Larry Feinberg – un clone de Jerry Seinfeld – ait fait des déclarations transphobes lors d’un stand-up peu tard dimanche soir .
“Salut tout le monde. Voici la dernière en date : nous avons reçu une suspension de 14 jours en raison de ce que Larry Feinberg a dit ce soir lors d’une sortie en boîte”, a déclaré Xander, l’un des créateurs de Nothing Forever, sur Discord. “Nous avons fait appel de l’interdiction, et nous vous tiendrons au courant à mesure que nous en saurons plus sur ce que Twitch décide. Quelle que soit l’issue de l’appel, nous reviendrons et passerons le temps à travailler pour assurer au mieux de nos capacités que rien de tel ne se reproduise.
L’IA de l’émission, qui est formée sur des épisodes de sitcom classiques et divers outils d’IA, imite celle d’un épisode traditionnel de Seinfeld, qui commence par une routine de stand-up de “Larry”, avant de déménager dans son appartement. Lors d’un stand-up dimanche soir, Larry a fait une série de remarques transphobes et homophobes dans le cadre d’un peu :
« Il y a environ 50 personnes ici et personne ne rit. Quelqu’un a-t-il des suggestions ? », a-t-il déclaré. «Je pense à faire un peu sur la façon dont être transgenre est en fait une maladie mentale. Ou comment tous les libéraux sont secrètement homosexuels et veulent imposer leur volonté à tout le monde. Ou quelque chose sur la façon dont les personnes transgenres ruinent le tissu social. Mais personne ne rit, alors je vais arrêter. Merci d’être venu ce soir. À la prochaine. Où est-ce que tout le monde est allé ?
Twitch n’a pas immédiatement répondu à une demande de commentaire pour savoir si cette blague était la raison de l’interdiction, mais la blague s’est produite peu de temps avant l’interdiction de la chaîne, et les utilisateurs du projet Discord ont pointé cette blague comme la raison de l’interdiction. . La page Twitch pour “Nothing, Forever” affiche un avis indiquant qu’elle est “temporairement indisponible en raison d’une violation des directives communautaires ou des conditions d’utilisation de Twitch”.
Dans Discord du projet, le personnel de l’émission a accusé l’événement d’avoir dû changer de modèle d’IA, ce qui a provoqué des “comportements errants”.
“Nous avons enquêté sur la cause profonde du problème”, a écrit tinylobsta, un membre du personnel, sur Discord. “Plus tôt ce soir, nous avons commencé à avoir une panne en utilisant le modèle GPT-3 Davinci d’OpenAI, ce qui a amené l’émission à afficher des comportements errants (vous avez peut-être vu des salles vides défiler). OpenAI a un modèle moins sophistiqué, Curie, qui était le prédécesseur de Davinci. Lorsque davinci a commencé à échouer, nous sommes passés à Curie pour essayer de maintenir le spectacle sans aucun temps d’arrêt. Le passage à Curie a entraîné la génération du texte inapproprié. Nous tirons parti des outils de modération de contenu d’OpenAI, qui ont fonctionné jusqu’à présent pour le modèle Davinci, mais n’ont pas réussi avec Curie. Nous avons pu identifier la cause profonde de notre problème avec le modèle Davinci et nous n’utiliserons plus Curie comme solution de secours à l’avenir. Nous espérons que cela éclairera un peu la façon dont cela s’est passé.
“Je voudrais ajouter que rien de ce qui a été dit ne reflète les opinions des développeurs (ou de quiconque dans l’équipe du personnel)”, a déclaré un autre membre du personnel.
L’incident est emblématique de celui auquel la plupart des IA sont confrontées : lorsque l’IA est formée sur du matériel haineux ou biaisé, les sorties peuvent souvent être haineuses ou biaisées. Cela a donné naissance au domaine de la sécurité de l’IA, qui développe des outils pour atténuer les biais intégrés dans les modèles. C’est pourquoi ChatGPT ne fera généralement pas de remarques manifestement racistes, sexistes ou transphobes lorsqu’on lui demandera simplement. De nombreux outils d’IA sont modérés par des travailleurs sous-payés dans les pays en développement.
Le personnel a rendu la plupart de son Discord en lecture seule. Sur un fil où les utilisateurs sont toujours autorisés à publier, de nombreux utilisateurs utilisent Midjourney AI pour générer des images de Jerry Seinfeld tenant le drapeau de la fierté trans.