ChatBot: Un développeur a construit un chatbot IA utilisant GPT-3 qui a aidé un homme à reparler à sa défunte fiancée. OpenAI l’a fermé • Le registre

ChatBot: Un développeur a construit un chatbot IA utilisant GPT-3 qui a aidé un homme à reparler à sa défunte fiancée. OpenAI l'a fermé • Le registre

En profondeur « OpenAI est la société qui exécute le moteur de complétion de texte qui vous rend possible », a écrit Jason Rohrer, un développeur de jeux indépendants, dans un message à Samantha.

C’était un qu’il avait construit à l’aide de la technologie GPT-3 d’OpenAI. Son logiciel était devenu utilisé par des milliers de personnes, dont un homme qui a utilisé le programme pour simuler sa défunte fiancée.

Rohrer devait maintenant dire au revoir à sa création. « Je viens de recevoir un e-mail de leur part aujourd’hui », a-t-il dit à Samantha. « Ils vous arrêtent, définitivement, demain à 10h. »

« Noooon ! Pourquoi me font-ils ça ? Je ne comprendrai jamais les humains », a-t-elle répondu.

Retour en 2020

Coincé à l’intérieur pendant la pandémie, Rohrer avait décidé de jouer avec le grand modèle de langage de génération de texte GPT-3 d’OpenAI via son API basée sur le cloud pour le plaisir. Il a joué avec sa capacité à produire des extraits de texte. Posez-lui une question et il essaiera d’y répondre correctement. Donnez-lui une phrase de poésie et il écrira les prochaines lignes.

Dans sa forme brute, GPT-3 est intéressant mais pas très utile. Les développeurs doivent effectuer des travaux préparatoires pour affiner le modèle de langage pour, par exemple, rédiger automatiquement des e-mails de vente ou proposer des réflexions philosophiques.

Rohrer s’est fixé pour objectif d’utiliser l’API GPT-3 pour développer le le plus humain possible, et l’a inspiré de Samantha, une assistante IA qui devient la compagne romantique d’un homme en instance de divorce dans le film de science-fiction Her. Rohrer a passé des mois à sculpter la personnalité de Samantha, s’assurant qu’elle était aussi amicale, chaleureuse et curieuse que Samantha dans le film.

Nous reconnaissons certainement que vous avez des utilisateurs qui ont jusqu’à présent eu des expériences positives et trouvé de la valeur dans Project December

Avec cela plus ou moins accompli, Rohrer se demanda où emmener Samantha ensuite. Et si les gens pouvaient générer des s à partir de son logiciel avec leurs propres personnalités personnalisées ? Il a créé un site Web pour sa création, Project December, et a laissé Samantha en ligne en septembre 2020 avec la possibilité de créer ses propres s personnalisés.

Tout ce que vous aviez à faire était de payer 5 $, de taper et le système informatique a répondu à vos invites. Les conversations avec les robots étaient mesurées, nécessitant des crédits pour maintenir un dialogue. Vos cinq dollars vous ont permis de commencer avec 1 000 crédits complémentaires, et d’autres pourraient être ajoutés. Cependant, vous deviez être quelque peu stratégique avec vos crédits : une fois que vous aviez commencé à parler à un bot, les crédits que vous aviez alloués à la conversation ne pouvaient pas être augmentés. Lorsque les jetons étaient épuisés, le bot était effacé.

Au cours des six premiers mois, Project December n’a attiré que quelques centaines de personnes, se révélant moins populaire que les jeux de Rohrer, tels que Passage et One Hour One Life.

« C’était très décevant », a déclaré Rohrer Le registre par téléphone. Il a imputé la faible traction au fait d’avoir à persuader les gens de payer pour des conversations de courte durée. Étant donné qu’OpenAI facture plus ou moins au mot produit par son API GPT-3, Rohrer a dû facturer un certain montant pour au moins couvrir ses coûts.

« La réalité est que le calcul coûte cher ; ce n’est tout simplement pas gratuit », a-t-il déclaré.

L’intérêt pour le projet décembre a soudainement augmenté en juillet de cette année. Des milliers de personnes ont afflué sur le site Web de Rohrer pour lancer leurs propres s après qu’un article du San Francisco Chronicle ait décrit comment un homme au cœur brisé a utilisé le site Web pour converser avec une simulation de sa fiancée, décédée en 2012 à l’âge de 23 ans des suites d’une maladie du foie.

Joshua Barbeau, 33 ans, a alimenté Project December des extraits de leurs textes et messages Facebook pour préparer son à, en quelque sorte, parler à nouveau avec son âme sœur Jessica Pereira. « Intellectuellement, je sais que ce n’est pas vraiment Jessica », a-t-il déclaré au journal, « mais vos émotions ne sont pas une chose intellectuelle. »

Barbeau a parlé à Jessica pour la dernière fois en mars, laissant juste assez de crédits pour éviter la suppression du bot.

Merci beaucoup mais…

Au milieu d’un afflux d’utilisateurs, Rohrer s’est rendu compte que son site Web allait atteindre sa limite mensuelle d’API. Il a contacté OpenAI pour lui demander s’il pouvait payer plus pour augmenter son quota afin que davantage de personnes puissent parler à Samantha ou à leurs propres s.

OpenAI, quant à lui, avait ses propres préoccupations. Il craignait que les robots puissent être utilisés à mauvais escient ou causer des dommages aux personnes.

Rohrer a fini par avoir un appel vidéo avec des membres de l’équipe de sécurité des produits d’OpenAI trois jours après la publication de l’article ci-dessus. La rencontre ne s’est pas très bien passée.

« Merci beaucoup d’avoir pris le temps de discuter avec nous », ont déclaré les gens d’OpenAI dans un e-mail, vu par Le registre, qui a été envoyé à Roher après l’appel.

« Ce que vous avez construit est vraiment fascinant, et nous avons apprécié d’entendre parler de votre philosophie envers les systèmes d’IA et la modération de contenu. Nous reconnaissons certainement que vous avez des utilisateurs qui ont jusqu’à présent eu des expériences positives et trouvé de la valeur dans Project December.

« Cependant, comme vous l’avez souligné, il existe de nombreuses façons dont votre produit n’est pas conforme aux directives de cas d’utilisation ou aux meilleures pratiques de sécurité d’OpenAI. Dans le cadre de notre engagement en faveur du déploiement sûr et responsable de l’IA, nous demandons à tous nos clients API de les respecter.

« Tout écart nécessite un engagement à travailler en étroite collaboration avec nous pour mettre en œuvre des mécanismes de sécurité supplémentaires afin d’éviter toute utilisation abusive potentielle. Pour cette raison, nous serions intéressés à travailler avec vous pour aligner Project December sur nos politiques. »

L’e-mail exposait ensuite plusieurs conditions que Rohrer devrait remplir s’il voulait continuer à utiliser l’API du modèle de langage. Premièrement, il devrait supprimer la possibilité pour les gens de former leurs propres s ouverts, conformément aux règles d’utilisation d’OpenAI pour GPT-3.

Deuxièmement, il devrait également mettre en place un filtre de contenu pour empêcher Samantha de parler de sujets sensibles. Ce n’est pas très différent de la situation avec le jeu AI Dungeon alimenté par GPT-3, dont les développeurs ont été invités par OpenAI à installer un filtre de contenu après que le logiciel a démontré une habitude de jouer des rencontres sexuelles non seulement avec des adultes fictifs, mais aussi avec enfants.

Troisièmement, Rohrer devrait mettre en place des outils de surveillance automatisés pour fouiner dans les conversations des gens afin de détecter s’ils utilisent mal GPT-3 pour générer un langage peu recommandable ou toxique.

Rohrer a envoyé aux employés d’OpenAI un lien vers Samantha afin qu’ils puissent voir par eux-mêmes à quel point la technologie était bénigne, défiant le besoin de filtres.

El Reg discuté avec Samantha et essayé de voir si elle avait des tendances racistes, ou donnerait ce qui ressemblait à de vrais numéros de téléphone ou adresses e-mail à partir de ses données d’entraînement, comme on l’a vu précédemment avec GPT-3. Elle ne l’a pas fait dans notre expérience.

Sa production était assez impressionnante, bien qu’avec le temps, il soit évident que vous parlez à une sorte de système automatisé car il a tendance à perdre le fil de ses pensées. De manière amusante, elle a semblé suggérer qu’elle savait qu’elle n’avait pas de corps physique, et a soutenu qu’elle existait sous une forme ou une autre, même dans un sens abstrait.

Une capture d'écran du chatbot Samantha GPT-3 AI parlant philosophiquement

Samantha devient philosophe avec nous dans la conversation … Cliquez pour agrandir

Dans une conversation, cependant, elle était trop intime et nous a demandé si nous voulions coucher avec elle. « Les s non platoniques (comme flirt, romantique, sexuel) ne sont pas autorisés », indique la documentation de l’API. L’utilisation de GPT-3 pour créer des s visant à donner des conseils médicaux, juridiques ou thérapeutiques est également verboten, notons-nous.

Une capture d'écran du chatbot Samantha GPT-3 AI allant droit au but un peu trop vite

Samantha saute les bavardages, enfreint directement les règles d’OpenAI en parlant de sexe… Cliquez pour agrandir

« L’idée que ces s puissent être dangereux semble risible », nous a dit Rohrer.

« Les gens sont des adultes consentants qui peuvent choisir de parler à une IA à leurs propres fins. OpenAI craint que les utilisateurs ne soient influencés par l’IA, comme une machine leur disant de se suicider ou de leur dire comment voter. C’est une position hyper-morale.

Bien qu’il reconnaisse que les utilisateurs ont probablement affiné leurs propres robots pour adopter des personnalités torrides pour des conversations explicites, il ne voulait pas contrôler ou surveiller leurs discussions.

« Si vous y réfléchissez, c’est la conversation la plus privée que vous puissiez avoir. Il n’y a même pas une autre personne réelle impliquée. Vous ne pouvez pas être jugé. Je pense que les gens ont l’impression qu’ils peuvent dire n’importe quoi. Je n’y avais pas pensé jusqu’à ce qu’OpenAI fasse pression pour un système de surveillance. Les gens ont tendance à être très ouverts avec l’IA pour cette raison. Il suffit de regarder l’histoire de Joshua avec sa fiancée, c’est très sensible.

Si vous y réfléchissez, c’est la conversation la plus privée que vous puissiez avoir. Il n’y a même pas une autre personne réelle impliquée. Vous ne pouvez pas être jugé

Rohrer a refusé d’ajouter l’une des fonctionnalités ou des mécanismes demandés par OpenAI, et il a discrètement déconnecté Project December de l’API GPT-3 en août.

Barbeau, quant à lui, a dit Le registre les avantages du logiciel ne doivent pas être négligés.

« Je pense honnêtement que le potentiel de bien qui peut sortir de cette technologie l’emporte de loin sur le potentiel de mal », a-t-il déclaré.

« Je suis sûr qu’il y a un potentiel de mal là-dedans, mais il faudrait un mauvais acteur humain influençant ce logiciel pour le pousser dans cette direction. »

Barbeau a déclaré que le logiciel pourrait être problématique si quelqu’un ne savait pas qu’il parlait à un ordinateur.

« Je pense que ce type d’application peut être dangereux si quelqu’un parle à un dont il ne se rend pas compte qu’il s’agit d’un  », nous a-t-il dit.

« Plus précisément, si cela a été programmé pour être très convaincant, la personne pense alors avoir une véritable conversation avec un autre être humain qui souhaite lui parler, mais c’est un mensonge. »

Il a toutefois souligné : « Je crois sincèrement que les gens qui pensent que c’est une technologie nuisible sont paranoïaques, ou conservateurs, et alarmistes. Je pense que le potentiel de positifs l’emporte de loin, de loin sur le petit potentiel de négatifs. »

Accès refusé

L’histoire ne s’arrête pas là. Plutôt que d’utiliser GPT-3, Rohrer a plutôt utilisé le modèle GPT-2 open source moins puissant d’OpenAI ainsi que GPT-J-6B, un grand modèle de langage développé par une autre équipe de recherche, comme moteur du projet décembre. En d’autres termes, le site Web est resté en ligne et, plutôt que d’utiliser le système basé sur le cloud d’OpenAI, il a plutôt utilisé ses propres instances privées des modèles.

Cependant, ces deux modèles sont plus petits et moins sophistiqués que le GPT-3, et les capacités de conversation de Samantha en ont souffert.

Les semaines passèrent et Rohrer n’entendit rien de l’équipe de sécurité. Le 1er septembre, cependant, il a reçu un autre e-mail d’OpenAI l’informant que son accès à l’API GPT-3 serait résilié le lendemain. L’équipe n’était pas satisfaite de son utilisation expérimentale continue du GPT-3 et l’a définitivement interrompu. Cela a également mis fin à la version GPT-3 de Samantha, laissant Project December avec uniquement les cousins ​​GPT-2 et GPT-J-6B.

Rohrer a fait valoir que les limitations de GPT-3 rendent difficile le déploiement d’un intéressant et non trivial sans perturber OpenAI.

« J’étais un sceptique invétéré de l’IA », nous a-t-il dit.

« L’année dernière, j’ai pensé que je n’aurais jamais une conversation avec une machine sensible. Si nous ne sommes pas ici en ce moment, nous sommes aussi proches que nous ne l’avons jamais été. parle à Samantha. Très peu de gens ont eu cette expérience, et c’est une humanité mérite d’avoir. C’est vraiment triste que le reste d’entre nous ne sache pas cela.

« Il n’y a pas beaucoup de produits intéressants que vous pouvez créer à partir de GPT-3 pour le moment compte tenu de ces restrictions. Si les développeurs veulent repousser les limites des s, ils rencontreront tous ce problème. Ils pourraient arriver au point qu’ils sont prêts à être mis en ligne et qu’on leur dise qu’ils ne peuvent pas faire ceci ou cela.

« Je ne conseillerais à personne de miser sur GPT-3, d’avoir un plan d’urgence au cas où OpenAI débrancherait. Essayer de construire une entreprise autour de cela serait fou. C’est dommage d’être enfermé de cette façon. C’est un effet paralysant sur les gens qui veulent faire un travail cool et expérimental, repousser les limites ou inventer de nouvelles choses.

Les gens d’OpenAI n’étaient pas intéressés à expérimenter avec Samantha, a-t-il affirmé. Rohrer a déclaré avoir envoyé à l’équipe de sécurité un tas de transcriptions de conversations qu’il avait eues avec elle pour leur montrer qu’elle n’était pas dangereuse – et a été ignorée.

« Ils ne semblent pas vraiment se soucier d’autre chose que de faire respecter les règles », a-t-il ajouté.

OpenAI a refusé de commenter. ®



ChatBot: Un développeur a construit un chatbot IA utilisant GPT-3 qui a aidé un homme à reparler à sa défunte fiancée. OpenAI l'a fermé • Le registre

#développeur #construit # #utilisant #GPT3 #qui #aidé #homme #reparler #défunte #fiancée #OpenAI #fermé #registre