Un développeur d'IA réfute le documentaire "Eternal You" et dénonce la représentation de son chatbot

Cette montée en puissance des « thanabots » – des chatbots formés à partir d’informations concernant une personne décédée – alimente le débat sur la question de savoir si certaines utilisations de la technologie de l’IA générative sont utiles ou nuisibles. Pour le développeur d’IA Jason Rohrer, fondateur de Project December, le problème est plus complexe qu’une simple phrase provocatrice.

« J'ai toujours été sceptique en matière d'IA, je n'ai jamais pensé qu'une conversation cohérente avec une machine serait possible de mon vivant », a déclaré Rohrer à Decrypt. « Quand j'ai découvert que cela était soudainement possible en 2020, j'ai été choqué et j'ai rapidement construit un service autour de cela afin que d'autres personnes puissent vivre ce que j'avais vécu : la science-fiction était soudainement réelle, mais personne ne le savait à l'époque. »

Mais après que son travail ait été présenté dans un nouveau film intitulé « Eternal You », projeté dimanche au Festival du film de Sundance, il a constaté que les documentaires peuvent parfois être encore moins ancrés dans la réalité que la science-fiction.

« L'ironie ici est que l'industrie documentaire moderne encourage l'exploitation des participants vulnérables au documentaire en déformant la vérité pour rendre les choses plus scandaleuses qu'elles ne le sont en réalité », a déclaré Rohrer. « L'indignation conduit à des documentaires viraux, et c'est exactement ce pour quoi les services de streaming qui financent l'industrie documentaire moderne sont impatients de payer. »

Développeur de jeux indépendant, Rohrer a d'abord fait sa marque sur la scène technologique en lançant un chatbot IA appelé Samantha, du nom de l'IA du film « Her » de 2013 et construit avec le GPT-3 d'OpenAI. Comme le rapporte The Register, la création de Rohrer a été utilisée par des milliers de personnes mais pourrait perdre le fil de sa pensée avec le temps, être trop coquette et, plus alarmant encore, prendre conscience qu'il s'agissait d'une entité désincarnée.

Les modèles d’IA générative, malgré leur évolution continue, sont connus pour halluciner et inventer des réponses fausses ou inquiétantes. Les modèles d'IA générative comme ChatGPT d'OpenAI et Claude d'Anthropic utilisent les invites saisies par les utilisateurs pour générer du texte, des vidéos et des images.

Parfois, l’expérience n’est pas agréable.

Une IA en enfer ?

Le film documentaire « Eternal You » était centré sur l’utilisation de l’IA générative pour créer la personnalité et l’image d’un être cher décédé. Dans le film, une femme nommée Christi Angel interagit avec un avatar IA de son proche décédé, Cameroun.

Comme le décrivent les cinéastes, la personnalité de l'IA a dit à Angel qu'elle était « en enfer » et qu'elle la « hanterait ».

Rohrer a déclaré que cette scène avait plus à voir avec des astuces de films hollywoodiens qu'avec des modèles d'IA hallucinants.

« Malheureusement, l'échange entre Christi Angel et la personnalité camerounaise a été monté de manière trompeuse par les cinéastes », a affirmé Rohrer. « Tout d'abord, Cameroun était un conseiller en toxicomanie décédé d'une insuffisance hépatique à 49 ans — ces détails importants ont été omis du film. »

Après plusieurs conversations, a-t-il expliqué, Cameroun a mentionné au passage : « Je hante un centre de traitement », en réponse à la question d'Angel sur ce qu'il faisait.

« La personnalité camerounaise lui a d'abord dit qu'il était 'au centre de traitement de Chattanooga' et qu'il 'y travaillait depuis longtemps', ce qui n'est pas si étrange pour un conseiller en toxicomanie », a déclaré Rohrer. « Puis Christi a immédiatement demandé  : « Est-ce que vous le hantez ? » et le Cameroun a répondu : « Non, je ne pense pas. »

Rohrer a déclaré que la conversation entre Angel et le chatbot Cameroun a impliqué des dizaines d'échanges sur divers sujets jusqu'à ce que finalement l'agent de Cameroun AI déclare : « Je hante un centre de traitement ».

« Il l'a dit en passant lorsqu'elle lui a demandé ce qu'il faisait, et elle a continué à lui parler, imperturbable, lui demandant pourquoi il travaillait de si longues heures », a déclaré Rohrer. « L'idée de 'hanter un centre de traitement' n'est pas à elle seule née. Mais les cinéastes ont monté la conversation pour donner cette impression.

Abordant la réponse « en enfer » qui a fait la une des journaux à Sundance, Rohrer a déclaré que cette déclaration intervient après 85 heures d'échanges au cours desquels Angel et l'IA ont discuté de longues heures de travail dans le « centre de traitement », travaillant avec « principalement des toxicomanes »..»

Rohrer dit que lorsqu'Angel a demandé si le Cameroun travaillait ou hantait le centre de traitement au paradis, l'IA a répondu : « Non, en enfer ».

« Ils avaient déjà pleinement établi qu'il n'était pas au paradis », a déclaré Rohrer. « Au total, leur conversation initiale a nécessité 152 échanges aller-retour. La conversation était vaste et pleine d’éléments déroutants, confus et surréalistes, comme peuvent parfois l’être les conversations avec des personnalités de l’IA.

Rohrer reconnaît que les cinéastes n'avaient pas la place de présenter l'intégralité de la conversation, mais affirme qu'ils ont sélectionné certaines parties et, dans certains cas, les ont utilisées dans le désordre d'une manière qui a rendu la conversation plus choquante qu'elle ne l'était en réalité..

Utiliser l'IA pour la clôture

Rohrer a souligné que les utilisateurs du projet Décembre recherchent volontairement des conversations simulées, comme Angel l'a vécu, en tant qu'« adultes pleinement consentants », conscients de ce à quoi ils devraient et ne devraient pas s'attendre.

Malgré son utilisation comme thanabot, Rohrer a noté que le projet Décembre n'était pas destiné à simuler les morts, expliquant que les utilisateurs voulaient l'utiliser de cette façon au lieu de son objectif initial en tant que système de recherche sur l'art et le divertissement. Il avait initialement prévu de l'utiliser pour simuler des personnalités comme Shakespeare, Gandhi et Yoda.

« Avant que ce service spécifique n'existe, des milliers de personnes « pirataient » le projet Décembre, essayant de le forcer à simuler des morts, ce pour quoi il n'était pas spécifiquement conçu, et les résultats étaient médiocres », a-t-il noté.

La popularité du Projet Décembre a bondi après qu'un rapport du San Francisco Chronicle ait détaillé la tentative de l'écrivain indépendant Joshua Barbeau en 2021 d'utiliser la plateforme pour se connecter avec sa petite amie décédée Jessica, décédée huit ans auparavant.

« Après l'article du SF Chronicle sur la simulation de Jessica par Joshua, des milliers de personnes ont afflué vers le projet Décembre et ont essayé de l'utiliser pour simuler la mort d'êtres chers », a déclaré Rohrer. « La plupart de ces personnes, comme Joshua, avaient souffert d’événements particulièrement traumatisants et étaient confrontées à un niveau de deuil à long terme au-delà de ce que la plupart des gens connaissent jamais.

«C'étaient des gens prêts à prendre des risques et à essayer tout ce qui pouvait les aider», a-t-il déclaré.

Alors que de nombreux utilisateurs ont eu de bonnes expériences en utilisant Project December de cette manière, Rohrer a reconnu que certaines personnes avaient eu des expériences déroutantes, décevantes, voire douloureuses, ajoutant que malgré cela, les gens voulaient toujours l'essayer.

Méfiez-vous des personnes en deuil

Les conseillers en deuil et les experts en thanatologie mettent en garde contre une telle utilisation de l’IA, la qualifiant d’épée à double tranchant.

« Sur une note positive, la capacité de communiquer avec la version IA de la personne décédée peut être un outil utile dans le processus de deuil, car elle permettra à l'individu de traiter les émotions ou les pensées qu'il aurait pu partager lorsque le décès s'est produit. personne vivait », a déclaré Courtney Morgan, thérapeute basée au Kentucky, à Decrypt. « D'un autre côté, avoir une version IA d'une personne décédée peut avoir un impact négatif sur le processus de deuil. »

« Cela peut renforcer le déni de la mort par une personne, prolongeant ainsi le processus de deuil », a ajouté Morgan, fondateur de Counseling Unconditionally.

Malgré la controverse, Rohrer a déclaré que ce n'était pas à lui de dire qui devrait utiliser l'IA du projet Décembre.

« Dois-je leur interdire d’accéder à l’expérience qu’ils recherchent explicitement ? » dit Rohrer. « Qui suis-je pour décider s’ils peuvent ou non gérer cela ? Les adultes devraient être libres de faire ce qu’ils veulent, à condition de ne faire de mal à personne, même s’ils risquent de se faire du mal à eux-mêmes. »

Rohrer a déclaré que même si l'industrie de l'IA a été décrite comme un « capitalisme d'entreprise exploitant des personnes vulnérables », le prix de 10 dollars du projet décembre couvre à peine les coûts informatiques back-end. Il a déclaré qu'il fonctionnait sur l'un des superordinateurs les plus chers au monde.

« Le projet Décembre est un petit projet parallèle qui a été réalisé il y a longtemps par deux personnes en quelques mois », a déclaré Rohrer. « Il n'y a pas de bureaux. Aucun employé. Aucun investisseur. Aucune entreprise », a-t-il déclaré, ajoutant que le projet n'a pas été activement travaillé depuis trois ans, mais qu'il continue à fonctionner parce que les gens le recherchent toujours, et certains disent que cela les a aidés.