OpenAI perd deux autres leaders  : qu'est-ce que cela signifie pour la sécurité de l'IA  ?

    Qu'est-ce que cela signifie pour l'industrie de l'IA ?- Deux dirigeants importants quittent OpenAI après une série d'autres départs cette année.
  • Ils semblent quitter leur société plus "éthique" pour des opportunités potentiellement moins éthiques.
  • Cela soulève des inquiétudes quant à la direction future de l'entreprise et du secteur de l'IA en général.
  • D'autres entreprises technologiques ont également réduit leurs efforts liés à l'éthique de l'IA, mettant en évidence un besoin potentiel de réglementation gouvernementale.

La même semaine où OpenAI a attiré l'attention du monde entier pour la sortie de son dernier modèle d'IA, d'éminents dirigeants Ilya Sutskever et Jan Leike ont annoncé qu'ils quittaient l'entreprise. Parallèlement au départ d'Andrej Karpathy en février, il semble que les personnes les plus engagées dans le développement d'une IA sûre et centrée sur l'humain aient quitté l'entreprise.

Le plus grand nom de l’IA a-t-il perdu la pédale de frein dans la course intense pour dominer cette industrie extrêmement disruptive ?

Le coup d’État manqué

C'était au début de 2023 lorsque Sutskever, co-fondateur et ancien scientifique en chef, a été reconnu pour être le cerveau derrière une décision controversée visant à évincer le PDG Sam Altman en raison de prétendues inquiétudes selon lesquelles il était cavalier à l'égard des protocoles de sécurité de l'IA. Sa destitution dramatique a donné lieu à des gros titres haletants et à de nombreuses rumeurs, mais Altman a été rétabli à son poste une semaine plus tard.

OpenAI perd deux autres leaders  : qu'est-ce que cela signifie pour la sécurité de l'IA  ?

Sutskever a rapidement présenté ses excuses et a démissionné du conseil d'administration d'OpenAI – et n'a fait aucune déclaration ni apparition publique depuis.

En effet, lorsque OpenAI a présenté lundi sa mise à jour de produit très médiatisée, Sutskever était remarquablement absent.

Sutskever a annoncé son départ officiel deux jours plus tard. Sa déclaration de démission a été cordiale, tout comme la reconnaissance publique d'Altman.

« Après presque une décennie, j'ai pris la décision de quitter OpenAI », a écrit Sutskever. « La trajectoire de l'entreprise a été tout simplement miraculeuse, et je suis convaincu qu'OpenAI créera une AGI à la fois sûre et bénéfique sous la direction de (Sam Altman, Greg Brockman et Mira Murati).

« Ce fut un honneur et un privilège d'avoir travaillé ensemble, et tout le monde me manquera beaucoup », a-t-il poursuivi, ajoutant qu'il était sur le point de se concentrer sur un projet personnellement significatif.

«C'est très triste pour moi; Ilya est sans conteste l'un des plus grands esprits de notre génération, un phare dans notre domaine et un ami cher », a déclaré Sam Altman, « OpenAI ne serait pas ce qu'il est sans lui. » Il a également répondu à l'annonce de Sutskever avec un court message sympathique

Peu de temps après, OpenAI a annoncé que Jakub Panochi occuperait le poste de Sutskever. Panochi était auparavant directeur de la recherche et occupait un poste plus technique, se concentrant principalement sur la mise à l'échelle de l'IA.

Mais il y a peut-être quelque chose de plus dans la relève de la garde. Lorsque Sutskever a annoncé sa démission, il n'a suivi que quelques comptes Twitter, dont OpenAI et un compte mème de teckel. Un certain Adam Sulik, un « centriste de l’IA » autoproclamé, a répondu à l’annonce, suggérant à Sutskever d’ignorer tout accord de non-divulgation auquel il pourrait encore être soumis et de partager des informations privilégiées au nom de l’humanité.

Si vous vous souciez vraiment du cône de lumière de l’humanité, vous ignorerez un morceau de papier comme une NDA et partagerez largement et ouvertement ce que vous avez vu. Ce qui a conduit au drame du conseil d’administration et à l’éviction de Sams. Qu'est-ce qui vous a tant inquiété.

Sutskever a suivi Sulik après son commentaire. puis a cessé de le suivre quelques heures plus tard.

Il s’est avéré que Sutskever n’était pas le seul à se diriger vers la sortie. Quelques heures plus tard, Jan Leike, qui a cofondé l'équipe de « superalignement » d'OpenAI avec Sutskever pour garantir un développement éthique et à long terme de l'IA, a démissionné avec un tweet glacial déclarant simplement : « J'ai démissionné ».

Pas de plaisanteries, pas d'éloges pour OpenAI et aucune réaction de la part des dirigeants d'OpenAI.

Leike avait travaillé chez Deepmind de Google avant de rejoindre OpenAI. Dans cette dernière entreprise, l'équipe de superalignement s'est attachée à garantir que les systèmes de pointe dans lesquels les IA sont censées atteindre ou dépasser l'intelligence humaine restent alignés sur les valeurs et les intentions humaines.

Cependant, on ne sait pas grand-chose de ce groupe de sentinelles de sécurité IA. Outre les deux dirigeants, OpenAI n’a fourni aucune information supplémentaire sur l’unité autre que le fait qu’il existe d’autres « chercheurs et ingénieurs de [its] l’équipe d’alignement précédente, ainsi que des chercheurs d’autres équipes de l’entreprise.

Sulik a également commenté la démission de Leike, partageant son inquiétude quant au moment où se sont produits les événements.

« Voir Jan partir juste après Ilya n'augure rien de bon pour la sécurité de l'humanité », a-t-il tweeté.

Je ne suis pas un pessimiste ou un partisan intransigeant de l'e/acc. Je suis plutôt centriste. Mais voir Jan partir juste après Ilya n’augure rien de bon pour la voie sûre de l’humanité.

co/f2VKpgQSRi

OpenAI n'a pas immédiatement répondu à une demande de commentaire de Decrypt.

Ces départs surviennent quelques mois après que le co-fondateur d'OpenAI, Andrej Karpathy, a quitté l'entreprise, affirmant en février vouloir poursuivre des projets personnels. Karpathy a travaillé comme chercheur scientifique chez OpenAI et a été impliqué dans différents projets allant des applications de vision par ordinateur aux assistants d'IA et aux développements clés lors de la formation de ChatGPT. Il a pris une pause de cinq ans au sein de l’entreprise entre 2017 et 2022 pour diriger le développement de l’IA chez Tesla.

Avec ces trois départs, OpenAI se retrouve sans que certains des esprits les plus importants ne poursuivent une approche éthique envers l'AGI.

Décels, nouvelles offres

Certains signes montrent que l’échec de l’éviction d’Altman a éliminé la résistance à des opportunités plus lucratives mais éthiquement floues.

Peu de temps après avoir réintégré Altman, par exemple, OpenAI a assoupli les restrictions sur l’utilisation de sa technologie pour des applications potentiellement dangereuses comme le développement d’armes – des lignes directrices qui interdisaient auparavant purement et simplement de telles activités.

En plus de conclure un accord avec le Pentagone, OpenAI a également ouvert un magasin de plugins permettant à chacun de concevoir et de partager des assistants d’IA personnalisés, diluant ainsi la surveillance directe. Plus récemment, la société a commencé à « explorer » la création de contenu pour adultes.

La force décroissante des défenseurs de l’éthique et des lignes directrices s’étend au-delà de l’Open AI. Microsoft a licencié toute son équipe éthique et société en janvier, et Google a mis sur la touche son groupe de travail sur l'IA responsable le même mois. Meta, quant à elle, dissout son équipe d’IA éthique. Entre-temps, les trois géants de la technologie se lancent dans une course folle pour dominer le marché de l’IA.

Il y a de bonnes raisons de s’inquiéter. Les produits d’IA sont déjà largement répandus, un phénomène social avec des milliards d’interactions par jour. Il semble exister un potentiel croissant pour qu’une IA non alignée ait un impact négatif sur le développement des générations futures dans les affaires, la politique, la communauté et même les affaires familiales.

La montée de mouvements philosophiques comme « l’accélérationnisme efficace » – qui privilégie le développement rapide plutôt que les soucis éthiques – exacerbe ces inquiétudes.

Pour l’instant, le principal bastion de prudence semble être un mélange de développement open source, de participation volontaire à des coalitions pour la sécurité de l’IA – telles que le Frontier Model Forum ou MLCommons – et de réglementation pure et simple par le gouvernement, à partir de l’AI Act au Royaume-Uni. au code de conduite du G7 en matière d'IA.

Newsletter généralement intelligente

Un voyage hebdomadaire en IA raconté par Gen, un modèle d'IA générative.