Sam Altman rejoint une nouvelle équipe pour mettre l'entreprise de Sam Altman en sécurité  : comment cela fonctionnera-t-il  ?


OpenAI a dévoilé un nouveau « comité de sûreté et de sécurité » qui, selon lui, veillera à ce que les systèmes d'intelligence artificielle de pointe de l'entreprise soient conçus et construits de manière sûre et sécurisée. Le PDG de l'entreprise, Sam Altman, fait partie des dirigeants du comité, même si l'orientation générale d'OpenAI est de plus en plus critiquée.
Annoncé moins d'une semaine après qu'OpenAI ait fait la une des journaux pour avoir croisé l'actrice hollywoodienne Scarlett Johansson, le comité recrée efficacement le rôle de l'équipe de « superalignement » d'OpenAI, qui visait à garantir que l'entreprise reste fidèle à sa vision humanitaire fondatrice. Cette équipe a été dissoute suite au départ de certains des plus éminents spécialistes du domaine, dont Jan Leike, qui a quitté l'entreprise aux côtés du cofondateur d'OpenAI, Ilya Sutskever, après avoir déclaré que le groupe « naviguait contre le vent ».
Hier, Leike a annoncé qu'il rejoignait le concurrent d'OpenAI Anthropic, fondé par les anciens chercheurs d'OpenAI Daniela et Dario Amodei et d'autres anciens travailleurs d'OpenAI, dont beaucoup avaient également quitté OpenAI en raison de désaccords avec l'approche d'Altman en matière de sécurité de l'IA.

Je suis ravi de rejoindre @AnthropicAI pour poursuivre la mission de superalignement !

Ma nouvelle équipe travaillera sur la surveillance évolutive, la généralisation faible à forte et la recherche d'alignement automatisée.

Sam Altman rejoint une nouvelle équipe pour mettre l'entreprise de Sam Altman en sécurité : comment cela fonctionnera-t-il ?

Si vous êtes intéressé à nous rejoindre, mes SMS sont ouverts.

– Jan Leike (@janleike) 28 mai 2024

Le comité a été chargé d'évaluer et d'améliorer les processus de sûreté et de sécurité d'OpenAI. Ils présenteront leurs recommandations au conseil d’administration dans 90 jours, et OpenAI indique qu’il fournira une mise à jour publique sur les recommandations adoptées.
Le nouveau comité, apparemment créé pour construire des garde-fous autour du travail agressif de développement de l'IA d'OpenAI, peut-il atténuer efficacement les risques avec le PDG de l'entreprise parmi ses dirigeants ? Qui sont ses membres et ont-ils une expérience en matière de sûreté et de sécurité de l’IA ?

Hors alignement

L'année dernière, Altman a été brièvement évincé de son poste de PDG par le conseil d'administration de l'entreprise, qui a allégué un manque de transparence et une perte de confiance dans son leadership. Cependant, suite à une apparente révolte des employés et à la pression des investisseurs, Altman a été rapidement réintégré. Cela a conduit au départ des trois membres du conseil d'administration, dont Sutskever, qui avaient initialement voté pour sa destitution.
Avec un conseil d'administration reconstitué fermement dans le camp d'Altman, l'entreprise a clairement évolué vers une approche plus corporative et axée sur le profit, s'éloignant de la mission initiale d'OpenAI consistant à garantir que l'IA « profite à l'ensemble de l'humanité, ce qui signifie à la fois construire des AGI sûres et bénéfiques et contribuer à créer de manière large ». bénéfices distribués. » Les initiatives controversées de l’année dernière incluent la conclusion d’accords avec le Pentagone pour des applications militaires potentielles, le lancement d’un marché pour les chatbots tiers et même l’exploration de la génération de contenu pour adultes.
La dissolution de l'équipe « Superalignment » de l'entreprise, dédiée à l'atténuation des risques à long terme associés à l'AGI, a suscité une inquiétude particulièrement vive. Les cofondateurs de cette équipe, Sutskever et Leike, ont tous deux démissionné après le lancement de GPT-4o plus tôt ce mois-ci, Leike accusant OpenAI d'abandonner son engagement en faveur de la sécurité de l'IA au profit de « produits brillants ».
Entrez dans le nouveau comité de sûreté et de sécurité, conçu pour restaurer la confiance dans les processus et les garanties d'OpenAI.

Rencontrez le nouveau garde

Outre Altman, le nouveau comité est dirigé par des personnes qui lui sont clairement loyales en tant que PDG : Bret Taylor, qui a été nommé membre du conseil d'administration d'OpenAI au retour d'Altman, et Adam D'Angelo, membre du conseil d'administration d'OpenAI qui a soutenu Altman et est resté au conseil d'administration après son retour. L'échelon supérieur est complété par Nicole Seligman, une avocate d'affaires célèbre pour avoir représenté le lieutenant-colonel Oliver North lors des audiences Iran-Contra et l'ancien président américain Bill Clinton lors de son procès en destitution.
Le reste du comité est composé de chercheurs chargés de veiller à ce que les produits OpenAI restent alignés sur la mission. Voici quelques-uns de ses membres, dont la plupart ont publiquement soutenu Altman lors de sa brève éviction :
Aleksander Madry, responsable de la préparation à OpenAI et professeur au MIT, s'efforce de rendre l'IA plus fiable et plus sûre dans ses recherches. Lorsqu'Altman a tweeté à propos de sa démission, Madry a partagé l'émoji emblématique du cœur pour le soutenir, puis a tweeté un cœur célébrant son retour, avec la phrase « Alors de retour ».
Lilian Weng, responsable des systèmes de sécurité chez OpenAI, a une formation en apprentissage automatique et en apprentissage profond. Weng a rejoint OpenAI en tant que chercheur scientifique en février 2018. En janvier 2021, Weng a été promu au poste de responsable de la recherche appliquée en IA chez OpenAI et en juin 2023, Weng a été nommé responsable des systèmes de sécurité chez OpenAI.
Elle a également tweeté un cœur en faveur du retour d'Altman et a partagé le cri de ralliement « OpenAI n'est rien sans ses collaborateurs », devenu très populaire lors du mouvement pro-Altman, décrivant le retour d'Altman comme une renaissance pour l'entreprise.
John Schulman, co-fondateur d'OpenAI et architecte principal derrière le développement de ChatGPT, s'est concentré sur la « post-formation » des modèles de langage, ce qui impliquait d'affiner le comportement des modèles pour des tâches spécifiques. Cette approche, combinée à l'apprentissage par renforcement, a permis à ChatGPT de générer des réponses plus humaines et contextuellement appropriées. Schulman a également publiquement soutenu Altman lors de son bref départ.
Matt Knight, responsable de la sécurité chez OpenAI, a une formation en ingénierie de sécurité et a cofondé Agitator, finaliste du Spectrum Collaboration Challenge de la DARPA. Knight a également tweeté en soutien à Sam Altman, à la fois avec l'émoji du cœur et le slogan.

OpenAI n'est rien sans ses collaborateurs

– Matt Knight (@embeddedsec) 20 novembre 2023

Jakub Pachocki, scientifique en chef chez OpenAI, a été nommé pour remplacer Sutskever et travaille dans l'entreprise depuis 2017. Pachocki se concentre sur l'apprentissage par renforcement à grande échelle et l'optimisation de l'apprentissage profond. Il avait démissionné par solidarité avec Sam Altman et était revenu dans l'entreprise avec lui lors de sa réintégration.

Regarder les observateurs

Au milieu de ses récents faux pas, l'annonce de la création d'un nouveau comité de sécurité est un moyen pour OpenAI d'apaiser les inquiétudes quant à l'agressivité avec laquelle elle poursuit l'IA pour la recherche et le développement d'AGI en toute sécurité, mais au-delà de l'expertise apparente de l'équipe, les choses pourraient potentiellement ouvrir la voie à un conflit d'intérêts. . Après tout, comment une équipe dirigée par la personne même qu’elle est censée surveiller peut-elle protéger efficacement le développement d’une technologie susceptible de changer le monde ?
L’ironie n’est pas passée inaperçue auprès de la communauté de l’IA et de la technologie sur Twitter.
« Sam Altman (membre du conseil d'administration d'OpenAI) se nomme membre du comité de sûreté et de sécurité pour marquer ses propres devoirs en tant que Sam Altman (PDG) », a noté l'expert en politique de l'IA Tolga Bilge.
« M. Fox, puis-je te demander de garder ce poulailler pour moi s'il te plaît ? » a plaisanté Michael Gartenberg, analyste et capital-risqueur de Gartner.

« OpenAI a une nouvelle équipe de sécurité, dirigée par Sam Altman »

« M. Fox, puis-je te demander de garder ce poulailler pour moi s'il te plaît ?

https://t.co/syOTIlpziF

– Michael Gartenberg ✡️🇮🇱🎗️ (@Gartenberg) 28 mai 2024

« OpenAI vient de créer un conseil de surveillance composé de ses propres dirigeants et d'Altman lui-même », a conclu le journaliste technique et auteur Parmy Olson. « Il s'agit d'une approche éprouvée d'autorégulation dans le secteur technologique qui ne fait pratiquement rien en termes de véritable surveillance. »

OpenAI vient de créer un conseil de surveillance composé de ses propres dirigeants et d'Altman lui-même. Il s’agit d’une approche éprouvée d’autoréglementation dans le secteur technologique qui ne fait pratiquement rien en termes de véritable surveillance. https://t.co/X7ay4IijXF

– Parmy Olson (@parmy) 28 mai 2024

L'efficacité ultime du nouveau comité, et la question de savoir s'il aidera OpenAI à regagner la confiance du public dans sa prudence et sa prudence, ne deviendra claire qu'après que le groupe aura présenté son rapport au conseil d'administration principal, y compris Altman, fin août.

Newsletter généralement intelligente

Un voyage hebdomadaire en IA raconté par Gen, un modèle d'IA générative.