Les problèmes de sécurité de l’IA conduisent au départ de chercheurs clés d’OpenAI

Idées clés:

• Les chefs de l'équipe de superalignement d'OpenAI démissionnent en raison de désaccords sur la priorité donnée à la sécurité de l'IA par rapport au développement de produits
• La restructuration interne d'OpenAI intègre les fonctions de sécurité de l'IA dans une recherche plus large, suscitant un débat sur l'allocation des ressources
• Les discussions mondiales sur la sécurité de l’IA s’intensifient alors que des chercheurs clés exhortent OpenAI à donner la priorité à la sécurité dans le développement de l’AGI

Les développements récents chez OpenAI ont entraîné un changement dans la structure et les priorités de l'organisation, entraînant la démission de personnalités clés de son équipe de sécurité de l'IA. Les départs d'Ilya Sutskever, co-fondateur et scientifique en chef, et de Jan Leike, co-responsable de l'équipe de superalignement, ont soulevé des questions sur l'accent mis par l'entreprise sur la sécurité de l'IA par rapport au développement de produits.

Après presque une décennie, j'ai pris la décision de quitter OpenAI. La trajectoire de l'entreprise a été tout simplement miraculeuse, et je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique sous la direction de @sama, @gdb, @miramurati et maintenant, sous la…
– Ilya Sutskever (@ilyasut) 14 mai 2024

Ilya Sutskever et Jan Leike, tous deux essentiels à la direction de l'équipe de superalignement d'OpenAI, ont récemment démissionné. Sutskever, l'un des cofondateurs, a annoncé son départ en raison d'inquiétudes quant à l'orientation de l'entreprise. Peu de temps après, Leike a également démissionné, invoquant des désaccords avec les priorités des dirigeants.

Leike a exprimé ses inquiétudes concernant X, soulignant que l'accent mis sur le développement de produits a éclipsé l'importance de la sécurité de l'IA. Il a souligné la nécessité de disposer de davantage de ressources et d'une culture de sécurité plus forte au sein de l'organisation. La démission de Leike fait suite à une série de changements internes, notamment la dissolution de l'équipe de superalignement, désormais intégrée à d'autres projets de recherche.

J'ai rejoint parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche.
Cependant, je suis en désaccord avec les dirigeants d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps, jusqu'à ce que nous atteignions finalement un point de rupture.
– Jan Leike (@janleike) 17 mai 2024

Changement de priorités et restructuration interne

OpenAI a récemment subi une restructuration interne, en partie en réponse à une crise de gouvernance en novembre 2023. Au cours de cette période, le conseil d'administration a temporairement démis Sam Altman de son poste de PDG, une décision qui a ensuite été annulée suite aux réactions négatives des employés. Sutskever, qui a été impliqué dans la décision de retirer Altman, a fait valoir que le conseil d'administration avait agi pour garantir le développement d'AGI qui profite à l'humanité.

La restructuration a conduit à l'intégration des fonctions de l'équipe de superalignement dans d'autres projets au sein d'OpenAI. Cette décision a été considérée comme un abandon de l'accent mis sur la sécurité de l'IA, suscitant des inquiétudes parmi des chercheurs comme Leike quant aux priorités à long terme de l'entreprise.

Préoccupations concernant l'allocation des ressources

Une question cruciale soulevée par Jan Leike lors de sa démission était l’allocation des ressources, en particulier de la puissance de calcul, nécessaires pour faire progresser la recherche sur la sécurité de l’IA. Leike a souligné que malgré la création d'une nouvelle équipe de recherche en juillet 2023 pour répondre aux risques avancés de l'IA, seuls 20 % des ressources informatiques d'OpenAI étaient dédiées à cette équipe.

La déclaration de démission de Leike a souligné les défis rencontrés par son équipe dans la conduite de recherches vitales sur la sécurité en raison de ressources limitées. Il a fait valoir qu’OpenAI doit donner la priorité à la sécurité et à la préparation à mesure que le développement de l’intelligence artificielle générale progresse, avertissant que la trajectoire actuelle pourrait ne pas atteindre ces objectifs essentiels.

Réponse de la direction d'OpenAI

En réponse à ces démissions, Sam Altman, PDG d'OpenAI, a reconnu les contributions de Sutskever et de Leike à la culture de sécurité de l'entreprise. Altman a exprimé sa gratitude pour leur travail et a réitéré l'engagement de l'entreprise à renforcer ses efforts en matière de sécurité.

Dans son message d'adieu, Sutskever s'est dit convaincu qu'OpenAI continuerait à développer l'AGI de manière sûre et bénéfique sous sa direction actuelle. Malgré ces assurances, ces départs ont mis en évidence des tensions persistantes au sein de l’entreprise concernant l’équilibre entre le développement de produits et la sécurité de l’IA.

Discussions mondiales sur la sécurité de l’IA

Les démissions chez OpenAI coïncident avec l’intensification des discussions mondiales sur la sécurité et la réglementation de l’IA. Un prochain sommet mondial sur l'intelligence artificielle à Séoul devrait aborder la surveillance des technologies avancées d'IA. Ce sommet réunira des politiciens, des experts et des responsables technologiques pour discuter des défis réglementaires posés par les progrès technologiques rapides.

Un rapport récent d’un panel d’experts internationaux en IA a noté des désaccords sur la probabilité que de puissants systèmes d’IA échappent au contrôle humain. Le rapport met également en garde contre une disparité potentielle entre le rythme du progrès technologique et le développement de réponses réglementaires appropriées.

Crédit éditorial : Varavin88 / Shutterstock.com

Tokenhell produit une exposition de contenu pour plus de 5 000 sociétés de cryptographie et vous pouvez également en faire partie ! Contactez à [email protected] si vous avez des questions. Les crypto-monnaies sont très volatiles, effectuez vos propres recherches avant de prendre une décision d'investissement. Certaines des publications sur ce site Web sont des publications d'invités ou des publications payantes qui ne sont pas écrites par des auteurs de Tokenhell (à savoir Crypto Cable, articles sponsorisés et contenu des communiqués de presse) et les opinions exprimées dans ces types de publications ne reflètent pas les vues de ce site Web. Tokenhell n'est pas responsable du contenu, de l'exactitude, de la qualité, de la publicité, des produits ou de tout autre contenu ou bannières (espace publicitaire) affichés sur le site. Lisez l'intégralité des termes et conditions / clause de non-responsabilité.