Un ancien employé d'OpenAI exprime ses inquiétudes concernant les pratiques de sécurité de l'IA
Résumé complet
- L’ancien employé d’OpenAI, William Saunders, a démissionné en raison de préoccupations concernant l’approche de l’entreprise en matière de sécurité de l’IA
- Saunders a comparé la trajectoire d’OpenAI à celle du Titanic, privilégiant les nouveaux produits plutôt que les mesures de sécurité
- Il a exprimé son inquiétude quant à l’accent mis par OpenAI sur la réalisation de l’intelligence artificielle générale tout en lançant des produits commerciaux
- Saunders faisait partie de l’équipe de superalignement d’OpenAI, qui a ensuite été dissoute
- D’autres anciens employés d’OpenAI sont également partis pour créer des entreprises axées sur la sécurité de l’IA
William Saunders, ancien membre de l’équipe de superalignement d’OpenAI, a parlé de sa décision de quitter l’entreprise après trois ans. Saunders, qui travaillait sur la compréhension du comportement des modèles de langage de l’IA, explique qu’il a démissionné parce qu’il estimait qu’OpenAI donnait la priorité au développement de produits plutôt qu’à la mise en œuvre de mesures de sécurité adéquates. Dans des entretiens récents, Saunders a comparé la trajectoire d’OpenAI à celle du Titanic, suggérant que l’entreprise construit une technologie impressionnante sans suffisamment de garanties en place.
« Je ne voulais vraiment pas finir par travailler pour le Titanic de l’IA, et c’est pourquoi j’ai démissionné », a déclaré Saunders dans une interview en podcast.
Saunders a exprimé son inquiétude quant à la double focalisation d’OpenAI sur la réalisation de l’intelligence artificielle générale (AGI) – le point où l’IA peut s’auto-apprendre – tout en lançant des produits commerciaux. Il estime que cette combinaison pourrait conduire à un développement précipité et à des précautions de sécurité inadéquates.
« Ils sont sur cette trajectoire pour changer le monde, et pourtant, lorsqu’ils lancent des choses, leurs priorités ressemblent davantage à celles d’une entreprise de produits », a expliqué Saunders.
Il a ajouté que même si certains employés d’OpenAI font du bon travail pour comprendre et prévenir les risques, il ne voit pas de priorité suffisante accordée à ce travail. Les inquiétudes de l’ancien employé s’étendent à l’ensemble du secteur de l’IA. Saunders était l’un des 13 anciens et actuels employés d’OpenAI et de Google DeepMind qui ont signé une lettre ouverte intitulée « Le droit d’avertir ». La lettre souligne l’importance de permettre aux membres de la communauté de l’IA d’exprimer leurs préoccupations concernant le développement rapide de la technologie. Le départ de Saunders d’OpenAI n’est pas un incident isolé. D’autres personnalités importantes ont également quitté l’entreprise en raison de préoccupations similaires. Par exemple, Anthropic, une entreprise d’IA concurrente, a été fondée en 2021 par d’anciens employés d’OpenAI qui estimaient que l’entreprise n’était pas suffisamment axée sur la confiance et la sécurité. Plus récemment, Ilya Sutskever, cofondateur et ancien scientifique en chef d’OpenAI, est parti en juin 2024 pour créer Safe Superintelligence Inc., une entreprise dédiée à la recherche sur l’IA tout en garantissant que « la sécurité reste toujours au premier plan ». OpenAI a fait face à des critiques et à des troubles internes concernant son approche du développement de l’IA. En novembre 2023, le PDG Sam Altman a été brièvement démis de ses fonctions par le conseil d’administration, qui a invoqué une perte de confiance. Bien qu’Altman ait été réintégré quelques jours plus tard, l’incident a mis en évidence les tensions persistantes au sein de l’entreprise. Malgré ces inquiétudes, OpenAI continue de faire avancer son développement en matière d’IA. L’entreprise a récemment dissous son équipe de superalignement, le groupe dont faisait partie Saunders, qui était chargée de contrôler les systèmes d’IA qui pourraient un jour être plus intelligents que les humains.
