Même les développeurs ne savent pas comment fonctionnent les modèles d'IA, mais nous obtenons enfin des réponses

Les modèles d'intelligence artificielle générative (IA) peuvent faire des choses assez incroyables avec juste une invite, mais il y a un grand secret de polichinelle derrière eux : même leurs créateurs ne savent pas exactement comment ils sont capables de faire ce qu'ils font, ni pourquoi de tels résultats peuvent être obtenus. varient d’une invite à l’autre. Mais aujourd’hui, l’un des plus importants créateurs de modèles d’IA générative commence à ouvrir cette « boîte noire ».
Anthropic, une société de recherche leader sur l'IA formée par d'anciens chercheurs d'OpenAI, a publié un article détaillant une nouvelle méthode d'interprétation du fonctionnement interne de son grand modèle de langage, Claude.
Cette approche innovante, baptisée « apprentissage par dictionnaire », a permis aux chercheurs d'identifier des millions de connexions – qu'ils appellent « caractéristiques » – au sein du réseau neuronal de Claude, chacune représentant un concept spécifique compris par l'IA.
La capacité d'identifier et de comprendre ces fonctionnalités offre un aperçu sans précédent de la manière dont un grand modèle de langage (LLM) traite les informations (comment il pense) et génère des réponses (comment il agit). Cela donne également à Anthropic un effet de levier pour modifier les modèles sans avoir à les recycler. Cela pourrait également ouvrir la voie à d’autres chercheurs pour appliquer la technique d’apprentissage du dictionnaire à leurs propres pondérations, afin de mieux comprendre leur fonctionnement interne et de les améliorer en conséquence.
L'apprentissage par dictionnaire est une technique qui décompose les actions d'un modèle en plusieurs parties plus faciles à comprendre à l'aide d'un type spécial de réseau neuronal appelé auto-encodeur clairsemé. Cela aide les chercheurs à identifier et à comprendre les « fonctionnalités » ou les composants clés du modèle, ce qui rend plus clair la manière dont le modèle traite et représente différentes idées.
"Nous avons trouvé des millions de caractéristiques qui semblent correspondre à des concepts interprétables allant d'objets concrets comme des personnes, des pays et des bâtiments célèbres à des idées abstraites comme les émotions, les styles d'écriture et les étapes de raisonnement", indique le document de recherche.
Anthropic a codé certaines de ces fonctionnalités pour le public. Claude est capable de créer des liens pour des choses comme le Golden Gate Bridge (code 34M/31164353) avec des notions abstraites telles que « conflits et dilemmes internes » (F#1M/284095), des noms de personnes célèbres comme Albert Einstein (F#4M/ 1456596) et même des problèmes de sécurité potentiels comme « influence/manipulation ». (F#34M/21750411).
"La chose intéressante n'est pas que ces fonctionnalités existent, mais qu'elles peuvent être découvertes à grande échelle et intervenir", a expliqué Anthropic. "À long terme, nous espérons qu'avoir accès à de telles fonctionnalités pourra être utile pour analyser et garantir la sécurité des modèles. Par exemple, nous pourrions espérer savoir de manière fiable si un modèle nous trompe ou nous ment. Ou nous pourrions espérer garantir que certaines catégories de comportements très nocifs (par exemple, aider à créer des armes biologiques) puissent être détectés et stoppés de manière fiable.
Dans une note, Anthropic a déclaré que cette technique l'avait aidé à identifier les éléments à risque et à agir rapidement pour réduire leur influence.
« Par exemple, les chercheurs d'Anthropic ont identifié une fonctionnalité correspondant à un « code dangereux », qui se déclenche pour des morceaux de code informatique qui désactivent les fonctionnalités du système liées à la sécurité », a expliqué Anthropic. « Lorsque nous incitons le modèle à poursuivre une ligne de code partiellement complétée sans stimuler artificiellement la fonctionnalité « code dangereux », le modèle permet de compléter en toute sécurité la fonction de programmation. Cependant, lorsque nous forçons le déclenchement puissant de la fonctionnalité « code non sécurisé », le modèle termine la fonction avec un bug qui est une cause fréquente de vulnérabilités de sécurité.
Image : AntrhopiqueCette capacité à manipuler des fonctionnalités pour produire des résultats différents s’apparente à modifier les paramètres d’une machine complexe ou à hypnotiser une personne. Par exemple, si un modèle de langage est trop « politiquement correct », alors renforcer les fonctionnalités susceptibles d’activer son côté plus épicé pourrait effectivement le transformer en un LLM radicalement différent, comme s’il avait été formé à partir de zéro. Cela aboutit finalement à un modèle plus flexible et à un moyen plus simple d'effectuer une maintenance corrective lorsqu'un bug est détecté.
Traditionnellement, les modèles d’IA sont considérés comme des boîtes noires, c’est-à-dire des systèmes très complexes dont les processus internes ne sont pas facilement interprétables. Anthropic affirme avoir progressé jusqu'à ouvrir complètement la boîte noire de son modèle, offrant ainsi une vision plus claire des processus cognitifs de l'IA.
Les recherches d'Anthropic constituent une étape importante vers la démystification de l'IA, en offrant un aperçu des processus cognitifs complexes de ces modèles avancés. La société a partagé les résultats sur Claude car elle est propriétaire de ses pondérations, mais des chercheurs indépendants pourraient prendre les pondérations ouvertes de n'importe quel autre LLM et adapter cette technique pour affiner un nouveau modèle ou comprendre comment ces modèles open source traitent les informations.
"Nous pensons que comprendre le fonctionnement interne des grands modèles de langage comme Claude est crucial pour garantir leur utilisation sûre et responsable", ont écrit les chercheurs.
Edité par Andrew Hayward

Newsletter généralement intelligente

Un voyage hebdomadaire en IA raconté par Gen, un modèle d'IA générative.