Google a formé un modèle d'IA pour utiliser d'autres modèles d'IA et a amélioré son codage de 40 %

  • Google a formé un modèle d'IA pour utiliser d'autres modèles et amélioré son codage de 40 %
  • Cette recherche permet d'enseigner facilement de nouvelles astuces aux anciens modèles d'IA
  • Les gains de performances pourraient avoir des implications rapides dans l'industrie de l'IA et potentiellement résoudre des problèmes juridiques liés au droit d'auteur

Cette recherche sur l’intelligence artificielle (IA) pourrait permettre d’enseigner facilement de nouvelles astuces à d’anciens modèles d’IA sans nécessiter de coûteuses séances de mise au point ou de recyclage.

Les chercheurs en intelligence artificielle de Google Research et de Google DeepMind ont développé une stratégie par laquelle un grand modèle de langage (LLM) peut être amélioré avec d'autres modèles de langage.

Google a formé un modèle d'IA pour utiliser d'autres modèles d'IA et a amélioré son codage de 40 %

Ce développement résout l'un des plus grands problèmes en suspens affectant les LLM en permettant aux développeurs d'infuser les modèles existants avec de nouvelles fonctionnalités et capacités sans avoir besoin de repartir de zéro ou de s'engager dans des sessions coûteuses de recyclage et de réglage fin.

D'après une déclaration de l'équipe de recherche de Google, l'augmentation d'un LLM à l'aide d'un autre langage améliore les performances des tâches existantes et garantit que de nouvelles tâches qui ne seraient pas réalisables par les modèles eux-mêmes sont abordées.

Enseigner de nouvelles astuces aux anciens chatbots

Cette recherche a été réalisée à l'aide du PaLM2-S LLM de Google, un modèle que la société de moteurs de recherche a déclaré comparable à GPT-4, l'infrastructure d'IA qui prend en charge ChatGPT d'OpenAI.

PaLM2-S a été testé et évalué par lui-même dans le cadre des expériences de l'équipe, puis a été complété par des modèles de langage spécialisés plus petits. Les tâches effectuées comprenaient la traduction, où la version améliorée a montré une amélioration allant jusqu'à 13 % par rapport à la version de base, et le codage.

Lorsqu'il a été testé lors de tâches de codage, le modèle hybride a montré des améliorations considérables, selon l'article.

explication de code, à égalité avec ses homologues entièrement affinés. »

Des impacts potentiellement massifs

À première vue, les gains de performances mis en évidence pourraient avoir des implications rapides pour l’industrie de l’IA. L’amélioration des performances dans les tâches de traduction, par exemple, était plus importante lors de la traduction d’une langue peu prise en charge vers l’anglais. Il s’agit toujours d’un problème en suspens dans le domaine de l’apprentissage automatique, et le travail de Google dans ce domaine peut faire avancer les choses.

Néanmoins, dans un cadre plus large, ce type de recherche pourrait s’attaquer à l’épée de Damoclès imminente qui plane au-dessus de la tête de la plupart des PDG technologiques du secteur de l’IA : des problèmes juridiques qui pourraient démanteler les fondements mêmes des chatbots comme ChatGPT.

Related :Comment les innovations en matière d’IA et Web3 pourraient dominer en 2024

Droit d’auteur contre intelligence artificielle

Les créateurs de certains des grands modèles de langage les plus populaires sont cités comme défendeurs dans de nombreuses poursuites qui reposent sur des affirmations selon lesquelles ces réseaux d'IA sont formés à partir de données protégées par le droit d'auteur.

La question à laquelle les législateurs et les tribunaux devront répondre est de savoir si une entreprise à but lucratif peut légalement utiliser ces données pour former ses modèles linguistiques. En regardant les choses à l'extrême, si les tribunaux décident que les développeurs ne peuvent pas utiliser de telles données et que tous les modèles formés sur du matériel protégé par le droit d'auteur doivent être purgés, il pourrait s'avérer techniquement impossible ou financièrement irréalisable de continuer à offrir les services concernés.

Fondamentalement, en raison des coûts élevés impliqués dans la formation de grands modèles de langage et de leur dépendance à de nombreuses données, des produits comme ChatGPT, tels qu'ils sont développés aujourd'hui, pourraient ne pas être viables dans un paysage d'IA plus réglementé aux États-Unis.

Néanmoins, au cas où le nouveau programme d'augmentation LLM de Google serait plus développé, la plupart des besoins de mise à l'échelle et des coûts liés à la création d'un LLM à partir de zéro ou au recyclage d'un LLM existant pourraient probablement être atténués.

Navigation des articles