Des chercheurs chinois découvrent une nouvelle approche de l'IA pour élaguer les LLM


Les chercheurs chinois ont réalisé des progrès significatifs grâce à une nouvelle technique de compression pour les grands modèles de langage (LLM) afin de remédier aux limitations matérielles associées à leur déploiement.

Un article rédigé par des chercheurs de Baichuan Inc. et de l'Institut chinois des logiciels du Laboratoire de traitement de l'information de l'Académie chinoise des sciences, présente un nouveau système de compression pour les LLM qui s'appuie sur les techniques d'élagage précédentes pour réduire les coûts d'inférence sans formation supplémentaire. Surnommée ShortGPT, les chercheurs supposent que la nouvelle méthode fournit une solution permettant aux utilisateurs de suivre le rythme de la taille croissante des paramètres des modèles d'IA.

Les nouvelles générations de LLM sont chargées de milliards de paramètres, repoussant les limites de leurs performances, mais ont un prix élevé lors du déploiement. En règle générale, les chercheurs et les entreprises sont confrontés à des limitations matérielles liées au déploiement des LLM, ce qui déclenche le besoin de nouvelles solutions.

Des chercheurs chinois découvrent une nouvelle approche de l'IA pour élaguer les LLM

Les chercheurs basés en Chine s'appuient sur une nouvelle mesure, Block Influence (BI), pour mesurer les transformations d'état cachées dans les LLM, en supprimant les paramètres indésirables en fonction des scores BI. Pour commencer, le système élimine les couches redondantes après avoir quantifié et mesuré l’impact de leur suppression lors de l’inférence.

Les couches avec de faibles scores après les tests d'évaluation BI sont élaguées pour répondre aux exigences matérielles. Le processus va plus loin en supprimant les couches considérées comme ayant peu d'impact sur les capacités du LLM « sans compromettre les performances du modèle ».

surpasse considérablement les précédentes méthodes de pointe (SOTA) en matière d'élagage de modèles », peut-on lire dans l'article.

Une caractéristique clé du nouveau ShortGPT est son indépendance par rapport aux méthodes de quantification qui ont tendance à réduire la précision des modèles tout en nécessitant une formation supplémentaire.

« De plus, ShortGPT est orthogonal aux méthodes de type quantification, permettant une réduction supplémentaire des paramètres et des calculs », ont déclaré les chercheurs. « La capacité d'obtenir de meilleurs résultats grâce à une simple suppression de couches, par opposition à des techniques d'élagage plus complexes, suggère un degré élevé de redondance dans l'architecture du modèle. »

L’adhésion sans réserve de la Chine à l’IA

La Chine a adopté une position positive sur l’adoption de l’IA ces dernières années pour suivre le rythme de l’innovation aux États-Unis et en Europe. Des plans sont en cours en Chine pour améliorer les capacités des fournisseurs locaux de services d’IA, de technologie blockchain et d’informatique quantique dans un contexte de guerre froide qui se prépare avec les États-Unis.

L'écosystème local de l'IA en Chine continentale est une ruche d'activité, soulignée par une avalanche de déploiements commerciaux d'offres d'IA générative par des entreprises technologiques. Malgré leur attitude avant-gardiste, les autorités chinoises souhaitent empêcher l’utilisation abusive de l’IA en créant des réglementations strictes et des tactiques d’application sévères.

Pour que l'intelligence artificielle (IA) fonctionne dans le respect de la loi et prospère face à des défis croissants, elle doit intégrer un système de blockchain d'entreprise qui garantit la qualité et la propriété de la saisie des données, lui permettant ainsi de protéger les données tout en garantissant également l'immuabilité. de données. Consultez la couverture de CoinGeek sur cette technologie émergente pour savoir pourquoi la blockchain d'entreprise sera l'épine dorsale de l'IA.

Regarder  : Qu'est-ce que la blockchain et l'IA ont en commun ? Ce sont des données

Nouveau sur la blockchain ? Consultez la section Blockchain pour les débutants de CoinGeek, le guide de ressources ultime pour en savoir plus sur la technologie blockchain.