Le Phi-2 compact de Microsoft rivalise avec les plus grands modèles d'IA

Microsoft (NASDAQ : MSFT) a dévoilé un nouveau petit modèle de langage (SML), baptisé Phi-2, conçu pour correspondre aux capacités de modèles d'intelligence artificielle (IA) plus grands.
Microsoft Research a décrit Phi-2 comme atteignant des performances remarquables dans plusieurs tests. Entraîné sur seulement 2,7 milliards de paramètres, Phi-2 a résisté aux modèles de langage de base comportant moins de 13 milliards de paramètres malgré un ensemble de données d'entraînement limité.
Le SML a été dévoilé lors de l'événement Ignite 2023 de Microsoft, en présence du PDG de la société, Satya Nadella.
exploiter les capacités du modèle. Dans son discours, Nadella a révélé que Phi-2 avait démontré des compétences en raisonnement critique et en compréhension du langage dans des critères académiques comparables aux grands modèles de langage (LLM).

Aujourd'hui, nous partageons les dernières contributions de nos équipes, Phi-2 et promptbase.
Phi-2 surpasse les autres modèles de petits langages existants, mais il est suffisamment petit pour fonctionner sur un ordinateur portable ou un appareil mobile. https://t.co/wLhUeRsByL
– Recherche Microsoft (@MSFTResearch) 12 décembre 2023

Phi-2 a montré une maîtrise des tests de mathématiques, de codage et de raisonnement de bon sens, surpassant
Modèles Mistral et Llama 2 avec respectivement 7 milliards et 13 milliards de paramètres. De plus, le dernier SML a mieux fonctionné que le modèle 70B de Llama 2 sur les tâches de raisonnement en plusieurs étapes, surpassant même le nouveau Gemini Nano 2 de Google (NASDAQ : GOOGL).
La société est parvenue à ses conclusions après avoir testé Phi-2 en utilisant des ensembles de données et des tâches propriétaires internes, en ajoutant des tests avec des invites couramment utilisées dans les cercles de recherche. Microsoft a réussi l'exploit avec ses SML grâce aux progrès des techniques de conservation des données et des données de qualité manuelle.
Microsoft Research affirme que la taille de Phi-2 pourrait lui permettre de jouer un rôle de premier plan dans la recherche sur l'IA et l'apprentissage automatique et est conforme à son mantra de « briser les lois conventionnelles de mise à l'échelle des modèles de langage ».
"Avec sa taille compacte, Phi-2 est un terrain de jeu idéal pour les chercheurs, notamment pour l'exploration de l'interprétabilité mécaniste, l'amélioration de la sécurité ou la mise au point d'expérimentations sur diverses tâches", peut-on lire dans le rapport.
Avant la sortie de Phi-2, Microsoft Research a testé le terrain avec Phi-1, un SML de 1,3 milliard de paramètres, suivi d'une deuxième itération baptisée Phi-1.5 avec un raisonnement avancé de bon sens.

Repousser les limites de l'IA

L'incursion de Microsoft dans l'IA s'étend au-delà du développement de modèles, en s'attaquant au terrain incertain du développement de puces personnalisées. La société a déjà fait allusion à l’intégration de puces personnalisées – Maia et Cobalt – dans la bataille pour la suprématie de l’IA contre Google et d’autres concurrents.
En novembre, la société a annoncé des partenariats pluriannuels avec les gouvernements australien et britannique pour améliorer l'infrastructure de l'IA et d'autres technologies émergentes. Une collaboration à long terme avec le créateur de ChatGPT, OpenAI, a suscité l'intérêt des régulateurs antitrust du monde entier, ouvrant une nouvelle boîte de Pandore pour Microsoft.
Regarder : L'IA occupe le devant de la scène au London Chatbot Summit avec Craig Massey et Elizabeth Stokoe
Nouveau sur la blockchain ? Consultez la section Blockchain pour les débutants de CoinGeek, le guide de ressources ultime pour en savoir plus sur la technologie blockchain.