Le Phi-2 compact de Microsoft rivalise avec les plus grands modèles d'IA

  • Microsoft dévoile Phi-2, un petit modèle de langage rivalisant avec des modèles d'IA plus grands
  • Phi-2 montre des performances remarquables dans les tests de mathématiques, de codage et de raisonnement en plusieurs étapes
  • Microsoft repousse les limites de l'IA avec le développement de puces personnalisées et des partenariats pour améliorer l'infrastructure technologique

Microsoft (NASDAQ : MSFT) a dévoilé un nouveau petit modèle de langage (SML), baptisé Phi-2, conçu pour correspondre aux capacités de modèles d’intelligence artificielle (IA) plus grands.

Microsoft Research a décrit Phi-2 comme atteignant des performances remarquables dans plusieurs tests. Entraîné sur seulement 2,7 milliards de paramètres, Phi-2 a résisté aux modèles de langage de base comportant moins de 13 milliards de paramètres malgré un ensemble de données d’entraînement limité.

Le SML a été dévoilé lors de l’événement Ignite 2023 de Microsoft, en présence du PDG de la société, Satya Nadella.

Le Phi-2 compact de Microsoft rivalise avec les plus grands modèles d'IA

exploiter les capacités du modèle. Dans son discours, Nadella a révélé que Phi-2 avait démontré des compétences en raisonnement critique et en compréhension du langage dans des critères académiques comparables aux grands modèles de langage (LLM).

Phi-2 et promptbase.

co/wLhUeRsByL

Phi-2 a montré une maîtrise des tests de mathématiques, de codage et de raisonnement de bon sens, surpassant

Modèles Mistral et Llama 2 avec respectivement 7 milliards et 13 milliards de paramètres. De plus, le dernier SML a mieux fonctionné que le modèle 70B de Llama 2 sur les tâches de raisonnement en plusieurs étapes, surpassant même le nouveau Gemini Nano 2 de Google (NASDAQ : GOOGL).

La société est parvenue à ses conclusions après avoir testé Phi-2 en utilisant des ensembles de données et des tâches propriétaires internes, en ajoutant des tests avec des invites couramment utilisées dans les cercles de recherche. Microsoft a réussi l’exploit avec ses SML grâce aux progrès des techniques de conservation des données et des données de qualité manuelle.

Microsoft Research affirme que la taille de Phi-2 pourrait lui permettre de jouer un rôle de premier plan dans la recherche sur l’IA et l’apprentissage automatique et est conforme à son mantra de « briser les lois conventionnelles de mise à l’échelle des modèles de langage ».

« Avec sa taille compacte, Phi-2 est un terrain de jeu idéal pour les chercheurs, notamment pour l’exploration de l’interprétabilité mécaniste, l’amélioration de la sécurité ou la mise au point d’expérimentations sur diverses tâches », peut-on lire dans le rapport.

Avant la sortie de Phi-2, Microsoft Research a testé le terrain avec Phi-1, un SML de 1,3 milliard de paramètres, suivi d’une deuxième itération baptisée Phi-1.5 avec un raisonnement avancé de bon sens.

Repousser les limites de l’IA

L’incursion de Microsoft dans l’IA s’étend au-delà du développement de modèles, en s’attaquant au terrain incertain du développement de puces personnalisées. La société a déjà fait allusion à l’intégration de puces personnalisées – Maia et Cobalt – dans la bataille pour la suprématie de l’IA contre Google et d’autres concurrents.

En novembre, la société a annoncé des partenariats pluriannuels avec les gouvernements australien et britannique pour améliorer l’infrastructure de l’IA et d’autres technologies émergentes. Une collaboration à long terme avec le créateur de ChatGPT, OpenAI, a suscité l’intérêt des régulateurs antitrust du monde entier, ouvrant une nouvelle boîte de Pandore pour Microsoft.

Regarder  : L’IA occupe le devant de la scène au London Chatbot Summit avec Craig Massey et Elizabeth Stokoe

Nouveau sur la blockchain ? Consultez la section Blockchain pour les débutants de CoinGeek, le guide de ressources ultime pour en savoir plus sur la technologie blockchain.