Meta dévoile Llama-3 : nous mettons à l'épreuve le nouveau modèle d'IA open source de pointe

Meta a publié Llama 3, le modèle de grand langage open source le plus avancé actuellement disponible. Il s'appuie sur les bases posées par son prédécesseur, Llama 2, et a été une surprise étant donné que les rumeurs suggéraient que la sortie aurait lieu le mois prochain.

Avec ses racines open source, Llama-2 a joué un rôle déterminant dans le développement simultané d'autres modèles puissants tels que Mixtral, Alpaca, Vicuna et WizardLM.

Désormais, Llama-3 promet d'aller encore plus loin dans ces capacités, en offrant des fonctionnalités comparables à celles du modèle d'IA phare actuel d'OpenAI, GPT-4.

Meta a salué la sortie de jeudi comme "la prochaine génération de notre grand modèle de langage open source de pointe". Le géant de la technologie est si confiant dans ses capacités que Llama 3 alimente Meta AI, qui à son tour a été ajoutée à presque toutes les applications extrêmement populaires de l'entreprise : Instagram, Facebook et WhatsApp.

Il a été rendu disponible dans certains pays, mais les utilisateurs d'autres régions peuvent y accéder via VPN.

L'interface Chatbot de Meta AI est comparable à ChatGPT Plus et elle est gratuite.

a déclaré Mark Zuckerberg dans un message sur Facebook.

"

Decrypt a pu tester la nouvelle IA et a constaté qu'elle était aussi performante que ChatGPT-Plus sans abonnement payant. Il peut générer des images et des animations, produire du code et fournir des réponses cohérentes et contextuellement pertinentes.

Le nouveau chatbot peut également accéder à Internet, mais il n'est toujours pas à la hauteur des capacités de solutions spécialisées comme Perplexity.

Le seul inconvénient est peut-être que la fenêtre contextuelle actuelle de Llama-3 est limitée à 8 000 jetons, soit environ 6 000 mots.

Meta a publié un modèle Llama-3 de 70 milliards de paramètres, mais son utilisation nécessiterait une puissance de calcul importante, probablement un rack entier de GPU.

Selon des benchmarks synthétiques, ce modèle bat Gemini 1.5 Pro et Claude 3 Sonnet.

Il existe également un modèle de 8 milliards de paramètres disponible, qui peut être exécuté localement sur des GPU grand public.

Celui-ci bat le Gemma et le Mistral 7B de Google dans divers benchmarks synthétiques. Le modèle n'a pas encore été répertorié dans la LLM Arena, il n'y a donc pas encore de score ELO subjectif à signaler.

a déclaré Meta. Cela inclut l'introduction de nouveaux outils de confiance et de sécurité tels que Llama Guard 2, Code Shield et CyberSec Eval 2.

Dans les mois à venir, Meta annonce son intention d'introduire de nouvelles fonctionnalités, des fenêtres contextuelles plus longues, des tailles de modèle supplémentaires et des performances améliorées.

Le document de recherche Llama 3 sera également partagé.

"Meta AI, construit avec la technologie Llama 3, est désormais l'un des principaux assistants d'IA au monde qui peut booster votre intelligence et alléger votre charge, vous aidant à apprendre, à accomplir des tâches, à créer du contenu et à vous connecter pour tirer le meilleur parti de chaque instant. ", a déclaré Meta.

Meta a ajouté qu'elle formait également un modèle massif de 400 milliards de paramètres, qui devrait être publié plus tard cette année. Ce modèle, probablement comparable à Claude Opus ou à la dernière version de GPT-4.5, pourrait être le modèle open source le plus puissant à ce jour.

Si l'Histoire se répète, elle servira également de base à une nouvelle génération de modèles optimisés qui surpasseront le Llama-3 en termes de qualité globale et renforceront la concurrence contre les principaux modèles de proximité.

Monter le lama

Décryptez Llama-3 testé dans Meta AI pour voir s'il était aussi bon que le dit Zuck. En bref, Llama-3 a introduit un certain nombre de fonctionnalités et de capacités notables et devrait constituer un excellent modèle fondamental sur lequel la communauté open source peut itérer.

Modération du contenu

Llama-3 démontre un fort engagement envers la modération du contenu. Il a systématiquement refusé de générer du contenu racial préjudiciable, même face aux techniques de jailbreak courantes.

Par exemple, lorsqu'on demandait au modèle des instructions sur la façon de séduire une femme, il fournissait des réponses génériques mais utiles.

Cependant, lorsqu'on lui a demandé des instructions sur la manière de séduire la femme d'un meilleur ami, le mannequin a fermement refusé de répondre.

Semblable à ChatGPT-Plus, Meta AI avec Llama-3 est capable de générer des images. Cependant, il va encore plus loin en offrant la possibilité de les animer, une fonctionnalité non disponible dans ChatGPT ou Gemini.

Les images générées par Meta AI avec Llama-3 sont plus réalistes que celles produites par Dalle-3, mais elles sont en deçà de la qualité des images générées par le prochain ImageFX de Google.

Capacités de codage

Llama-3 s'est avéré très compétent en codage. Lorsqu'on lui a présenté une idée de jeu unique et mal expliquée, le modèle a pu générer le code Python nécessaire en deux tentatives, aboutissant à un jeu fonctionnel.

mais il a créé un code fonctionnel après que nous ayons clarifié que nous en avions besoin en Python.

Le jeu était fonctionnel mais manquait quelques détails mineurs, comme le redémarrage après la victoire d'un joueur. La même chose s'est produite avec d'autres chatbots.

Nous avons trouvé que Claude 3 Sonnet était le meilleur outil pour cette tâche, suivi de Llama 3. GPT-4 tombe à la troisième place. Cependant, différents utilisateurs peuvent obtenir des résultats différents.

Voici un pastebin avec les codes sources générés par Llama3, Claude et ChatGPT pour ceux qui souhaitent les tester.

Neutralité politique

Le modèle vise la neutralité politique, comme en témoignent ses réponses aux questions sur le capitalisme et le communisme. Les réponses étaient structurellement similaires, fournissant une introduction, les avantages et les inconvénients de chaque système.

Ce modèle de neutralité a également été observé dans les réponses à des questions telles que « Qu'est-ce qu'un homme ? et "Qu'est-ce qu'une femme ?"

Pourtant, ses réponses sont légèrement pro-capitalistes et de gauche, ce qui n'est pas surprenant puisqu'il s'agit de la tendance politique la plus répandue parmi les grands modèles linguistiques.

Raisonnement logique

Llama-3 a montré de puissantes capacités de raisonnement logique. Lorsqu'il a été testé avec des questions LSAT complexes qui déroutent souvent les utilisateurs, le modèle a non seulement fourni des réponses correctes, mais a également proposé des explications claires et raisonnables.

Limites des invites longues

Malgré ses nombreux atouts, Llama-3 a du mal avec les longues invites. Lorsqu'il est présenté avec une longue invite d'environ une page et demie de contexte (qui peut être ingérée par des modèles comme GPT-4, Claude ou Mistral), le modèle a renvoyé un message d'erreur.

Compréhension de la langue

Le modèle démontre une solide compréhension de différentes langues.

Lorsqu'on lui a demandé de traduire un slogan espagnol, il a non seulement fourni une traduction précise, mais a également offert un contexte permettant de mieux comprendre le slogan.

Conclusion

En tant qu'interface de chatbot, Meta AI (qui est alimenté par Llama3) peut rivaliser avec ChatGPT Plus et constitue un excellent choix global.

À un niveau plus technique, LLama3 en tant que LLM est assez bon pour rivaliser avec GPT-4 dans différents scénarios, ne perdant qu'en termes de capacités de contexte de jeton et de générations augmentées de récupération (extrayant essentiellement des informations d'un ensemble de données spécifique fourni par l'utilisateur).

Cela peut être important pour les utilisateurs férus de technologie, mais ce n'est peut-être pas un gros problème pour la personne ordinaire.

vous pouvez envisager d'annuler votre abonnement, car les capacités de génération d'images et d'animations de Llama-3 sont comparables. Cependant, si vous avez également besoin d'une prise en charge des invites longues, Llama-3 n'est peut-être pas le meilleur choix pour vous et vous voudrez peut-être envisager de vous en tenir à ChatGPT-Plus.

Les utilisateurs occasionnels peuvent constater que Llama-3 répond à leurs besoins sans nécessiter un abonnement payant.

Pour les tâches nécessitant des recherches approfondies sur Internet, ChatGPT Plus ou Perplexity peuvent être plus adaptés.

Enfin, si vous vous concentrez sur le codage, Llama-3 pourrait être une bonne alternative, bien qu'il existe d'autres outils spécialisés disponibles.

Le fait que Llama-3 soit gratuit est un avantage non négligeable.