De milliards à 100 000 $ de coûts de formation LLM

Il est fourni à titre informatif uniquement et ne doit pas être interprété comme un conseil financier. Veuillez effectuer vos propres recherches avant de prendre toute décision d’investissement.

Exabits a démontré sa capacité à former de grands modèles de langage (LLM), en partenariat avec MyShell pour réduire considérablement les coûts de formation de plusieurs milliards à moins de 100 000 $.

JetMoE-8B est formé à coût inférieur à 0,1 million de dollars mais surpasse le LLaMA2-7B de Meta AI (coût de calcul de plusieurs milliards de dollars)

MyShell : « Atteindre les performances de LlaMA2 avec le modèle JetMoE à 100 000 $, inspiré de l'architecture d'activation clairsemée de ModuleFormer, marque une étape remarquable dans l'apprentissage automatique. Le JetMoE-8B, avec ses 8 milliards de paramètres et sa structure sophistiquée de 24 blocs, chacun abritant deux couches MoE (Attention Head Mixture et MLP Experts Mixture), présente une efficacité et une intelligence informatique avancées.

L'activation sélective de chaque couche de 2 experts sur 8 par jeton d'entrée démontre une utilisation raffinée du cadre Sparse Mixture of Experts (SMoE), améliorant la réactivité et la gestion des ressources du modèle.

L'efficacité du JetMoE-8B, avec ses 2,2 milliards de paramètres d'activation, a considérablement réduit les coûts de formation tout en offrant des performances robustes. L'efficacité du modèle est illustrée dans la figure suivante  : JetMoE-8B a obtenu des résultats de pointe dans cinq catégories sur huit critères d'évaluation, surpassant ses concurrents comme LLaMA-13B, LLaMA2-7B et DeepseekMoE-16B.

Sur le benchmark MT-Bench, le JetMoE-8B a obtenu un score de 6,681, surpassant les modèles de plus grandes capacités, tels que LLaMA2 et Vicuna, qui possèdent 13 milliards de paramètres.

Mais ce qui renforce cette sophistication architecturale, c'est la contribution d'Exabits d'un cluster accéléré et stabilisé de 12 nœuds GPU H100 (96 GPU). La plate-forme Exabits a joué un rôle central dans le fonctionnement du modèle JetMoE, garantissant des performances stables, ultra-disponibles et robustes à une fraction du coût du « gros calcul ».

Cette synergie entre la conception innovante de JetMoE et la technologie GPU de pointe d'Exabits illustre non seulement une avancée majeure dans les capacités d'apprentissage automatique, mais met également en évidence l'efficacité de la combinaison d'architectures de modèles avancées avec l'infrastructure de calcul cloud d'Exabits.

Briser le mythe  : plate-forme GPU décentralisée pour la formation LLM

Exabits a réfuté le scepticisme selon lequel les plates-formes GPU décentralisées ne sont pas adaptées à la formation LLM. Avec une pile technique sophistiquée, un middleware efficace et une chaîne d'approvisionnement robuste en ressources informatiques, Exabits a démontré que la formation et l'inférence LLM sont non seulement possibles, mais également efficaces et extrêmement rentables sur une telle plateforme.

Exabits, une plate-forme de calcul cloud décentralisée, surmonte les limites des plates-formes décentralisées standard en servant de couche de base d'infrastructure pour l'informatique IA et en offrant une solution full-stack. Pour ce faire, il agrège, accélère et stabilise les GPU grand public pour égaler les performances des GPU de niveau entreprise à presque la parité. Cette approche exploite une réserve vaste, mais largement inutilisée, de GPU grand public, atténuant ainsi la crise de pénurie de GPU.

Render Network, Akash, Aethir, EMC et Solana ont aidé Exabits à amorcer et à établir un réseau informatique décentralisé étendu et interconnecté.

Ce super-réseau a le potentiel de s’opposer à AWS, Google et Microsoft, rendant l’IA accessible à tous ceux qui souhaitent construire dans cet espace.

L'avenir de la formation LLM avec Exabits

Exabits n'est pas qu'une simple plateforme technologique ; il incarne l’abordabilité, l’accessibilité et la conscience environnementale. Le succès de JetMoE-8B souligne la faisabilité de cette plate-forme dans l’exécution de formations de modèles haut de gamme, ouvrant la voie à des avancées plus durables et inclusives dans la recherche et le développement de l’IA.

En conclusion, Exabits peut certainement être considéré comme un acteur visible dans le domaine de l'IA, défiant le gros calcul et prouvant que les plates-formes de calcul cloud dans l'espace web3 peuvent effectivement prendre en charge une véritable formation LLM de manière efficace et rentable. Cela ouvre non seulement de nouvelles voies pour la recherche et les applications de l’IA, mais établit également une nouvelle norme dans l’économie informatique, annonçant une nouvelle ère d’innovation et de collaboration dans le domaine du web3 et de l’intelligence artificielle.

Conformément aux directives du Trust Project Il est conseillé aux lecteurs de vérifier les informations de manière indépendante et de consulter un professionnel avant de prendre des décisions basées sur le contenu de ce communiqué de presse