Hallucination Nation  : à quel point votre modèle d'IA préféré est-il fou  ?

  • Les modèles d'IA générative ont tendance à « halluciner » du contenu, créant des risques de désinformation.
  • Un classement appelé Hallucinations Leaderboard évalue les LLM open source en fonction de leurs hallucinations factuelles et leur fidélité.
  • Meow, Stable Beluga et LlaMA-2 sont parmi les modèles ayant le moins d'hallucinations selon ce classement.
  • Le score du classement est basé sur une moyenne de performances dans des tâches variées pour évaluer la précision et la fiabilité des modèles.

Malgré tout le pouvoir transformateur et disruptif attribué à l’essor de l’intelligence artificielle, le talon d’Achille de l’IA générative reste sa tendance à inventer les choses.

La tendance des grands modèles linguistiques (LLM) à « halluciner » s'accompagne de toutes sortes d'embûches, semant les graines de la désinformation. Le domaine du traitement du langage naturel (NLP) peut être dangereux, surtout lorsque les gens ne peuvent pas faire la différence entre ce qui est humain et ce qui est généré par l’IA.

a présenté le Hallucinations Leaderboard, un nouveau classement dédié à l'évaluation des LLM open source et de leur tendance à générer du contenu halluciné en les faisant passer par un ensemble de différents repères adaptés à l’apprentissage en contexte.

Hallucination Nation  : à quel point votre modèle d'IA préféré est-il fou  ?

« Cette initiative vise à aider les chercheurs et les ingénieurs à identifier les modèles les plus fiables et potentiellement à conduire le développement de LLM vers une génération de langage plus précise et plus fidèle », ont expliqué les développeurs du classement.

Le spectre des hallucinations dans les LLM se décompose en deux catégories distinctes : la factualité et la fidélité. Les hallucinations factuelles se produisent lorsque le contenu contredit des faits vérifiables du monde réel. Un exemple d’un tel écart pourrait être un modèle proclamant de manière inexacte que Bitcoin possède 100 millions de jetons au lieu de seulement 23 millions. En revanche, des hallucinations fidèles apparaissent lorsque le contenu généré s'écarte des instructions explicites de l'utilisateur ou du contexte établi, conduisant à des inexactitudes potentielles dans des domaines critiques tels que le résumé de l'actualité ou l'analyse historique. Sur ce front, le modèle génère de fausses informations car il semble que ce soit le chemin le plus logique selon son invite.

Le classement utilise le harnais d'évaluation de modèle de langage d'EleutherAI pour effectuer une évaluation approfondie du modèle de langage à zéro et à quelques coups pour une variété de tâches. Ces tâches sont conçues pour tester le comportement d'un modèle. En termes généraux, chaque test donne un score basé sur les performances du LLM, puis ces résultats sont moyennés afin que chaque modèle concoure en fonction de ses performances globales dans tous les tests.

Alors, quelle architecture LLM est la moins folle du groupe ?

Sur la base des résultats préliminaires du classement Hallucinations, les modèles qui présentent moins d'hallucinations – et se classent donc parmi les meilleurs – incluent Meow (basé sur l'énergie solaire), le Stable Beluga de Stability AI et le LlaMA-2 de Meta. Cependant, certains modèles issus d'une base commune (comme ceux basés sur les Mistral LLM) ont tendance à surpasser leurs concurrents sur des tests spécifiques, qui doivent être pris en considération en fonction de la nature du goût que chaque utilisateur peut avoir en tête.

Cependant, il est important de noter que les modèles qui sont excellents dans certaines tâches peuvent être décevants dans d'autres, c'est pourquoi le classement est basé sur une moyenne entre tous les tests de référence, qui ont testé différents domaines tels que le résumé, la vérification des faits, la compréhension écrite et l'auto-cohérence entre eux. autres.

Le Dr Pasquale Minervini, l'architecte derrière le classement d'Hallucination, n'a pas immédiatement répondu à une demande de commentaire de Decrypt.

Il convient de noter que même si le classement Hallucinations propose une évaluation complète des modèles open source, les modèles fermés n'ont pas encore subi ces tests rigoureux. Cependant, compte tenu du protocole de test et des restrictions exclusives des modèles commerciaux, le score du classement Hallucinations semble peu probable.