ChatGPT incapable de détecter les vulnérabilités des contrats intelligents  : étude

ChatGPT peut rédiger des contrats intelligents, mais les développeurs doivent éviter de l'utiliser pour auditer leur code, a découvert une équipe de chercheurs.

Les chercheurs de la société de sécurité blockchain Salus Security ont évalué la capacité de GPT-4, le grand modèle de langage (LLM) le plus puissant d'OpenAI, à auditer les contrats intelligents. Ils ont conclu que même si son taux de précision dans la détection des vulnérabilités est élevé, son taux de rappel est dangereusement bas pour un outil d'audit de contrat intelligent.

Dans leur étude récemment publiée, les deux chercheurs ont sélectionné huit ensembles de contrats intelligents auxquels ont été injectés 18 types de vulnérabilités, soit 60 au total. Leur objectif était d'évaluer si le LLM d'OpenAI pouvait imiter un auditeur professionnel et s'il pouvait analyser le code et découvrir les vulnérabilités.

Les chercheurs ont découvert que GPT-4 détectait sept types de vulnérabilités avec une précision supérieure à 80 %. Cependant, son taux de rappel était étonnamment faible dans tous les ensembles de données, le plus bas se situant autour de 11 %, ce qui suggère « que GPT-4 pourrait manquer certaines vulnérabilités lors de la détection ».

Le taux de rappel est le pourcentage d'échantillons de données qu'un modèle peut identifier correctement comme appartenant à une classe sur l'échantillon total ou le taux de vrais positifs. La précision est le rapport entre les vrais positifs et les vrais et faux positifs, ou le nombre de positifs indésirables inclus dans un ensemble de données.

Les chercheurs ont souligné que les résultats indiquent que les capacités de détection des vulnérabilités de GPT-4 sont inférieures à la moyenne et ne devraient être utilisées que comme outil auxiliaire dans l'audit des contrats intelligents.

« En résumé, GPT-4 peut être un outil utile pour faciliter l'audit des contrats intelligents, en particulier pour l'analyse du code et pour fournir des indices de vulnérabilité. Cependant, compte tenu de ses limites en matière de détection des vulnérabilités, il ne peut pas remplacer entièrement les outils d’audit professionnels et les auditeurs expérimentés pour le moment », ont conclu les chercheurs.

La dernière étude corrobore d’autres conclusions qui ont rejeté les affirmations selon lesquelles l’intelligence artificielle (IA) remplacerait les développeurs. Alors que les outils spécialisés basés sur l'IA deviennent

De plus en plus doués pour écrire du code et détecter les vulnérabilités, on ne peut toujours pas compter sur eux seuls, en particulier dans le monde des actifs numériques où la moindre vulnérabilité est exploitée.

Pour que l’intelligence artificielle (IA) fonctionne dans le respect de la loi et prospère face à des défis croissants, elle doit intégrer un système de blockchain d’entreprise qui garantit la qualité et la propriété des données saisies, lui permettant ainsi de conserver les données en sécurité tout en garantissant leur immuabilité. de données. Consultez la couverture de CoinGeek sur cette technologie émergente pour savoir pourquoi la blockchain d'entreprise sera l'épine dorsale de l'IA.

Regarder : L’IA sait-elle ce qu’elle fait ?

Nouveau sur la blockchain ? Consultez la section Blockchain pour les débutants de CoinGeek, le guide de ressources ultime pour en savoir plus sur la technologie blockchain.