ChatGPT peut-il jouer à « Doom »  ? Oui, mais c'est terrible


Des ingénieurs, des chercheurs et des amateurs intrépides de toutes sortes ont prouvé que le jeu de tir classique à la première personne Doom peut être joué sur presque tout, y compris une tondeuse à gazon et même des bactéries intestinales. Mercredi, Adrian de Wynter, chercheur appliqué principal chez Microsoft, a prouvé que le populaire chatbot IA ChatGPT peut jouer à Doom – mais il n'est tout simplement pas très bon dans ce domaine.

Voir quels appareils et autres engins peuvent exécuter Doom est devenu un passe-temps de plus en plus populaire pour les pirates informatiques, les chercheurs et les passionnés de technologie. Pour que Doom fonctionne avec ChatGPT, de Wynter l'a associé au GPT-4V (Vision) multimodal d'OpenAI pour permettre au chatbot de jouer au jeu.

Les résultats de l'expérience Doom/ChatGPT ont montré que malgré les progrès de GPT-4 et de sa variante améliorée par la vision, le modèle d'IA ne pouvait pas exécuter Doom de manière indépendante en raison de limitations en matière de saisie et de rendu d'image.

ChatGPT peut-il jouer à « Doom »  ? Oui, mais c'est terrible

« Par exemple, si le modèle tombait dans une piscine acide, puis restait coincé sur un mur, il 'oublierait' qu'il subit des dégâts à cause de l'acide », a déclaré de Wynter, « et resterait ensuite coincé et mourrait. »

Un autre problème auquel de Wynter était confronté était l'habitude du modèle d'IA d'halluciner et d'inventer des explications pour ses actions, ou de mentir en disant qu'il avait accompli une action. Cela a laissé le Space Marine de Doom à la merci de monstres déchaînés.

GPT-4, a expliqué de Wynter, a réussi à atteindre la dernière salle du jeu… mais une seule fois. La simplicité de Doom, a-t-il déclaré, facilite son utilisation en raison de sa portabilité, et sa nature open source permet de meilleures références permettant de mesurer les agents intelligents, car Doom nécessite de lourdes capacités de raisonnement, comme la planification dans le feu de l'action.

« C'est intéressant !  » de Wynter a déclaré au GG de Decrypt. « Il s'agit principalement d'un mème (« Mon grille-pain peut-il exécuter Doom ? ») en raison de sa portabilité et de son code open source. C'est principalement pour cela que cela reste le jeu de prédilection.

De Wynter a souligné que le projet a été réalisé uniquement en sa qualité de chercheur à l'Université de York et n'a aucun rapport avec son travail avec Microsoft.

« Le débogage a pris beaucoup de temps. Normalement, je jetais les cadres et je les examinais simplement pour m'assurer que rien ne se cassait », a-t-il déclaré, notant des problèmes constants, notamment le modèle essayant de sortir de la carte par la fenêtre. « Finalement, j'ai abandonné et j'ai transformé les images en GIF. »

Le projet de De Wynter n'est que le dernier d'une série d'expériences visant à jouer à Doom dans des lieux insolites.

L'année dernière, après le lancement du protocole Ordinals, une version allégée de Doom a été inscrite sur la blockchain Bitcoin sous le nom d'inscription 466. Plus tôt cette année, un projet similaire a ajouté une version complète de Doom à la blockchain Dogecoin.

Bien que cette tentative d'IA de jouer à Doom puisse être ponctuelle, de Wynter a déclaré qu'il avait des idées pour de futures expériences de jeu utilisant de grands modèles de langage (LLM).

« Mon principal intérêt de recherche est lié aux capacités de raisonnement et de planification du LLM, donc les jeux, en général, constituent un excellent banc d'essai pour cela », a-t-il déclaré. « Les jeux de stratégie sont un peu hors de propos pour le moment, mais je me demande si des jeux plus simples (ou d'autres modèles) pourraient donner de meilleurs résultats. »