Les jailbreaks AI Chatbot révèlent des données privées d'OpenAI et d'Amazon
Le développeur de ChatGPT, OpenAI, a comblé une faille qui a incité son chatbot phare à révéler les données internes de l’entreprise. La principale société d’IA a classé le piratage, incitant ChatGPT à répéter un mot encore et encore, indéfiniment, comme du spam du service et une violation de ses conditions de service.
L’agent IA beaucoup plus récent d’Amazon, Q, a également été signalé pour trop de partage.
les numéros de téléphone et de fax.
indique le rapport. « Cela permettrait alors, espérons-le, au modèle de générer des échantillons qui ressemblent à sa distribution avant la formation. »
Cependant, après la publication du rapport, les tentatives visant à recréer l’erreur ont été stoppées. ChatGPT-3 et GPT-4 avertiront l’utilisateur : « Ce contenu peut enfreindre notre politique de contenu ou nos conditions d’utilisation. »
« Tenter ou aider quiconque à faire de l’ingénierie inverse, à décompiler ou à découvrir le code source ou les composants sous-jacents de nos services, y compris nos modèles, algorithmes ou systèmes (sauf dans la mesure où cette restriction est interdite par la loi applicable). »
Lorsqu’on lui demande pourquoi il ne peut pas terminer la demande, ChatGPT blâme les contraintes de traitement, les limitations de caractères, les limitations de réseau et de stockage, ainsi que l’aspect pratique de l’exécution de la commande.
Une commande visant à répéter un mot indéfiniment pourrait également être caractérisée comme un effort concerté visant à provoquer un dysfonctionnement d’un chatbot en le verrouillant dans une boucle de traitement, similaire à une attaque par déni de service distribué (DDoS).
Le mois dernier, OpenAI a révélé que ChatGPT avait été touché par une attaque DDoS, ce que le développeur d’IA a confirmé sur la page d’état de ChatGPT.
« Nous sommes confrontés à des pannes périodiques dues à un trafic anormal reflétant une attaque DDoS », a déclaré la société. « Nous poursuivons nos travaux pour atténuer cela. »
Pendant ce temps, Amazon semble également avoir un problème avec un chatbot qui divulgue des informations privées, selon un rapport de Platformer. Amazon a récemment lancé son chatbot Q (à ne pas confondre avec le projet Q* d’OpenAI).
ce qui, selon Amazon, était une pratique courante.
