Microsoft « Prompt Shields » pour Azure AI protège les applications contre le jailbreak et les attaques indirectes

Le géant de la technologie Microsoft (NASDAQ : MSFT) a dévoilé de nouvelles offres visant à améliorer la sécurité de ses produits d'intelligence artificielle (IA) pour ses clients dans un contexte de surveillance réglementaire accrue.

Dans son article de blog, la nouvelle gamme d'outils vise à étouffer les activités des mauvais acteurs cherchant à tromper les systèmes d'IA via des invites. Les recherches de Microsoft ont noté une augmentation significative des attaques indirectes (également connues sous le nom d'attaques indirectes par invite ou d'attaques par injection d'invite inter-domaines) au cours des derniers mois, alimentant les tentatives visant à stopper la tendance.

Les attaques indirectes se produisent lorsque les systèmes d'IA générative traitent des informations qui n'ont pas été initialement créées par le développeur, permettant le transfert de données externes semblables au Cross-Site Scripting (XSS).

Pour protéger les utilisateurs de ses systèmes d'IA, Microsoft a déployé Prompt Shields comme solution complète contre les attaques indirectes et directes contre les systèmes. Composée de trois composants majeurs, Microsoft affirme que la fonctionnalité jouera un rôle avancé dans la « réduction du risque » d'attaques.

« En tirant parti d'algorithmes avancés d'apprentissage automatique et du traitement du langage naturel, Prompt Shields identifie et neutralise efficacement les menaces potentielles dans les invites des utilisateurs et les données tierces », peut-on lire dans le billet de blog.

« Cette capacité de pointe soutiendra la sécurité et l'intégrité de vos applications d'IA, en protégeant vos systèmes contre les tentatives malveillantes de manipulation ou d'exploitation », ajoute-t-il.

La nouvelle solution de sécurité s'appuie sur Spotlighting, s'appuyant sur la fonctionnalité de détection des risques de jailbreak existante de Microsoft pour aider les grands modèles de langage (LLM) à identifier les entrées externes douteuses à partir d'instructions légitimes.

Les mesures de sécurité de Microsoft s'appuient sur des délimiteurs pour « aider à atténuer les attaques indirectes » tout en se tournant vers des marqueurs de données pour déterminer l'intégralité des blocs de contenu.

Des systèmes d’IA sûrs au sommet de la pyramide

Microsoft redouble d'efforts en matière d'IA en embauchant Mustafa Suleyman, ancien cofondateur de Google DeepMind, pour diriger sa résurgence dans les offres commerciales d'IA et d'autres technologies émergentes. Depuis le début de l'année, l'unité IA de Microsoft a connu une ruche d'activités, marquée par l'ajout d'une clé AI Copilot, le lancement proposé d'un ordinateur amélioré par l'IA et l'intention de se lancer dans la production de puces en interne.

Malgré tous ses objectifs expansionnistes, l’entreprise technologique affirme que la sécurité des consommateurs reste un objectif majeur dans un contexte de préoccupations réglementaires croissantes. Microsoft a depuis annoncé son soutien aux engagements volontaires conçus par la Maison Blanche pour garantir la conception sûre et responsable des systèmes d'IA et leur utilisation.

Pour que l'intelligence artificielle (IA) fonctionne dans le respect de la loi et prospère face à des défis croissants, elle doit intégrer un système de blockchain d'entreprise qui garantit la qualité et la propriété de la saisie des données, lui permettant ainsi de protéger les données tout en garantissant également l'immuabilité. de données. Consultez la couverture de CoinGeek sur cette technologie émergente pour savoir pourquoi la blockchain d'entreprise sera l'épine dorsale de l'IA.

Regarder  : L’intelligence artificielle a besoin de la blockchain

Nouveau sur la blockchain ? Consultez la section Blockchain pour les débutants de CoinGeek, le guide de ressources ultime pour en savoir plus sur la technologie blockchain.