Qu’est-il arrivé à la sécurité ? Confidentialité ?

Ce qui suit est un article invité de John deVadoss, conseil d'administration du Global Blockchain Business Council à Genève et co-fondateur de l'InterWork Alliance à Washington, DC.

La semaine dernière, j'ai eu l'occasion à Washington, DC, de présenter et de discuter des implications de l'IA en matière de sécurité avec certains membres du Congrès et leur personnel.

L’IA générative me rappelle aujourd’hui l’Internet de la fin des années 80 – recherche fondamentale, potentiel latent et utilisation académique, mais elle n’est pas encore prête pour le public. Cette fois, l’ambition sans entrave des fournisseurs, alimentée par le capital-risque des ligues mineures et galvanisée par les chambres d’écho de Twitter, accélère le meilleur des mondes de l’IA.

Les modèles de fondations dites « publiques » sont viciés et inappropriés pour un usage consommateur et commercial ; les abstractions liées à la vie privée, là où elles existent, fuient comme une passoire ; les constructions de sécurité sont en grande partie un travail en cours, car la surface d'attaque et les vecteurs de menace sont encore en train d'être compris ; et les garde-fous illusoires, moins on en parle, mieux c'est.

Et qu’est-il arrivé à la sécurité ? Confidentialité?

Modèles de fondation « compromis »

Les modèles dits « ouverts » sont tout sauf ouverts. Différents fournisseurs vantent leur degré d'ouverture en ouvrant l'accès aux poids des modèles, à la documentation ou aux tests. Pourtant, aucun des principaux fournisseurs ne fournit quoi que ce soit qui se rapproche des ensembles de données de formation, de leurs manifestes ou de leur lignée pour pouvoir répliquer et reproduire leurs modèles.

Cette opacité par rapport aux ensembles de données de formation signifie que si vous souhaitez utiliser un ou plusieurs de ces modèles, alors vous, en tant que consommateur ou en tant qu'organisation, n'avez aucune possibilité de vérifier ou de valider l'ampleur de la pollution des données avec respect de la propriété intellectuelle, des droits d'auteur, etc. ainsi que des contenus potentiellement illégaux.

Surtout, sans le manifeste des ensembles de données de formation, il n'existe aucun moyen de vérifier ou de valider le contenu malveillant inexistant. Des acteurs néfastes, y compris des acteurs parrainés par l'État, diffusent sur le Web du contenu de type cheval de Troie que les modèles ingèrent pendant leur formation, ce qui entraîne des effets secondaires imprévisibles et potentiellement malveillants au moment de l'inférence.

N'oubliez pas qu'une fois qu'un modèle est compromis, il n'a aucun moyen de désapprendre, la seule option est de le détruire.

Sécurité « poreuse »

Les modèles d’IA générative sont les pots de miel de sécurité ultimes, car « toutes » les données ont été ingérées dans un seul conteneur. De nouvelles classes et catégories de vecteurs d’attaque apparaissent à l’ère de l’IA ; l’industrie n’a pas encore compris les implications, à la fois en ce qui concerne la protection de ces modèles contre les cybermenaces et en ce qui concerne la manière dont ces modèles sont utilisés comme outils par les acteurs de la cybermenace.

Des techniques d’injection rapide malveillantes peuvent être utilisées pour empoisonner l’index ; l'empoisonnement des données peut être utilisé pour corrompre les poids ; des attaques par intégration, y compris des techniques d'inversion, peuvent être utilisées pour extraire des données riches des intégrations ; l'inférence d'appartenance peut être utilisée pour déterminer si certaines données se trouvaient dans l'ensemble de formation, etc. et ce n'est que la pointe de l'iceberg.

Les acteurs malveillants peuvent accéder à des données confidentielles via une inversion de modèle et une requête programmatique ; ils peuvent corrompre ou autrement influencer le comportement latent du modèle ; et, comme mentionné précédemment, l’ingestion incontrôlée de données en général entraîne une menace de cyberactivité intégrée parrainée par l’État via des chevaux de Troie et bien plus encore.

Confidentialité « qui fuit »

Les modèles d'IA sont utiles en raison des ensembles de données sur lesquels ils sont formés ; L’ingestion aveugle de données à grande échelle crée des risques sans précédent en matière de vie privée pour les individus et pour le grand public. À l’ère de l’IA, la vie privée est devenue une préoccupation sociétale ; les réglementations qui traitent principalement des droits individuels en matière de données sont inadéquates.

Au-delà des données statiques, il est impératif que les invites conversationnelles dynamiques soient traitées comme des adresses IP à protéger et à sauvegarder. Si vous êtes un consommateur engagé dans la co-création d'un artefact avec un modèle, vous souhaitez que vos invites qui dirigent cette activité créative ne soient pas utilisées pour entraîner le modèle ni partagées avec d'autres consommateurs du modèle.

Si vous êtes un employé travaillant avec un modèle pour obtenir des résultats commerciaux, votre employeur s'attend à ce que vos invites soient confidentielles ; en outre, les invites et les réponses nécessitent une piste d'audit sécurisée en cas de problèmes de responsabilité apparus par l'une ou l'autre des parties. Cela est principalement dû à la nature stochastique de ces modèles et à la variabilité de leurs réponses au fil du temps.

Que se passe-t-il ensuite ?

une technologie qui présente un comportement émergent et latent à grande échelle ; les approches d'hier en matière de sécurité, de confidentialité et de confidentialité ne fonctionnent plus.

Les leaders de l’industrie font fi de toute prudence, ne laissant aux régulateurs et aux décideurs politiques d’autre choix que d’intervenir.