Comment les sociétés de services financiers sécurisent les données dans un environnement RAG GenAI

Peu d’industries subissent la pression concurrentielle nécessaire pour innover – tout en étant soumises à autant de surveillance publique et réglementaire en matière de confidentialité et de sécurité des données – que le secteur des services financiers. Ainsi, alors que les entreprises mettent en œuvre de nouvelles applications et services à l’aide de plates-formes d’IA à grand modèle de langage (LLM) comme ChatGPT, le secteur des services financiers doit adopter une approche différente.

Compte tenu des risques de sécurité des données que les services LLM publics peuvent poser lorsque des données privées sont utilisées, les sociétés de services financiers se tournent vers des modèles de déploiement GenAI qui peuvent être déployés sur une infrastructure privée, tels que la génération augmentée par récupération (RAG), qui peuvent tirer parti de la compréhension LLM de texte et l’appliquer à l’accès et au traitement des données privées. Les entreprises disposent de toute la puissance de l’IA sans l’exposer dans un environnement d’IA ouvert ni subir d’hallucinations en matière de données.

Cet article abordera certains avantages que les modèles RAG peuvent offrir aux sociétés de services financiers et explorera les moyens de garantir une sécurité continue des données tout en utilisant cette technologie avant-gardiste.

La différence entre RAG et les chatbots accessibles au public

Les systèmes GenAI bien connus comme ChatGPT génèrent une réponse à une requête basée sur leur formation à partir d'informations accessibles au public. Avec RAG, les entreprises peuvent utiliser leur ensemble de données privées pour ajouter du contexte à la requête sans recycler le modèle. Pour ce faire, il intercepte l'invite de l'utilisateur et l'utilise pour rechercher dans un index de l'ensemble de données privées afin de trouver les informations les plus pertinentes. Ces informations sont envoyées au LLM sous forme de contexte avec l'invite d'origine pour obtenir une réponse basée sur ce contexte et non sur les données de formation.

Le résultat est une réponse fondée sur des données privées avec pratiquement aucun risque d’hallucinations. Mieux encore, l'augmentation du système Q&A GenAI standard ne nécessite aucun recyclage du LLM, et la base de connaissances sur laquelle s'appuie le système GenAI peut être affinée et mise à jour fréquemment pour garantir les résultats les plus précis.

Avantages de RAG pour le secteur des services financiers

Lors de mes conversations avec des clients du secteur des services financiers, ils ont expliqué comment ils envisagent d'utiliser RAG pour les aider à résoudre des défis commerciaux tels que  :

Support client automatisé  : les chatbots et les assistants virtuels basés sur GenAI peuvent fournir des réponses significatives et exploitables aux clients qui posent des questions sur les produits, services et applications de l'institution. Avec RAG, ces chatbots peuvent exploiter une base de connaissances interne étendue et à jour pour donner aux clients des réponses précises tout en prenant en charge les interactions en langage naturel auxquelles les clients sont habitués.

Résumé des documents à des fins d'analyse et de prise de décision  : les institutions financières traitent chaque jour un grand nombre de documents, allant des informations financières des clients pour les demandes d'ouverture de compte aux rapports internes sur les positions sur le marché. En utilisant RAG pour résumer rapidement le contenu de ces documents et orienter les employés vers les informations les plus pertinentes, les institutions financières peuvent analyser les informations et prendre des décisions cruciales plus rapidement et plus efficacement.

Il ne fait aucun doute dans l'esprit de tous ceux à qui j'ai parlé qu'un système GenAI utilisant RAG présente une excellente opportunité de tirer rapidement profit de la technologie en développement rapide dans ce domaine.

Stratégies pour une utilisation sécurisée de RAG

Aussi tentant qu’il puisse être de se lancer tête baissée dans RAG, les institutions financières doivent faire preuve de prudence. Comme d’autres technologies d’IA générative, l’utilisation de RAG peut conduire à de multiples pièges qui peuvent amener les institutions financières à ne plus se conformer et à s’exposer à de lourdes sanctions. Il incombe aux entreprises du secteur financier de mettre en œuvre des mesures de sécurité appropriées dans le cadre de leur plan de déploiement des systèmes RAG.

Examinez les risques liés aux flux de données vers le service LLM  : les systèmes RAG auront accès à de grands ensembles de données provenant de plusieurs sources de données pour être efficaces. Une grande partie de ces données seront réglementées. Lors d'une opération RAG typique, ces données sensibles doivent être envoyées au service LLM pour générer le contexte et obtenir la réponse. Les institutions financières devraient examiner de plus près les données accessibles au système RAG et déterminer si les risques d'exposition de ces données nécessitent un service LLM déployé entièrement au sein de l'infrastructure qu'elles contrôlent au lieu d'un service public.

Crypter les données sur le terrain : étant donné que les données réglementées doivent être protégées, quel que soit leur emplacement dans l'infrastructure informatique, les sociétés de services financiers doivent garantir que les données sensibles sont cryptées à tout moment et déchiffrées « selon les besoins ». Les solutions de chiffrement des données au repos sont aujourd’hui largement utilisées. Les données sont automatiquement décryptées lors de l'accès, les exposant dès qu'elles passent d'un système à un autre.

La seule façon de garantir une protection cohérente et continue des valeurs de données réglementées lors de leur déplacement dans le pipeline de données d'une société financière vers un système RAG est de chiffrer la valeur des données elles-mêmes au niveau du champ le plus tôt possible. Plus précisément, toutes les données PII doivent être cryptées puisque plusieurs réglementations de conformité qui se chevauchent les couvrent. Pour les systèmes RAG, le chiffrement des informations personnelles garantit qu'aucune ingénierie d'invite ne peut révéler la valeur des données sensibles tout en permettant aux invites valides (ceux qui ne cherchent pas à révéler les informations personnelles) de fonctionner correctement.

Contrôles d'accès au niveau du terrain  : toutes les exigences de conformité exigent que des contrôles d'accès appropriés soient mis en œuvre pour permettre l'accès aux informations réglementées uniquement aux personnes ayant un besoin commercial légitime. Pour les institutions financières, le système RAG ne doit jamais inclure des informations personnelles ou autres informations sensibles dans la réponse. Même si les filtres de sécurité et les solutions DLP peuvent détecter certaines fuites, ils peuvent facilement être contournés par des invites conçues pour contourner ces mécanismes.

Le contrôle d'accès le plus efficace est lié aux valeurs de données sensibles et permet l'accès à ces valeurs sur la base d'une politique de contrôle d'accès bien définie. Grâce à l'application du contrôle d'accès au niveau du terrain, les institutions financières peuvent imposer de manière déterministe l'accès aux données réglementées et fournir des enregistrements d'audit clairs de l'accès.

Tout le monde s’accorde sur le fait que les systèmes RAG représentent une opportunité immédiate et sans précédent de tirer parti des LLM dans les institutions financières, mais il est crucial de prendre en compte dès le début les exigences en matière de sécurité et de confidentialité des données. En adoptant les mesures de sécurité nécessaires pour protéger les données réglementées dans les systèmes RAG, les sociétés de services financiers peuvent répondre aux exigences de sécurité des données et de conformité en matière de confidentialité posées par les applications basées sur RAG avant qu'elles ne deviennent des responsabilités.