Transformers peut-il accélérer l'évolution d'une banque intelligente  ? – Explorer les tendances récentes de la recherche

L’apprentissage automatique (ML) a transformé le paysage bancaire au cours de la dernière décennie, permettant aux organisations de mieux comprendre les clients, de fournir des produits et services personnalisés et de transformer l’expérience du client final avec eux. Cependant, l’efficacité du ML était limitée par le volume et la qualité des données de formation et le temps nécessaire pour former les modèles. L’article fondateur de 2017 des chercheurs de Google, « L’attention est tout ce dont vous avez besoin », a véritablement transformé le monde de la modélisation du langage et des séquences avec sa nouvelle architecture de réseau neuronal basée sur le mécanisme d’auto-attention appelée ‘Transformateurs’. Les transformateurs ont apporté avec eux la capacité d’intégrer des informations sur de très longues séquences, apportant ainsi une meilleure « compréhension contextuelle » à chaque jeton de la séquence de langage analysée. Couplé à la possibilité d’intégrer l’informatique parallèle dans la formation des modèles, Transformers a apporté une précision et une efficacité accrues.

Alors que Transformers a commencé avec le problème de la traduction automatique, il a évolué vers un modèle unique résolvant les problèmes de résumé de contenu, d’analyse des sentiments, de modélisation de sujet et de génération de contenu. BERT de Google et GPT3 d’Open AI ont popularisé les modèles de transformateurs.

Alors que les transformateurs ont prouvé leur maîtrise de la modélisation du langage et des séquences, les efforts de recherche récents incluent l’exploration d’architectures basées sur les transformateurs pour la prise de décision via l’apprentissage par renforcement, les prédictions d’anomalies et d’autres domaines dans lesquels d’autres énoncés de problème ont été convertis en un problème de modélisation de séquence, puis traités. Cet article explore les différentes tendances de la recherche dans l’architecture Transformer et comment ses différentes variantes pourraient avoir un impact profond sur le monde des services bancaires et financiers.

• TRANSFORMATEURS GÉNÉRATIFS PRÉFORMÉS POUR LES INTERACTIONS INTELLIGENTES ET LA CRÉATION DE CONTENU :

Chat GPT3 est le sujet de conversation de la ville. La capacité de ces transformateurs génératifs pré-entraînés, entraînés sur des corpus de données linguistiques massifs, à répondre intelligemment à des requêtes variées a retenu l’attention de tous. Ce modèle de langage générique préformé peut être utilisé efficacement par les banques pour diverses fonctions allant du marketing au service client en passant par le support opérationnel. Quelques domaines où les modèles de type ChatGPT3 peuvent être intégrés dans l’écosystème informatique bancaire sont :

/li>

etc.

• TRANSFORMATEURS DE VOIX POUR L’AUTHENTIFICATION ET LE TRAITEMENT  :

Les candidatures incluent :

/li>

/li>

Tout cela peut également être pensé dans un scénario multilingue et dialectal.

Certains ont essayé de diviser l’entrée en morceaux sur lesquels l’attention est calculée. Certains chercheurs ont essayé de résoudre le problème d’alignement entre l’entrée et la sortie (disons la sortie audio et texte). Emformer, Gen3 Conformer, AmTRF, ESPnet, Hybrid Transformer sont quelques exemples des résultats de la recherche dans cet espace.

• TRANSFORMATEURS PERSONNALISÉS POUR LE PROFILAGE DES CLIENTS ET LES RECOMMANDATIONS  :

Les produits, services et offres proposés aux clients bancaires doivent être très contextuels. Par exemple, les clients peuvent se voir proposer des offres personnalisées lors de leur interaction avec les représentants du service client, ou des offres fournies de manière proactive lorsqu’ils se trouvent à proximité de magasins marchands. En fonction des habitudes de dépenses d’un client et de son profil d’âge, une banque peut choisir de proposer des produits spécifiques (tels que des prêts, des remises, etc.) susceptibles de les intéresser.

La recherche a montré que la construction d’encodeur du transformateur peut être utilisée pour modéliser les clients et les profiler efficacement. Les chercheurs ont tenté de concaténer les données codées de l’utilisateur en mots, puis la description du comportement d’un utilisateur au cours d’un mois spécifique en une phrase. Ainsi, l’historique d’un client qui contient un codage à chaud d’un client, des caractéristiques numériques de la démographie du client et un codage à chaud des produits possédés, est devenu ensemble une phrase. Cette approche a aidé à résoudre le problème dans une déclaration de modélisation de séquence. L’encodeur transformateur apprend alors une imbrication de chaque utilisateur qui encode ses données historiques. Une couche d’anticipation prend en entrée la sortie de la pile d’encodeurs et des couches d’intégration d’utilisateurs et génère une distribution de probabilité pour la probabilité que les utilisateurs achètent chaque produit, qui est normalisée à l’aide d’une couche softmax pour donner la recommandation finale. La littérature de recherche montre que ces modèles de transformation fonctionnent mieux que les moteurs de recommandation traditionnels.

• TRANSFORMATEURS DE VISION CONVOLUTIONNELLE POUR UNE RECONNAISSANCE PLUS INTELLIGENTE DU CONTENU :

mais leur efficacité a souffert lors du traitement des formulaires de demande manuscrits.

une attention multi-têtes et enfin un perceptron multicouche (couches entièrement connectées). Des recherches préliminaires indiquent une précision beaucoup plus élevée dans la prédiction du contenu manuscrit.

Les banques traitent les formulaires manuscrits dans  :

Et Vision Transformers (ViT) peut jouer un rôle essentiel dans l’amélioration de la capacité de traitement direct des organisations bancaires.

• TRANSFORMATEURS DE DÉCISION (BASÉS SUR RL) POUR MAXIMISER LES RETOURS CLIENTS  :

Les transformateurs sont connus pour modéliser efficacement les données de séquence. Cependant, des recherches récentes dans des universités et des organisations telles que Google et Facebook ont ​​montré qu’une architecture Transformer (connue sous le nom de

Cadre du transformateur de décision) peut résumer l’apprentissage par renforcement (RL) en tant que problème de modélisation de séquence. Il a été démontré que la couche d’auto-attention dans l’architecture Transformer peut être utilisée pour attribuer une récompense en maximisant le produit scalaire des vecteurs de requête et de clé et en formant des associations d’état-récompense. Contrairement à l’approche traditionnelle consistant à ajuster les fonctions de valeur et à calculer les gradients de politique, cette approche basée sur les transformateurs prédit le prochain jeton et les trajectoires optimales sont obtenues en générant la séquence d’actions.

Cette approche dans le secteur bancaire peut être explorée pour la gestion de patrimoine axée sur les objectifs et la gestion de portefeuille financier. Cela peut inclure des problèmes spécifiques tels que  :

• TRANSFORMATEURS POUR LA PRÉDICTION ET LA PRÉVISION  :

Efficace Détection d’une anomalie est essentiel pour détecter les fraudes dans un écosystème financier. Le manque de données de fraude étiquetées pour la formation, car les fraudes sont peu fréquentes, est souvent un défi pour construire des modèles ML. De plus, les fraudeurs utilisent une approche différente à chaque fois.

Des recherches récentes indiquent qu’une architecture de modèle de transformateur profond avec des encodeurs de séquence multi-têtes basés sur l’attention pour identifier/classer les transactions frauduleuses en fonction de la connaissance des tendances temporelles plus larges dans les données a été très efficace. L’entrée du modèle de transformateur est fournie avec un ensemble de fonctionnalités requises qui sont présélectionnées à l’aide de modèles ML traditionnels.

Cette approche peut être efficacement adoptée par les organisations bancaires dans leur département des risques pour élaborer une approche efficace pour  :

Un autre prédicteur intéressant est le Transformateur de série chronologique. Ils peuvent être utilisés pour prédire les mouvements des cours des actions, prévoir les actifs non performants bruts trimestriels ou annuels, la probabilité de défaut, le taux de change et d’autres facteurs clés.

Regarder vers l’avant:

• Les modèles d’apprentissage en profondeur basés sur les transformateurs sont de plus en plus adoptés  :

Les entreprises Fintech qui se sont développées ont été plus rapides à adopter la technologie et ont ravi les clients avec leur proposition de valeur, ce qui a imposé une concurrence féroce aux acteurs traditionnels. Ainsi, les acteurs traditionnels ont également fait des efforts importants pour rattraper leur retard. Il est évident que l’apprentissage automatique, et plus encore avec l’architecture de transformateur moderne, est tenu d’avoir un impact durable sur le secteur bancaire en  :

• Transformateurs contextuels de la technologie financière  :

FinBERT est un modèle de langage pré-formé spécifique au domaine financier, basé sur le BERT de Google. Son objectif est d’améliorer la recherche et la pratique de la PNL financière. Très récemment, une startup indienne Yubi a lancé son propre modèle de transformateur YubiBERT, qui s’adresserait à l’industrie fintech dans cette partie du monde et adapté aux différentes langues locales. Cela pourrait certainement être la tendance des entreprises innovantes à explorer, affiner et personnaliser davantage l’architecture d’apprentissage en profondeur de style transformateur et à la former avec des tonnes de données pour répondre efficacement aux problèmes spécifiques du monde des services financiers.

Les modèles de transformateurs ne remplaceront peut-être pas les humains, mais perturberont certainement le modèle de travail actuel et offriront un énorme potentiel aux entreprises pour s’adapter et se développer.