BNP Paribas met à disposition de ses métiers une plateforme de LLM as a Service pour accélérer l’industrialisation de cas d’usage d’IA générative

• BNP Paribas déploie une plateforme interne LLM as a Service, conçue pour fournir aux entités du Groupe un accès unifié et sécurisé à des modèles de langage à grande échelle (Large Language Model - LLM) dans un environnement sécurisé au sein de ses propres infrastructures.
• Cette infrastructure mutualisée, opérée par les équipes IT du Groupe, permet d’accélérer le développement de cas d’usage d’intelligence artificielle (IA) générative au service des collaborateurs et des clients.
• Ce dispositif s’inscrit dans la stratégie technologique du Groupe, qui fait de la donnée et de l’IA des leviers structurants pour renforcer la personnalisation de l’expérience client et la performance opérationnelle.

Pour faciliter le développement et le déploiement de cas d’usage d’IA générative dans ses métiers et fonctions, BNP Paribas a conçu et déployé une plateforme interne de LLM as a Service.

Cette offre technologique, opérée par les équipes IT du Groupe, permet à chaque entité d’accéder, via une interface standardisée et sécurisée, à une sélection de modèles de langage (LLM) adaptés à ses besoins. Ces modèles peuvent être directement intégrés dans des outils ou processus.

La plateforme repose sur une infrastructure mutualisée hébergée dans les data centers du Groupe, doté de capacités de calcul spécialisées (GPU). Elle donne accès à une sélection de modèles open source, des modèles de Mistral AI, partenaire du Groupe, et prochainement des modèles entraînés sur des corpus internes, selon les besoins spécifiques.

Cette architecture permet au Groupe de disposer d’une puissance de traitement élevée pour exécuter efficacement les modèles de langage, tout en mutualisant et limitant les coûts. Elle garantit un déploiement sécurisé au sein des infrastructures du Groupe, dans le respect des exigences de confidentialité des données et renforce la cohérence des usages d’IA générative à l’échelle des métiers et des fonctions.

« Avec LLM as a Service, nous créons un socle technologique commun qui permet aux entités de se concentrer sur les cas d’usage métier, tout en s’appuyant sur une infrastructure mutualisée et sécurisée. C’est un levier commun pour innover et améliorer la performance de certains usages.» Marc Camus, Directeur des Systèmes d’Informations de BNP Paribas

Plusieurs cas d’usage d’IA générative sont déjà en production ou en expérimentation dans les métiers du Groupe tels que les assistants internes, la génération de documents, ou encore la recherche d’information dans des corpus de documents.

La mise en place de la plateforme permet de passer à l’échelle, en facilitant le déploiement de ces cas d’usage dans un cadre commun et en accélérant la mise en œuvre de nouveaux projets. La plateforme renforce la capacité des métiers à intégrer rapidement l’IA générative dans leurs processus existants, avec des standards techniques et de sécurité partagée.

LLM as a service a été déployée dans une première phase de test dans différentes entités du Groupe, comme Hello bank! ou l’inspection générale du Groupe, et a vocation à être progressivement déployée à l’échelle du Groupe selon une logique d’industrialisation. De plus, l’IA générative permet déjà aux développeurs de créer du code et d’accéder facilement et de manière centralisée aux outils de développement, aux technologies d’IA et aux chaînes DevOps.

LLM as a Service s’appuie sur les retours d’expérience des premières entités utilisatrices et vient compléter les initiatives déjà engagées autour de l’IA générative au sein de BNP Paribas. Ce déploiement progressif permet de prendre en compte les spécificités locales, tout en garantissant un haut niveau de sécurité, de conformité et d’efficacité opérationnelle.