La technologie d'IA générative permet déjà à certaines entreprises avant-gardistes d'enregistrer une forte progression de leurs ventes, de leur service client, de leur marketing et de leur automatisation, tandis que d'innombrables autres entreprises préparent leur personnel au déploiement de l'IA générative au cours de la nouvelle année. La perspective d’une hausse spectaculaire de la productivité est extrêmement séduisante, mais les entreprises doivent prendre conscience des risques qu’elles encourent lorsqu’elles déploient l’IA et le rôle de l’IA dans la cybersécurité.
Comme pour toute autre technologie numérique connectée, les grands modèles linguistiques (LLM) de l’IA générative, les données sur lesquelles ils sont entraînés — ainsi que les collaborateurs qui les utilisent — peuvent entraîner des risques d’ , de fuites de données et d’attaques. En effet, plusieurs fuites spectaculaires ont déjà eu lieu :
À trois reprises au printemps dernier, des employés de Samsung ont, par inadvertance , divulgué des informations sensibles à ChatGPT lors d'un téléchargement vers ce service, notamment du code logiciel et l'enregistrement d'une réunion, ce qui a conduit l'entreprise à interdire l'utilisation des services d'IA générative au sein de son personnel. (La facilité d'utilisation de produits tels que ChatGPT ou Bard de Google fait que l'on oublie facilement que les conversations que vous avez avec ces chatbots ne sont pas privées. Les informations que vous fournissez peuvent être rendues publiques sur .) Il y a quelques semaines à peine, des employés de Microsoft ont accidentellement divulgué 38 téraoctets de données d'entraînement pour les modèles de langage à grande échelle (LLM) en les publiant sur la plateforme de développement GitHub.
Ce type de faille pourrait toucher n'importe quelle entreprise utilisant des modèles de langage grand échelle (LLM), mais cela ne devrait pas dissuader les entreprises d'investir dans l'IA générative.
Une enquête menée en novembre par Gartner a révélé que les dirigeants d’entreprise n’appartenant pas au secteur informatique prévoient de consacrer, en moyenne, 6,5 % de leur budget fonctionnel à l’IA générative en 2024 — ce que l’ , la Harvard Business Review a qualifié d’« allocation de ressources stupéfiante dans un contexte de contraintes ». Et selon un rapport intitulé « » publié par Bloomberg Intelligence, le marché de l'IA générative pourrait connaître une croissance annuelle de 42 % et atteindre 1,3 000 milliards de dollars d'ici 2032. Il incombe donc aux entreprises de concevoir, de développer et de déployer ces systèmes de manière sécurisée, sans quoi les acteurs malveillants trouveront dans ces modèles et dans les données qui les alimentent une véritable mine d'or.
« L’IA générative est un outil de productivité puissant, mais nous devons savoir comment sécuriser ces systèmes », déclare Caleb Sima, ancien directeur de la sécurité (CSO) chez Robinhood Financial et actuel président de l’initiative « AI Safety » de la Cloud Security Alliance.
Il est vrai que l'utilisation des LLM comporte de nombreux risques, tels que les attaques de déni de service distribué (DDoS) , qui pourraient rendre le modèle inaccessible aux clients ou aux employés. Il existe également des risques liés à la sécurité des modèles eux-mêmes, ainsi qu’à celle des applications qui s’y connectent — ce qui pourrait entraîner des fuites de données et le détournement de modèles. Il y a ensuite la question de l'accès : imaginez les problèmes qui pourraient découler de l'octroi à un LLM d'un niveau d'autorisation élevé au sein d'une organisation, lui permettant d'accéder à d'autres bases de données et applications ou d'effectuer des tâches telles que l'émission de chèques ou la coupure de services. Dans un avenir prévisible, du moins, il faudra tenir les modèles de langage de grande envergure (LLM) en laisse.
Pour éviter les failles de sécurité liées aux modèles de langage de grande envergure (LLM), il faudra prendre des mesures spécifiques afin de sécuriser ces systèmes. Vous trouverez ci-dessous les trois principales attaques auxquelles, selon les experts, les entreprises pourraient être confrontées — suivies d’un défi global lié à l’IA générative auquel toute organisation sera inévitablement confrontée — ainsi que les meilleures stratégies de défense contre chacune d’entre elles :
1. Attaques par injection de chaîne de caractères
De quoi s'agit-il ? Cela implique qu'un pirate crée une consigne, c'est-à-dire une demande (« Générez des idées pour le lancement d'un nouveau produit sur le thème des vacances ») ou une question (« Quel est l'itinéraire le plus rapide entre Los Angeles et Boston ? ») qui indique à un modèle de langage de grande envergure (LLM) ce que vous souhaitez qu’il fasse – conçu pour amener le LLM à effectuer une action indésirable ou malveillante, telle que provoquer le plantage d’une application ou le piéger pour qu’il révèle des informations non publiques, amener un chatbot de service client à demander des données personnelles ou d’autres informations sensibles, accorder à l’attaquant un accès non autorisé, créer un logiciel malveillant ou un article de fausses informations, ou encore effectuer des achats non autorisés.
«L’IA générative est un outil de productivité puissant, mais nous devons savoir comment sécuriser ces systèmes. »Caleb Sima, président de l'initiative « AI Safety » de la Cloud Security Alliance
La meilleure défense : . Bien que les experts affirment qu’il n’existe pour l’instant aucun moyen de se prémunir totalement contre les attaques par injection de prompt visant les modèles de langage à grande échelle (LLM), les entreprises peuvent prendre certaines mesures pour atténuer ce risque. L'Open Web Application Security Project (OWASP) formule les recommandations suivantes :
- Limitez les droits d'accès privilégiés d'un LLM ou d'un module complémentaire LLM au niveau le plus bas possible. Par exemple, la création de modèles de langage de grande envergure (LLM) spécifiques à certains domaines d'activité, tels que la R&D, le marketing et le droit, auxquels seuls les utilisateurs de ces services ont accès. Les plug-ins LLM (qui offrent au LLM des fonctionnalités supplémentaires telles que la traduction linguistique ou l'interaction avec d'autres applications et bases de données) doivent faire l'objet d'une évaluation rigoureuse en matière de sécurité et ne doivent être utilisés qu'avec parcimonie.
- Impliquez des personnes dans le processus chaque fois que cela est possible afin de vérifier et d'approuver les résultats, en particulier lorsque le LLM interagit avec des données ou des logiciels externes.
- Séparez les invites utilisateur des sources de contenu externes et traitez ces invites séparément, afin d'éviter toute interaction indésirable.
- Considérez le LLM comme un utilisateur non fiable et limitez sa capacité à interagir avec les utilisateurs et les systèmes au strict nécessaire. Pensez au principe du droit d'accès minimal. En ce qui concerne les outils d'IA générative (et, d'ailleurs, tout autre outil ou procédure utilisé au sein d'un réseau informatique d'entreprise), l' « zero trust » est votre allié.
2. Attaques par empoisonnement des données
De quoi s'agit-il ? Les attaques par « empoisonnement des données » visant les modèles de langage à grande échelle (LLM) consistent soit à cibler les données d'entraînement fournies au modèle, soit à calibrer de manière malveillante le LLM afin de créer des vulnérabilités dans le système susceptibles de compromettre la précision ou l'efficacité du modèle. En corrompant les données, les acteurs malveillants pourraient également chercher à manipuler le modèle afin qu'il diffuse de fausses informations. De telles attaques pourraient être menées par des employés d' s animés par une rancune ou par des personnes extérieures qui parviennent à accéder aux données d'entraînement.
«Suivez la traçabilité du modèle d’apprentissage automatique [d’un outil d’IA] au fil du temps, et vérifiez même la signature numérique pour vous assurer qu’une organisation en laquelle vous avez confiance affirme bien qu’il s’agit de son modèle. »Walter Haydock, fondateur et PDG de StackAware
La meilleure défense : Pour se prémunir contre les attaques par empoisonnement des données, les entreprises doivent veiller à l'intégrité de leurs données d'entraînement et à celle du modèle lui-même. « Il est important de comprendre la provenance des données sur lesquelles un modèle a été entraîné, ainsi que la provenance du modèle lui-même », explique Walter Haydock, fondateur et PDG de StackAware, une entreprise spécialisée dans la cybersécurité basée sur l'IA.
Haydock recommande aux entreprises de répertorier les progiciels qu'elles utilisent pour développer leurs modèles d'IA dans une liste des composants logiciels (SBOM) conforme à la norme « ». Cette liste répertoriant l’ensemble des composants et des dépendances d’un produit logiciel donné est désormais un élément essentiel et incontournable de la pratique commerciale actuelle (et elle est désormais exigée par l’ de tous les fournisseurs vendant des logiciels au gouvernement fédéral), car elle permet d’identifier les éléments à risque d’une application susceptibles d’exposer votre entreprise à des attaques.
« Suivez la traçabilité d’un modèle donné machine learning (s’ouvre dans un nouvel onglet) au fil du temps, et vérifiez même la signature numérique pour vous assurer qu’une organisation en laquelle vous avez confiance affirme bien qu’il s’agit de son modèle », explique M. Haydock.
3. Fuite de données
De quoi s'agit-il ? En ce qui concerne les modèles de langage à grande échelle (LLM), les fuites de données s'apparentent à celles observées avec d'autres bases de données et systèmes de stockage de données. Si ces systèmes et les données associées ne sont pas gérés correctement, les modèles de langage de grande envergure (LLM) — ainsi que les flux de données qui les alimentent — risquent de divulguer des données sensibles, des données soumises à une réglementation ou des éléments de propriété intellectuelle, ce qui peut entraîner de graves failles de sécurité et des atteintes à la vie privée.
La meilleure défense : l’ . Les organisations doivent s’assurer de l’origine des données qu’elles intègrent dans le modèle, vérifier qu’elles sont exactes et n’ont pas été altérées, et s’assurer qu’elles ont été débarrassées de toute donnée sensible, confidentielle ou soumise à une réglementation. Haydock et d'autres conseillent aux organisations de s'assurer qu'elles disposent de processus permettant de nettoyer les données avant leur intégration dans le modèle. « Le meilleur moyen d’éviter toute fuite de données est de s’assurer que ces données n’atteignent jamais le modèle », explique-t-il. Cela implique de s’assurer que les données d’entraînement utilisées par les chercheurs pour « former » le modèle ne contiennent pas d’informations sensibles sur les clients, de propriété intellectuelle de l’entreprise, ni aucun autre « joyau » de l’ en matière de données qui mérite d’être protégé.
Lorsqu’elles utilisent des systèmes d’IA tiers, les organisations doivent s’assurer que le modèle d’IA générative ne s’entraîne pas à partir de données fournies par les utilisateurs ; cette restriction doit être clairement stipulée dans le contrat conclu avec le prestataire de services. Par ailleurs, les programmes de formation à la cybersécurité destinés au personnel d’ , disponibles à l’adresse , doivent être mis à jour afin d’inclure des modules consacrés à l’IA, de sorte que les employés sachent qu’ils ne doivent pas partager de données sensibles avec des modèles tiers.
De nombreux services d'IA générative prennent des mesures pour protéger les données de leurs clients. Les organisations doivent également faire preuve de prudence lorsqu'elles connectent ces services d'IA générative à leurs propres sources de données internes et à leurs fichiers de recherche, car le risque de fuite de données sensibles augmente considérablement lorsque ces services sont connectés à des bases de données existantes.
Et puis il y a aussi l’utilisation inévitable de l’« IA fantôme »
De quoi s'agit-il ? « L'autre risque » auquel toutes les organisations seront probablement confrontées à l'ère de l'IA générative : l'utilisation non autorisée de services d'IA générative tiers par le personnel. Tout comme l’informatique mobile et le cloud ont fait leur apparition dans l’entreprise sous la forme de dispositifs terminaux , d’ et d’applications non autorisés, avec ce que l’on appelle le « shadow IT » (), les grands modèles de langage (LLM) destinés au grand public permettent désormais aux employés d’acheter un accès à ces services d’IA de nouvelle génération et de les utiliser pour divers types de tâches.
La meilleure défense : Tirez les leçons des premières phases du développement de la téléphonie mobile et du cloud computing . Il n'y a pas si longtemps, les entreprises devaient encore trouver des solutions pour gérer les risques liés à l'utilisation, par leurs salariés, de leurs propres appareils et logiciels personnels au travail, lorsqu'ils se connectaient au réseau informatique de leur employeur. Tout comme à l'époque, les entreprises réagiront de manière différente : certaines tenteront d'interdire toute utilisation de l'IA générative par leurs employés, tandis que d'autres s'efforceront de la modérer au cas par cas.
[Lire aussi : Pourquoi les employés enfreignent les politiques de cybersécurité]
« Les interdictions pures et simples ne fonctionneront pas », affirme Haydock. « Les gens vont tout simplement les ignorer. » « La meilleure façon [de gérer ce risque] consiste à reconnaître qu’il s’agit d’une réalité et à en prendre la mesure autant que possible », déclare-t-il. En règle générale, cela implique que les collaborateurs demandent l'autorisation avant d'utiliser tout nouveau service d'IA générative, et que les équipes chargées de la sécurité et des technologies examinent ce service avant de l'ajouter à une liste approuvée de fournisseurs d'IA auxquels le personnel est autorisé à recourir.
Il faudra procéder par essais et erreurs pour mettre en place une politique adéquate, jusqu’à ce que l’on trouve le juste équilibre entre la productivité du personnel et la sécurité. En effet, cela devrait être le cas pour la sécurisation de l'IA générative de manière plus générale au sein de l'entreprise. L'essentiel à présent est d'identifier les principaux risques et de commencer à prendre les mesures appropriées pour les gérer.
