La technologie d’IA générative apporte déjà de grandes hausses aux entreprises en avance dans les ventes, le service client, le marketing et l’automatisation, et d’innombrables autres entreprises préparent leur personnel aux déploiements de GenAI cette nouvelle année. La promesse des pops de productivité est extrêmement séduisante, mais les entreprises doivent savoir quels risques elles prennent lors du déploiement de l’IA et le rôle de l’IA dans la cybersécurité.
Comme avec toutes les autres technologies numériques connectées, les modèles grand langage (LLM) GenAI, les données sur lesquelles ils sont formés, et les employés qui les utilisent, peuvent déclencher des fuites et des attaques potentielles. En fait, quelques fuites étonnantes se sont déjà produites :
À trois reprises distinctes au printemps dernier, les employés de Samsung ont accidentellement divulgué du matériel sensible à ChatGPT lors d’un téléchargement vers le service, y compris le code logiciel et un enregistrement de réunion, ce qui a poussé l’entreprise à interdire l’utilisation des services GenAI au sein du personnel. (La commodité de produits tels que ChatGPT ou Bard de Google permet d’oublier facilement que toutes les conversations que vous avez avec ces chatbots ne sont pas privées. Les informations que vous fournissez peuvent devenir publiques.) Il y a quelques semaines, les employés de Microsoft ont accidentellement exposé 38 téraoctets de données de formation LLM tout en les plaçant sur la plateforme de développement GitHub.
Ce type de violation peut arriver à toute entreprise travaillant avec des LLM, mais cela n’est pas susceptible d’arrêter l’investissement des entreprises dans GenAI.
Une enquête Gartner de novembre a révélé que les chefs d’entreprise en dehors du plan informatique allouaient, en moyenne, 6,5 % de leur budget fonctionnel à l’IA générative en 2024 , ce que la Harvard Business Review appelait « une part incroyable de ressources dans un environnement restreint ». Et selon un rapport de Bloomberg Intelligence, le marché GenAI pourrait croître de 42 % chaque année et atteindre 1,3 billions USD d’ici 2032. Cela impose aux entreprises de concevoir, construire et déployer ces systèmes de manière sécurisée, sinon les acteurs malveillants trouveront une véritable valeur dans ces modèles et les données qui y alimentent.
« L’IA générative est un outil de productivité puissant, mais nous devons savoir comment sécuriser ces systèmes », déclare Caleb Sima, ancien directeur de la sécurité (CSO) chez Robinhood Financial et président actuel de l’Initiative de sécurité IA de la Cloud Security Alliance.
Pour être sûr, il existe de nombreux risques associés à l’utilisation du LLM, tels que les attaques par déni de service distribué (DDoS), qui pourraient rendre le modèle indisponible pour les clients ou les employés. Il existe également des risques dans la sécurité des applications des modèles eux-mêmes, ainsi que dans les applications qui les connectent, ce qui pourrait entraîner une fuite de données et un détournement des modèles. Ensuite, il y a le problème de l’accès : imaginez les problèmes qui pourraient résulter de l’attribution d’un LLM à un niveau de permission élevé au sein d’une organisation, lui permettant d’accéder à d’autres bases de données et applications ou d’effectuer des tâches telles que la suppression des vérifications ou l’arrêt des services. Dans un avenir proche, les LLM doivent au moins être maintenus en laisse.
Éviter les failles de sécurité liées aux LLM nécessitera des étapes spécifiques pour sécuriser ces systèmes. Vous trouverez ci-dessous les trois principales attaques auxquelles les experts pensent que les entreprises peuvent être confrontées, suivies d’un défi général de GenAI auquel chaque organisation est sûre de faire face, et comment se défendre au mieux contre chacune d’entre elles :
1. Attaques par injection rapides
Qu'est-ce ? Cela implique qu’un pirate élabore une invite, c’est-à-dire une demande (« Générer des idées pour un nouveau lancement de produit avec un thème de vacances ») ou une question (« Quel est l’itinéraire le plus rapide de LA à Boston ? ») qui indique à un LLM ce que vous souhaitez qu’il fasse, conçu pour manipuler le LLM en une action indésirable ou malveillante, comme planter une application ou la tromper pour révéler des informations non publiques, faire qu’un chatbot du service client demande des données personnelles ou d’autres informations sensibles, accorder un accès non autorisé à l’attaquant, créer des logiciels malveillants ou un faux article d’information, ou effectuer des achats non approuvés.
« L’IA générative est un outil de productivité puissant, mais nous devons savoir comment sécuriser ces systèmes. »Caleb Sima, président de l’Initiative de sécurité de l’IA de la Cloud Security Alliance
La meilleure défense : bien que les experts disent qu’il n’y a pas encore de moyen de se défendre complètement contre les attaques par injection rapide qui ciblent les LLM, il existe des mesures que les entreprises peuvent prendre pour atténuer le risque. L’OWASP (Open Web Application Security Project) conseille ce qui suit :
- Limitez l’accès privilégié d’un plug-in LLM ou LLM aux niveaux les plus bas possibles. Par exemple, la création de LLM spécifiques à l’entreprise, tels que pour la R&D, le marketing et le service juridique, auxquels seuls les utilisateurs de ces divisions peuvent accéder. Les plug-ins LLM (qui offrent des capacités supplémentaires LLM telles que la traduction ou l’interaction avec d’autres applications et bases de données) doivent être vérifiés pour leur sécurité et utilisés uniquement au minimum.
- Mettez les humains dans la boucle chaque fois que possible pour vérifier et approuver les résultats, en particulier lorsque le LLM interagit avec des données ou des logiciels externes.
- Séparez les invites utilisateur des sources de contenu externes et traitez ces invites séparément, pour éviter toute interaction involontaire.
- Traiter le LLM comme un utilisateur non approuvé et limiter sa capacité à interagir avec les utilisateurs et les systèmes à ceux qui sont absolument nécessaires. Pensez au principe du moindre privilège. En ce qui concerne les outils GenAI (et, d’ailleurs, tous les autres outils et procédures utilisés dans un réseau informatique d’entreprise), Zero Trust est votre ami.
2. Attaques d’empoisonnement des données
Qu'est-ce ? Les attaques d’empoisonnement des données contre les LLM fonctionnent soit en ciblant les données d’entraînement qui sont fournies au modèle, soit en calibrant malveillantement le LLM pour créer des vulnérabilités dans le système qui compromettraient la précision ou l’efficacité du modèle. En empoisonnant les données, les acteurs malveillants peuvent également souhaiter manipuler le modèle pour propager les mensonges. De telles attaques peuvent être menées par des employés avec des rancunes ou des personnes extérieures qui parviennent à accéder aux données de formation.
« Suivez la provenance du modèle d’apprentissage automatique [d’un outil d’IA] au fil du temps, et vérifiez même la signature numérique pour vous assurer que vous savez qu’une organisation en laquelle vous avez confiance dit qu’il s’agit de son modèle. »Walter Haydock, fondateur et PDG de StackAware
La meilleure défense : pour se défendre contre les attaques d’empoisonnement des données, les entreprises doivent se concentrer sur l’intégrité de leurs données d’entraînement et l’intégrité du modèle lui-même. « Vous souhaitez comprendre la provenance des données sur lesquelles un modèle est formé, et la provenance du modèle lui-même », déclare Walter Haydock, fondateur et PDG de la société de cybersécurité IA StackAware.
Haydock conseille aux entreprises de suivre les packages logiciels qu’elles utilisent pour créer leurs modèles d’IA dans une nomenclature logicielle (SBOM). Cette liste de tous les composants et dépendances au sein d’un produit logiciel donné est devenue un aspect vital et standard de la conduite des affaires aujourd’hui (et elle est désormais requise de tous les fournisseurs vendant des logiciels au gouvernement fédéral), car elle peut éliminer les parties risquées d’une application qui peuvent laisser votre entreprise ouverte aux attaques.
« Suivez la provenance d’un modèle de machine learning donné au fil du temps, et vérifiez même la signature numérique pour vous assurer que vous savez qu’une organisation en laquelle vous avez confiance dit qu’il s’agit de son modèle », déclare Haydock.
3. Fuite de données
Qu'est-ce ? En ce qui concerne les LLM, la fuite de données est similaire à la fuite de données avec d’autres bases de données et systèmes de stockage de données. Si ces systèmes et les données associées ne sont pas gérés correctement, les LLM, et les pipelines de données qui les alimentent, peuvent révéler des données sensibles, des données réglementées ou de la propriété intellectuelle, ce qui peut tous entraîner de graves violations de sécurité et de confidentialité.
La meilleure défense : les organisations doivent comprendre d’où proviennent les données qu’elles alimentent dans le modèle, qu’elles sont exactes et n’ont pas été modifiées, et qu’elles ont été désinfectées de données sensibles, exclusives ou réglementées. Haydock et d’autres conseillent aux organisations de s’assurer qu’elles disposent de processus en place pour désinfecter les données avant qu’elles ne soient introduites dans le modèle. « La meilleure façon d’éviter les fuites de données est de s’assurer que ces données n’atteignent jamais le modèle », dit-il. Cela signifie que s’assurer que les données de formation utilisées par les chercheurs pour « enseigner » le modèle n’incluent pas d’informations sensibles sur les clients, la propriété intellectuelle de l’entreprise ou tout autre « joyau de la crème » des données qui méritent d’être protégées.
Lors de l’utilisation de systèmes d’IA tiers, les organisations doivent s’assurer que le modèle GenAI ne se forme pas sur les données fournies par l’utilisateur ; cette restriction doit être énoncée dans le contrat avec le fournisseur de services. Et les programmes de formation à la cybersécurité du personnel doivent être mis à jour pour inclure des discussions sur l’IA, afin que les travailleurs sachent qu’ils ne doivent pas partager de données sensibles avec des modèles tiers.
De nombreux services GenAI prennent des mesures pour protéger les données des clients. Les organisations doivent également faire attention lors de la connexion de ces services GenAI à leurs propres sources de données internes et fichiers de recherche, car le risque de fuite de données sensibles augmente considérablement lors de la connexion des services GenAI aux magasins de données existants.
Et une autre chose : l’utilisation inévitable de l’« IA fantôme »
Qu'est-ce ? L’« un autre risque » que toutes les organisations rencontreront probablement à l’ère du GenAI : l’utilisation malveillante de services tiers de GenAI parmi le personnel. Tout comme l’informatique mobile et cloud a apporté des appareils et des applications d’ endpoints indésirables dans l’entreprise avec « l’informatique fantôme », les LLM basés sur le consommateur permettent aux employés d’acheter l’accès à ces services GenAI et de les utiliser pour divers types de travail.
La meilleure défense : découvrez les leçons tirées des époques antérieures de l’ informatique mobile et du cloud. Il n’y a pas si longtemps, les entreprises devaient comprendre comment gérer les risques associés aux employés utilisant leurs propres appareils et logiciels personnels au travail et se connectant au réseau informatique de leur employeur. De même, les entreprises réagiront différemment, certaines essayant d’arrêter toute utilisation de GenAI axée sur les employés et d’autres essayant de la modérer au cas par cas.
[Lire également : Pourquoi les travailleurs violent les politiques de cybersécurité]
« Les interdictions directes ne vont pas fonctionner », déclare Haydock. « Les gens vont juste les ignorer. La manière optimale [pour gérer le risque] est de reconnaître que c’est une réalité et d’en avoir le plus de contrôle possible », déclare-t-il. Généralement, cela signifie que les employés demandent l’approbation de l’utilisation de tout nouveau service GenAI, et que la sécurité et l’équipe technologique examinent le service avant de l’ajouter à une liste approuvée de fournisseurs d’IA que le personnel peut utiliser.
La correction de cette politique nécessitera des essais et des erreurs jusqu’à ce que le bon équilibre entre la productivité et la sécurité du personnel soit atteint. En fait, il est probable que cela soit le cas pour sécuriser GenAI plus largement au sein de l’entreprise. La chose importante à faire maintenant est de reconnaître les principaux risques et de commencer à prendre les mesures appropriées pour les gérer.
