Résumé
De nombreuses organisations pensent ne pas utiliser l'IA, mais bien entendu leurs employés expérimentent toutes sortes de nouveaux outils d'IA, portés par un engouement culturel croissant pour cette technologie. Ce que ces collaborateurs ignorent, c'est la façon dont ils peuvent exposer les données de l'entreprise. Le phénomène s'accélère, et toute entreprise sans stratégie IA doit définir des paramètres et des garde-fous sans attendre.
L'essentiel est de sensibiliser les employés aux risques et de comprendre, grâce à leurs retours, comment ces outils contribuent à l'accomplissement de leur job, afin que vos garde-fous protègent l'entreprise sans freiner sa croissance.
Hôte : Stephanie Aceves, directrice principale de la gestion des produits, Tanium
Invitée : Candy Alexander, CISO et responsable de la pratique cyber, NeuEon Inc.
Notes de l'épisode
Pour en savoir plus sur le Shadow AI et le Shadow IT, consultez nos articles dans Focal Point, le magazine en ligne primé de Tanium dédié à la cybersécurité, ainsi que ces autres ressources utiles.
- Les employés adoptent le « Shadow AI » – et mettent les données de l'entreprise en danger | Focal Point
- Ep. 18: Mettre en lumière le Shadow IT | Let's Converge
- 4 Priorités de leadership pour les RSSI à l'ère de l'IA | Focal Point
- Preventing AI Bias Starts at the Top – Just Ask These Female Chief AI Officers | Focal Point
- Qu'est-ce que la Surveillance de l'expérience numérique ? Pourquoi une stratégie DEM est essentielle pour renforcer l'expérience des employés et des clients | Tanium
- 8 Les étapes du « montagnes russes émotionnelles » de l'IA | Tanium
Transcript
L'entretien suivant a été modifié pour plus de clarté.
"J'ai entendu une publicité l'autre jour sur YouTube pendant que je regardais quelque chose, et ils disaient : « Oh, grâce à l'IA, qui est plus intelligente que les humains,... » et j'ai juste ri… Le marketing s'empare de ça pour les produits grand public, en affirmant que l'IA est la meilleure chose qui soit. C'est ce que notre communauté d'utilisateurs finaux entend."Candy Alexander, RSSI et responsable de la pratique cyber, NeuEon Inc.
Stephanie Aceves : Bonjour, je m'appelle Stephanie Aceves. Je suis directrice principale de la gestion des produits chez Tanium, et aujourd'hui dans Let's Converge, nous parlons de l'informatique fantôme et de l'IA fantôme. Bienvenue dans le deuxième volet de notre série en deux parties consacrée à ce problème de plus en plus préoccupant pour les entreprises.
Dans la première partie, nous avons abordé certains outils de gestion de projet que vos employés utilisent peut-être à votre insu – et ce qui pourrait surprendre certains, c'est que vos employés qui ont recours à l'informatique fantôme sont animés de bonnes intentions. La plupart du temps, ils cherchent simplement à trouver comment accomplir leurs jobs de manière plus efficace. Ils ne réalisent pas qu'en utilisant des technologies non approuvées, ils peuvent mettre l'entreprise en danger.
Candy Alexander, directrice de la sécurité des systèmes d'information et responsable de la pratique cyber chez NeuEon Inc., un cabinet de conseil en gestion d'entreprise de premier plan, se joint à moi aujourd'hui pour aborder cette question. En plus de développer et de gérer des programmes de sécurité d'entreprise, Candy a été élue – à deux reprises – présidente internationale de l'Information Systems Security Association, et elle siège depuis longtemps au conseil d'administration international.
Bien, reprenons notre discussion.
Un nouvel acteur fait son entrée dans ce domaine : l'IA fantôme.
Alexander: Nous entrons dans une ère véritablement révolutionnaire avec l'IA, qui peut évoluer dans de nombreuses directions. J'espère, et j'ai confiance, que les choses se passeront bien, mais je pense que nous allons connaître quelques moments difficiles.
Aceves: Dans les entreprises avec lesquelles nous travaillons dans le cadre de mon job, nous discutons avec les dirigeants des préoccupations liées à la… résurgence de l'IA, notamment avec l'avènement des LLM [grands modèles de langage]. Lorsque nous échangeons avec eux, la préoccupation principale porte sur les fuites de données, un problème similaire à celui que nous avons défini dans le cadre de l'informatique fantôme classique. Et vous en venez à comprendre que, bien souvent, avec l'IA, en particulier les LLMs, le risque est d'entraîner le modèle avec des informations potentiellement sensibles. Pouvez-vous nous en dire un peu plus, sous l'angle de l'IA, sur la façon dont cela affecte ou pourrait affecter les entreprises à mesure que nous continuons à évoluer, à nous adapter et à tirer parti de ce nouveau type de technologie ?
Alexander: C'est intéressant, car on présente souvent cela comme l'introduction de technologies « nouvelles », mais ce n'est pas vraiment le cas. Soyons honnêtes, l'IA existe depuis toujours.
Aceves: Tout à fait.
Alexander: Mais bien sûr, maintenant qu'elle est entrée dans le courant dominant, tout le monde utilise l'IA, et elle prend de plus en plus d'importance avec la… démocratisation de ChatGPT. Beaucoup d'organisations affirment qu'elles n'utilisent pas l'IA. Et bien sûr, on ne peut s'empêcher de sourire, car c'est loin d'être la réalité. Nous avons des collaborateurs qui utilisent, par exemple, ChatGPT ou …Google Bard ou Gemini désormais, pour des tâches comme améliorer leurs écrits, leurs CV ou leurs supports marketing, entre autres. Il est donc difficile d'avoir une vision claire de cet usage. En complément, l'autre aspect du spectre concerne l'utilisation d'un certain type d'IA, l'IA générative, pour la complétion de code, n'est-ce pas ?
J'ai justement abordé cette semaine la question des logiciels de chaîne d'approvisionnement. Et c'est, à mon avis, l'un des moyens qui nous permettra d'identifier l'utilisation de l'IA dans le domaine du développement, puis de la valider. Nous serons donc en mesure d'identifier, grâce aux logiciels de chaîne d'approvisionnement, quels types d'IA vous utilisez, d'explorer l'IA explicable, dont tout le monde parle désormais, puis de définir des paramètres encadrant son utilisation… et d'en évaluer continuellement l'usage. Et c'est essentiel. Mais je souhaite revenir sur l'autre aspect, celui des organisations qui affirment ne pas avoir de stratégie en matière d'IA. Mon conseil est le suivant : il est urgent d'y remédier et de définir ces paramètres dès maintenant.
Et cela doit commencer par quelque chose d'aussi simple que votre politique d'utilisation acceptable. Définissez ces paramètres, ces garde-fous, ce cadre directeur qui détermine ce qui est acceptable et ce qui ne l'est pas. Et… gardez à l'esprit que l'IA générative est précisément cela : Elle apprend de manière générative et enrichit ses connaissances et son périmètre en fonction des informations qui lui sont fournies. Réfléchissez-y : voulez-vous vraiment que vos informations d'entreprise fassent partie de ce lac de données ou de ce pool de données ? Absolument pas. Vous devez donc réfléchir au cas d'usage. Et tout comme avec la chaîne d'approvisionnement logicielle, [je vous suggère de] voir les composants et leurs interactions, ainsi que le moment où ils interviennent. Il en va de même pour un cas d'usage IA destiné aux utilisateurs finaux, qu'il s'agisse de Microsoft Copilot ou d'un autre outil d'IA. Vous devez comprendre comment cet outil sera utilisé et déterminer si vous souhaitez recourir à une IA open source ou à une IA privée pour votre organisation, afin que les requêtes soumises à cet outil restent dans le périmètre de votre organisation.
Aceves: J'adore ça. Et vous savez, certains des leaders à qui j'ai parlé ont des préoccupations autour de l'IA, en particulier avec l'IA générative et ces modèles GPT : beaucoup d'entre eux sont désormais intégrés dans des technologies dont nous n'avions pas [conscience] – par exemple, mon moteur de recherche utilise maintenant un type de GPT. Dans ces situations, même l'utilisateur n'en est pas toujours conscient. La politique d'entreprise devient alors plus difficile à appliquer, car l'utilisateur n'a pas conscience d'adopter un comportement qui présente un risque pour l'organisation.
Nous constatons que de nombreuses organisations cherchent à internaliser ces modèles afin de disposer des droits et de la propriété sur les données ainsi que sur tout apprentissage réalisé à partir de ces modèles. Mais comment Enforce-t-on des contrôles pour s'assurer que les requêtes sont redirigées vers un modèle approuvé en interne, ou pour empêcher une utilisation détournée – non pas pour des raisons malveillantes, mais parce que toutes les organisations avec lesquelles nous échangeons parlent de l'IA qu'elles utilisent. Et j'apprécie que vous l'ayez soulevé.
L'IA existe depuis longtemps. La plupart des technologies utilisent un certain type d'apprentissage automatique, ou exploitent de grands ensembles de données pour en tirer des conclusions et en extraire de l'intelligence. Mais c'est véritablement l'avènement du GPT mis à disposition des consommateurs qui a provoqué cette explosion massive. Sachant que l'IA est présente dans tous les recoins, comment les entreprises peuvent-elles réellement atténuer ce risque de fuite de données ? J'aimerais pouvoir dire qu'il existe une liste de tous les sites web susceptibles d'utiliser un type de LLM et d'entraîner leurs modèles sur vos données, mais comment prendre les devants ?
Alexander: C'est considérable. Car le phénomène est omniprésent, et à mon humble avis, [les solutions] devront être pluridimensionnelles. Et c'est bien ce que nous observons. Nous voyons des législations émerger dans différents pays du monde afin d'encadrer cela d'un point de vue réglementaire. Et cela rejoint ensuite la dimension technologique. Donc, cela commence au niveau gouvernemental, puis descend vers les usages organisationnels, et je pense que nous attendons encore de voir comment la technologie permettra d'identifier cela.
À titre d'analogie, prenons l'exemple du cloud computing. Comment identifier toutes vos instances de données dans le cloud ? Il n'existe que quelques acteurs dans ce domaine pour l'instant. Et l'un d'eux, qui selon moi vous aidera à déterminer votre position dans le cloud, nous allons avoir besoin du même type de technologie pour l'utilisation de l'IA, en quelque sorte positionnée en périphérie de tout cela.
Je ne sais pas si ce sera au niveau du poste de travail ou ailleurs, mais ce type de filtrage et de capteur sera nécessaire. Et le troisième élément — et je dois l'admettre — rejoint ce modèle « personnes, processus et technologie » : il s'agit de sensibiliser vos utilisateurs à ce qui se passe. Pourquoi l'IA est-elle potentiellement dangereuse ? Les gens se contentent de l'observer — même dans les publicités télévisées… J'ai entendu une publicité l'autre jour sur YouTube où l'on disait : « Oh, grâce à l'IA, qui est plus intelligente que les humains… », et j'ai simplement ri.
Aceves: Mon Dieu.
Alexander: Le marketing [des produits grand public] s'empare de ce phénomène en affirmant que l'IA est la meilleure chose qui soit. C'est ce que notre communauté d'utilisateurs finaux entend, et ils le constatent à travers des usages comme : « N'est-il pas amusant de jouer avec Gemini ou ChatGPT, ou même d'aller sur Facebook pour prendre ma photo et me faire ressembler à un mannequin ? »
En d'autres termes, ils perçoivent l'IA comme quelque chose de fantastique. Ils ne voient pas les dangers inhérents, ils n'entendent pas ces histoires alarmantes que nous, nous entendons — comme ce cas où un chatbot basé sur ChatGPT interagissait avec une personne en Europe qui souffrait de dépression, et qui l'a poussée à mettre fin à ses jours. Ils ne mesurent donc pas les risques, les véritables risques inhérents à l'intelligence artificielle. Certes, des mesures ont été prises pour corriger les biais et les hallucinations liés à l'IA, mais pour Monsieur ou Madame Tout-le-Monde, ces risques restent incompris.
C'est là que nous devons intervenir en tant que professionnels de la sécurité pour conseiller l'entreprise et notre communauté d'utilisateurs : le bon vient avec le mauvais, pour rester dans les termes les plus simples. Les sensibiliser sur les raisons pour lesquelles nous préférons nous appuyer sur une IA d'entreprise plutôt que de recourir à des solutions externes. Et les informer sur les risques de fuite de données, notamment la fuite involontaire de données d'entreprise. C'est pourquoi il est essentiel de les sensibiliser aux biais, aux hallucinations possibles et aux enjeux liés à l'intégrité des données. L'utilisation de l'IA aujourd'hui comporte tout un ensemble de problématiques inhérentes. C'est comme le Far West. C'est bien, mais c'est dangereux.
Aceves: Je pense également que mon rôle actuel en gestion de produits me convainc que les fournisseurs ont une responsabilité. Et bien que nous développions des produits dont nos clients ont besoin, et que l'IA soit un outil capable de leur apporter une réelle valeur ajoutée et les résultats qu'ils recherchent, les fournisseurs et éditeurs de logiciels ont une responsabilité à assumer.
Lorsque GPT a été mis à disposition du grand public pour la première fois, je lisais des articles et il était fascinant de voir des chercheurs en sécurité — dont un en Europe — interagir avec les LLM et parvenir à utiliser la psychologie jungienne et le concept du « moi-ombre » pour amener l'IA à révéler des informations confidentielles qui n'auraient pas dû être divulguées au grand public. C'était fascinant ; en creusant les aspects techniques de la façon dont cela a été exécuté, la société a publié un communiqué indiquant qu'il s'agissait d'une conversation prolongée avec l'IA.
Quand je pense à « étendu », j'imagine le temps que cela prendrait. Je crois que c'était quelque chose comme huit à 10 questions, ce qui, pour moi, assis face à une nouvelle technologie, n'est pas étendu.
Alexander : Tout à fait.
Aceves : C'est une interaction de peut-être 5 à 10 minutes où je pose des questions et j'évalue. Les fournisseurs ont donc une responsabilité, en particulier envers leurs clients finaux, de mettre en place ces garde-fous. Je pense que la sécurité a connu un tournant majeur avec les pratiques de codage sécurisé.
J'ai obtenu mon diplôme de premier cycle en informatique et en génie logiciel, et je n'ai pas suivi un seul cours dédié à la sécurité. Les temps ont changé et il existe désormais des pratiques de codage sécurisé intégrées par défaut. Je pense que nous devrons adopter cette approche dès le départ avec l'IA, car les risques sont trop importants. Comme vous le soulignez, il n'y a pas seulement le risque de fuite de données, mais une fois que les modèles commencent à apprendre par eux-mêmes, vous n'avez plus autant de contrôle que sur n'importe quel autre ensemble de code.
Et je sais qu'il existe des versions de science-fiction de cette crainte, mais c'est une préoccupation légitime quant aux garde-fous en place et à la façon dont l'IA peut les comprendre et potentiellement les manipuler dans le contexte d'une entreprise. J'apprécie donc que vous ayez soulevé ce point, et nous en discutons avec les clients qui souhaitent adopter davantage de technologies basées sur l'IA. Et ils sont inquiets. Et pas seulement pour les fuites de données. Mais c'est quelque chose sur lequel nous n'avons pas vraiment de contrôle. C'est presque une intelligence à part entière, avec ses propres règles et paradigmes auxquels elle adhère, qui ne sont pas toujours transparents, même pour son créateur, ce qui est fascinant à considérer.
Alexander: Je pense que c'est là que réside la partie inquiétante. Et je pense que c'est pour cela que les législateurs entrent en jeu. Car cela se résume à – ce que vous soulevez, à mon avis – une question d'éthique et de morale. Et ce n'est pas le domaine dans lequel j'évolue, mais je suis heureux de constater que les gouvernements s'en préoccupent. Car c'est absolument terrifiant. Cela dit, ce n'est pas mon domaine d'intervention, mais il m'appartient de sensibiliser les utilisateurs : comment allons-nous appliquer tout cela et prendre conscience des risques qui en découlent.
La bonne nouvelle, c'est que, à moins d'être chercheur, vous n'entrerez probablement pas dans ce territoire, ce territoire fascinant, encore indéfini, en constante mutation et difficile à cerner, contrairement aux applications métier. Mais cela ne signifie pas qu'il n'existe aucun risque que les usages professionnels dérivent et entraînent des conséquences ou des résultats imprévus. Et c'est précisément notre job. C'est donc un long détour pour en arriver à ce point central : nous devons rester vigilants et sensibiliser aux risques inhérents à l'IA fantôme.
Aceves: Oui, tout à fait. Je regardais une vidéo YouTube au hasard, …sur la communication animale, des chercheurs expliquaient comment ils utilisent l'IA pour comprendre les bélugas et peuvent s'appuyer sur l'intelligence artificielle pour déterminer quel individu est en train de vocaliser… Les applications sont tout simplement fascinantes, même en dehors de la sécurité, on commence à percevoir ces parallèles.
Mon parcours est ancré dans l'Incident Response et le red teaming. L'un des problèmes majeurs auxquels font face les équipes de sécurité est le volume de bruit, et c'est un modèle similaire à celui d'une équipe de biologie marine qui dispose d'une quantité considérable d'enregistrements audio sans pouvoir les analyser. Ils ne savent pas. Ils ont donc recours à l'intelligence artificielle pour sélectionner les éléments importants et identifier, par exemple, ce langage ou ce mot qu'utilise cette baleine, et il est fascinant de voir la convergence de tout cela.
Alexander: C'est véritablement révolutionnaire, vous le savez, n'est-ce pas ? Je veux dire, l'IA est utilisée partout, c'est passionnant, formidable, mais comme je l'ai dit, un peu effrayant à la fois.
Aceves: Merci pour cette conversation si enrichissante, Candy.
Je me suis entretenu avec Candy Alexander, RSSI et responsable de la pratique cyber chez NeuEon Inc.
Si vous souhaitez en savoir plus sur l'informatique fantôme et l'IA fantôme, consultez Focal Point, le magazine en ligne de cybersécurité de Tanium. Des liens vers des articles pertinents sont disponibles dans les notes de l'émission. Rendez-vous sur Tanium.com/p pour accéder aux publications.
Pour découvrir d'autres conversations avec les grands leaders du monde des affaires et les experts en sécurité d'aujourd'hui, abonnez-vous à Let's Converge sur votre application de podcast favorite. Si cet épisode vous a plu, n'hésitez pas à nous laisser une note de cinq étoiles.
Merci de votre écoute. Nous avons hâte de partager de nouvelles perspectives en matière de cybersécurité lors du prochain épisode de Let's Converge.
