Résumé
De nombreuses organisations pensent qu'elles n'utilisent pas l'IA, mais bien sûr leurs employés expérimentent toutes sortes de nouveaux outils d'IA, alors que la curiosité pour l'IA s'empare de la culture. Ce que ces employés ignorent, c'est la façon dont ils peuvent exposer les données de l'entreprise. Cela se produit rapidement, et toute entreprise qui n'a pas de stratégie en matière d'IA doit définir des paramètres et des garde-fous dès maintenant.
L'essentiel est d'informer les employés des risques et d'apprendre d'eux comment ces outils contribuent à accomplir le travail, afin que vos garde-fous protègent sans entraver la croissance de l'entreprise.
Animatrice : Stephanie Aceves, directrice principale de la gestion des produits, Tanium
Invitée : Candy Alexander, RSSI et responsable des pratiques cyber, NeuEon Inc.
Notes de l'émission
Pour plus d'informations sur l'IA fantôme et l'informatique fantôme, consultez nos articles dans Focal Point, le magazine en ligne primé de Tanium consacré à la cybersécurité, ainsi que ces autres ressources utiles.
- Les employés adoptent l'« IA fantôme » – et mettent les données de l'entreprise en danger | Focal Point
- Ep. 18: Mettre en lumière l'informatique fantôme | Let's Converge
- 4 Priorités de leadership essentielles pour les RSSI à l'ère de l'IA | Focal Point
- Prévenir les biais de l'IA commence au sommet – Demandez à ces femmes directrices de l'IA | Focal Point
- Qu'est-ce que la surveillance de l'expérience numérique ? Pourquoi la stratégie DEM est importante et renforce l'expérience des employés et des clients | Tanium
- 8 Les étapes du « montagnes russes émotionnelles » de l'IA | Tanium
Transcription
L'entretien suivant a été édité pour plus de clarté.
"J'ai entendu une publicité l'autre jour sur une vidéo YouTube que je regardais, et ils disaient : « Oh, avec l'utilisation de l'IA, qui est plus intelligente que les humains,... » et j'ai juste ri… Le marketing s'accroche à cela pour les produits grand public, en disant que l'IA est la meilleure chose qui soit jamais existée. C'est donc ce qu'entend notre communauté d'utilisateurs finaux."Candy Alexander, RSSI et responsable de la pratique cyber, NeuEon Inc.
Stephanie Aceves : Bonjour, je m'appelle Stephanie Aceves. Je suis directrice principale de la gestion des produits chez Tanium, et aujourd'hui dans Let's Converge, nous parlons de l'informatique fantôme et de l'IA fantôme. Bienvenue dans le deuxième volet de notre série en deux parties consacrée à ce problème de plus en plus dangereux pour les entreprises.
Dans la première partie, nous avons abordé certains des outils de gestion de projet que vos employés utilisent peut-être à votre insu – et ce qui peut être un fait surprenant pour certains, à savoir que vos employés qui utilisent l'informatique fantôme ont vraiment de bonnes intentions. Le plus souvent, ils essaient simplement de trouver comment faire leur travail mieux et plus rapidement. Et ils ne réalisent pas qu'en utilisant des technologies non approuvées, ils peuvent mettre l'entreprise en danger.
Je reçois aujourd'hui pour parler de ce sujet Candy Alexander, directrice de la sécurité des systèmes d'information et responsable de la pratique cyber chez NeuEon Inc., un cabinet de conseil en gestion d'entreprise de premier plan. En plus de développer et de gérer des programmes de sécurité d'entreprise, Candy a été élue – deux fois – présidente internationale de l'Information Systems Security Association, et elle est depuis longtemps membre du conseil d'administration international.
Bien, revenons à notre discussion.
Un nouvel acteur fait son entrée dans le domaine, et il s'agit de l'IA fantôme.
Alexander: Nous entrons véritablement dans une ère révolutionnaire avec l'IA, et les choses peuvent évoluer de plusieurs façons. J'espère simplement, et j'ai confiance, que cela se passera bien, mais je pense qu'il va y avoir quelques soubresauts effrayants dans la nuit.
Aceves: Dans les entreprises avec lesquelles nous travaillons dans mon emploi, nous parlons aux dirigeants des préoccupations liées à la… résurgence de l'IA, notamment avec l'avènement des LLM [grands modèles de langage]. Et lorsque nous discutons avec eux, il y a une réelle préoccupation concernant les fuites de données, ce qui est un problème similaire à ce que nous avons défini dans votre informatique fantôme classique. Et on en vient à comprendre que bien souvent, avec l'IA, notamment les LLM, le risque est que vous entraînez le modèle avec ce qui pourrait être des informations sensibles. Pouvez-vous nous en dire un peu plus, spécifiquement sous l'angle de l'IA, et comment cela affecte ou comment vous pensez que cela affectera les entreprises alors que nous continuons à évoluer, à nous adapter et à exploiter ce nouveau type de technologie ?
Alexander: C'est amusant, car c'est une introduction intéressante de technologies « nouvelles », mais ce n'est pas vraiment nouveau. Je veux dire, soyons honnêtes, l'IA existe depuis toujours.
Aceves: Absolument.
Alexander: Mais bien sûr, maintenant qu'elle est devenue courante, tout le monde utilise l'IA et elle prend de plus en plus d'importance avec la… disponibilité de ChatGPT. Donc beaucoup d'organisations diront, eh bien, nous n'utilisons pas l'IA. Et bien sûr, on ne peut s'empêcher de ricaner, parce qu'elles l'utilisent certainement. Nous avons des employés qui utilisent, par exemple, ChatGPT ou …Google Bard ou Gemini maintenant, pour faire des choses comme embellir leur rédaction ou leurs CV ou leur marketing, peu importe. Il est donc vraiment difficile d'avoir une vue d'ensemble de cette utilisation. En plus de cela, l'autre aspect du spectre est l'utilisation d'un certain type d'IA, l'IA générative, pour la complétion de code, n'est-ce pas ?
J'ai justement parlé cette semaine des logiciels de chaîne d'approvisionnement. Et c'est, à mon avis, l'une des façons dont nous allons pouvoir identifier l'utilisation de l'IA en matière de développement et ensuite pouvoir la vérifier. Nous allons donc être en mesure d'identifier, encore une fois, grâce à l'utilisation de logiciels de chaîne d'approvisionnement, de la chaîne d'approvisionnement, quels types d'IA vous utilisez, nous allons explorer l'IA explicable, dont tout le monde parle maintenant, puis établir des paramètres autour de son utilisation… et évaluer constamment cette utilisation. Et c'est important. Mais je veux revenir à l'autre côté, où vous avez des organisations qui disent, eh bien, nous n'avons vraiment pas de stratégie en matière d'IA. Et mon conseil pour elles est de se dépêcher de le faire maintenant et de définir ces paramètres.
Et cela doit commencer par quelque chose d'aussi simple que votre politique d'utilisation acceptable. Établissez ces paramètres, ces garde-fous, ce contrôle directionnel quant à ce qui est acceptable et ce qui ne l'est pas. Et… gardez à l'esprit que l'IA générative est exactement cela : elle apprend de manière générative et accroît ses connaissances et sa portée en fonction des informations qui lui sont fournies. Alors réfléchissez-y : voulez-vous vraiment que vos informations d'entreprise fassent partie de ce lac de données ou de ce pool de données ? Absolument pas. Vous devez donc réfléchir au cas d'utilisation. Et tout comme avec la chaîne d'approvisionnement logicielle, [je vous suggère de] cartographier les composants et la façon dont ils interagissent entre eux, quand interviennent-ils ? La même chose avec un cas d'utilisation de l'IA pour les utilisateurs finaux, qu'il s'agisse de Microsoft Copilot ou d'un autre outil d'IA. Vous devez comprendre comment cela va être utilisé et si vous souhaitez utiliser une IA open source ou une IA privée pour votre organisation, afin que les requêtes envoyées à cette IA restent dans les limites de votre organisation.
Aceves: J'adore ça. Et vous savez, certains des dirigeants à qui j'ai parlé, leurs préoccupations concernant l'IA, en particulier avec l'IA générative et ces modèles GPT, c'est vraiment que beaucoup d'entre eux sont désormais intégrés dans des technologies dont nous ne nous rendions pas vraiment compte – comme, hey, mon moteur de recherche utilise maintenant un certain type de GPT. Dans ces situations, même l'utilisateur n'en est pas toujours conscient. Ainsi, la politique d'entreprise devient plus difficile à appliquer parce qu'un utilisateur n'est pas conscient qu'il fait quelque chose qui est intrinsèquement risqué pour l'organisation.
Nous entendons parler de nombreuses organisations qui tentent de déplacer ces modèles en interne, afin d'avoir des droits et la propriété des données et de tout apprentissage qui se produit sur ces modèles, mais comment appliquent-elles des contrôles pour que cela soit redirigé vers un modèle approuvé en interne ou pour empêcher globalement son utilisation de manières peut-être un peu plus masquées – et non pour des raisons malveillantes, mais toutes les personnes à qui nous parlons, [chaque entreprise] parle de l'IA qu'elle utilise. Et j'adore que vous l'ayez souligné.
L'IA existe depuis longtemps. La plupart des technologies utilisent un certain type d'apprentissage automatique ou exploitent de grands ensembles de données pour en tirer des conclusions et de l'intelligence. Mais c'est vraiment l'avènement du GPT mis à disposition des consommateurs qui a provoqué cette explosion massive. Ainsi, sachant que l'IA se cache dans chaque recoin, comment les entreprises peuvent-elles vraiment commencer à atténuer ce risque de fuite de données – j'adorerais dire qu'il existe une liste de tous les sites web dans le monde qui vont utiliser un certain type de LLM et entraîner leurs modèles sur vos données, mais comment pouvons-nous prendre de l'avance sur cela ?
Alexander: Wow, c'est énorme. Parce que c'est partout, et à mon humble avis, [les solutions] devront être multidimensionnelles. Et nous le constatons. Nous voyons des législations émerger de différents pays à travers le monde pour établir ces paramètres d'un point de vue réglementaire. Et ensuite, cela se ramène à une perspective technologique. Nous commençons donc par le gouvernement, puis cela descend au niveau de l'utilisation organisationnelle, et je pense que nous attendons encore et que nous verrons un développement supplémentaire sur la façon de pouvoir identifier cela à travers la technologie.
Tout comme, par exemple, une analogie avec cela est l'informatique en nuage. Comment déterminer où se trouvent toutes vos instances de données dans le nuage ? Eh bien, il n'y a que quelques acteurs dans cet espace en ce moment. Et un vraiment bon qui, à mon humble avis, vous aidera à identifier où vous en êtes dans le cloud, nous allons devoir avoir ce même type de technologie avec l'utilisation de l'IA, en quelque sorte positionnée sur votre périmètre proverbial ou quel que soit ce périmètre.
Je ne sais pas si ce sera au niveau du bureau ou ailleurs, mais ce type de filtrage et de capteur. Et puis le troisième composant, et je déteste dire ça, cela revient à ce modèle « personnes, processus et technologie », c'est de sensibiliser vos utilisateurs à ce qui se passe. Pourquoi l'IA est-elle potentiellement dangereuse ? Ils se contentent de la regarder – même les publicités télévisées… J'ai entendu une publicité l'autre jour sur une vidéo YouTube que je regardais et ils ont dit : « Oh, avec l'utilisation de l'IA, qui est plus intelligente que les humains… », et j'ai juste ri.
Aceves : Oh mon Dieu.
Alexander : Le marketing [des produits grand public] s'empare de ça, [en disant] que l'IA est la meilleure chose qui soit. C'est donc ce qu'entend notre communauté d'utilisateurs finaux, et ils le voient à travers l'utilisation de : « N'est-ce pas amusant de jouer avec Gemini ou ChatGPT, ou même d'aller sur Facebook et de prendre mon image pour me faire ressembler à un mannequin ? »
Je veux dire, ils considèrent l'IA comme fantastique. Ils ne voient pas les dangers inhérents, ils n'entendent pas ces histoires d'horreur que nous entendons, où un ChatGPT ou un type de chatbot interagissait avec un individu en Europe qui était déprimé et l'a poussé au point où il a mis fin à ses jours. Ils ne comprennent donc pas les risques, les véritables risques inhérents à l'intelligence artificielle. Bien sûr, des mesures ont été prises pour remédier aux biais et aux hallucinations qui se produisent avec l'IA, mais pour un monsieur ou une madame Tout-le-Monde dans la rue, ils ne comprennent pas ces risques.
C'est là que nous devons intervenir en tant que professionnels de la sécurité et conseiller l'entreprise et notre communauté d'utilisateurs que le bon s'accompagne du mauvais, pour rester simple. Les conseiller sur la raison pour laquelle nous voulons nous en tenir à une IA d'entreprise et ne pas utiliser certaines de ces solutions externes. Et les informer des fuites de données, des fuites involontaires de données d'entreprise. C'est pourquoi vous voulez les sensibiliser aux biais et aux hallucinations que vous pouvez obtenir ainsi qu'à l'intégrité des données. Il y a tout un ensemble de choses inhérentes à l'utilisation de l'IA aujourd'hui. C'est comme le Far West. C'est bien, mais c'est dangereux.
Aceves: Et je pense aussi que mon rôle maintenant est dans la gestion de produits et je suis fermement convaincu que les fournisseurs ont une responsabilité. Et bien que nous développions des produits dont nos clients ont besoin, et que l'IA soit absolument un outil capable d'apporter de la valeur et les résultats qu'ils recherchent, les fournisseurs et les éditeurs de logiciels ont une responsabilité.
Quand GPT a été lancé pour la première fois pour le grand public, je lisais des articles et il était intéressant de voir des chercheurs en sécurité, il y en avait d'ailleurs un en Europe également, qui interagissaient avec les LLM et étaient capables d'utiliser – ils parlaient de la psychologie jungienne et du moi-ombre pour amener l'IA à révéler des secrets qui n'auraient pas dû être divulgués à un consommateur. Et c'était fascinant, on creuse dans le technique, la façon dont c'était exécuté, et je pense que la société a publié un communiqué indiquant qu'il s'agissait d'une conversation prolongée avec l'IA.
Quand je pense à prolongée, j'ai mes propres idées sur le temps que cela prendrait. Je crois que c'était quelque chose comme huit à 10 questions, ce qui pour moi, assis devant une nouvelle technologie, n'est pas prolongé.
Alexander: Exact.
Aceves: C'est peut-être une interaction de 5 à 10 minutes où je pose des questions et j'évalue. Il y a donc une responsabilité que les fournisseurs ont, en particulier envers leurs clients finaux, de mettre [en place] ces garde-fous. Je pense que la sécurité a connu un énorme changement à ce sujet avec les pratiques de codage sécurisé.
J'ai obtenu mon diplôme de premier cycle en informatique et en génie logiciel, et je n'ai pas eu un seul cours dédié à la sécurité. Maintenant les temps ont changé et il existe désormais des pratiques de codage sécurisé intégrées par défaut. Et je pense que nous allons devoir les adopter dès le début avec l'IA, car les risques sont trop importants. Comme vous le soulignez, il n'y a pas seulement le risque de fuite de données, mais comment, une fois que les modèles commencent à apprendre par eux-mêmes, vous n'avez plus vraiment autant de contrôle que vous en auriez avec n'importe quel autre ensemble de code.
Et je sais qu'il existe des versions de science-fiction de cette crainte, mais c'est une préoccupation légitime concernant les garde-fous en place et la façon dont l'IA peut les comprendre et potentiellement les manipuler dans le contexte d'une entreprise. J'adore que vous ayez soulevé ce point et nous en parlons avec les clients qui souhaitent adopter davantage de technologies basées sur l'IA. Et ils sont nerveux. Et pas seulement à cause des fuites de données. Mais c'est quelque chose sur lequel nous n'avons vraiment aucun contrôle. C'est presque comme une intelligence à part entière, qui a ses propres règles et paradigmes auxquels elle adhère et qui ne sont pas toujours transparents même pour son créateur, ce qui est tout simplement fascinant à considérer.
Alexander: Je pense que c'est la partie effrayante. Et je pense que c'est pourquoi les législateurs entrent en jeu. Parce que cela se résume à – ce que vous abordez, à mon avis – est éthique, moral. Et ce n'est pas le domaine dans lequel je travaille, mais je suis heureux d'entendre et de voir que les gouvernements s'en occupent. Parce que c'est absolument terrifiant. Mais cela étant dit, ce n'est pas le domaine dans lequel j'évolue, mais c'est mon rôle de sensibiliser les utilisateurs – comment allons-nous appliquer cela et être conscients des risques qui en sont inhérents.
La bonne nouvelle est que, à moins d'être chercheur, vous n'entrerez probablement pas dans ce domaine, ce domaine vraiment intéressant qui est indéfini et en quelque sorte en mutation et flou, par opposition à l'utilisation en application commerciale. Mais cela ne signifie pas qu'il n'existe pas un potentiel pour que l'usage commercial déraille et entraîne des conséquences ou des résultats inattendus. Et c'est ce que, encore une fois, c'est notre travail. Donc [c'est un] looooong détour autour de tout cet aspect [de la façon dont] nous devons rester conscients et sensibiliser aux risques inhérents à l'IA fantôme.
Aceves: Oui, absolument. Je regardais une vidéo YouTube au hasard, …quelque chose sur la communication animale, des chercheurs expliquant comment ils utilisent l'IA pour comprendre les bélugas et comment ils peuvent utiliser l'intelligence artificielle pour déterminer essentiellement quel baleine est en train de parler… Et donc les applications sont tellement fascinantes, même en dehors de la sécurité, on commence à voir ces parallèles.
Mon parcours est dans la réponse aux incidents et le red teaming. Et donc l'un des plus grands problèmes que rencontrent les équipes de sécurité est le volume de bruit, et c'est un modèle similaire à celui d'une équipe de biologie marine qui dispose de tonnes d'enregistrements audio qu'elle ne peut pas trier. Ils ne savent pas. Et donc ils ont utilisé l'intelligence artificielle pour sélectionner les éléments importants et identifier, OK, c'est ce langage ou ce mot que cette baleine utilise, et il est fascinant de voir la convergence de tout cela.
Alexander: C'est vraiment révolutionnaire, vous le savez, n'est-ce pas ? Je veux dire, tout le monde utilise l'IA et c'est passionnant, fabuleux, mais comme je l'ai dit, un peu effrayant en même temps.
Aceves: Merci beaucoup pour cette conversation fascinante, Candy.
Je me suis entretenu avec Candy Alexander, CISO et responsable de la pratique cyber chez NeuEon Inc.
Si vous souhaitez en savoir plus sur l'informatique fantôme et l'IA fantôme, consultez Focal Point, le magazine d'actualité cyber en ligne de Tanium. Nous avons des liens vers des articles pertinents dans les notes de l'émission. Rendez-vous simplement sur Tanium.com/p pour les publications.
Pour entendre d'autres conversations avec les meilleurs dirigeants d'entreprise et experts en sécurité d'aujourd'hui, assurez-vous de vous abonner à Let's Converge sur votre application de podcast préférée. Et si vous avez aimé cet épisode, n'hésitez pas à nous donner une note de cinq étoiles.
Merci de nous avoir écoutés. Nous avons hâte de partager d'autres perspectives cyber lors du prochain épisode de Let's Converge.
