Résumé
Beaucoup d’organisations pensent qu’elles n’utilisent pas l’IA, mais bien sûr leurs employés expérimentent toutes sortes de nouveaux outils d’IA, car la curiosité à l’égard de l’IA s’inscrit dans la culture. Ce que ces travailleurs ne savent pas, c’est comment ils peuvent exposer les données de l’entreprise. Cela se produit rapidement, et toute entreprise qui n’a pas de stratégie d’IA doit définir des paramètres et des garde-fous maintenant.
La clé est d’informer les employés du risque et d’apprendre d’eux comment ces outils aident à accomplir le travail, afin que vos garde-fous protègent, mais n’interdisent pas la croissance de l’entreprise.
Hôte : Stephanie Aceves, directrice principale de la gestion des produits,
TaniumGuest : Candy Alexander, RSSI et responsable de la cyberpratique, NeuEon Inc.
Afficher les notes
Pour plus d’informations sur l’IA et l’informatique fantômes, consultez nos articles dans Focal Point, le magazine d’actualités en ligne primé de Tanium, et ces autres ressources utiles.
- Les employés adoptent l’« IA parallèle » et mettent les données de l’entreprise en danger | Point focal
- Ép. 18 : Mettre en lumière l’informatique fantôme | Convergeons
- 4 priorités de leadership critiques pour les RSSI à l’ère de l’IA | Point focal
- La prévention des préjugés liés à l’IA commence au sommet : il suffit de demander à ces femmes responsables de l’IA | Point focal
- Qu’est-ce que la surveillance de l’expérience numérique ? Pourquoi la stratégie DEM est importante et renforce l’expérience des employés et des clients | Tanium
- 8 étapes de l’IA « Emotional Rollercoaster » | Tanium
Transcription
L’entretien suivant a été modifié pour plus de clarté.
« J’ai entendu une publicité l’autre jour sur une chose YouTube que je regardais, et ils ont dit : « Oh, avec l’utilisation de l’IA, qui est plus intelligente que les humains,... » et je viens de rire... Le marketing saisit cela pour les produits de consommation, disant que l’IA est la meilleure chose de tous les temps. C’est donc ce que notre communauté d’utilisateurs finaux entend. »Candy Alexander, RSSI et responsable des pratiques informatiques, NeuEon Inc.
Stephanie Aceves : Bonjour, je m’appelle Stephanie Aceves. Je suis directeur principal de la gestion des produits chez Tanium, et aujourd’hui sur Let’s Converge, nous parlons d’informatique fantôme et d’IA fantôme. Bienvenue dans la deuxième de notre série en deux parties qui examine ce problème de plus en plus dangereux pour les entreprises.
Dans la première partie, nous avons couvert certains des outils de gestion de projet que vos employés peuvent utiliser et que vous ignorez, et ce qui peut être un fait surprenant pour certains, c’est-à-dire que vos employés utilisant l’informatique fantôme ont vraiment de bonnes intentions. Le plus souvent, ils essaient simplement de comprendre comment faire leur travail mieux et plus rapidement. Et ils ne réalisent pas qu’en utilisant une technologie non approuvée, ils peuvent mettre l’entreprise en danger.
Vous vous joindrez à moi aujourd’hui pour parler de ce problème : Candy Alexander, directeur de la sécurité de l’information et responsable des pratiques informatiques chez NeuEon Inc., une société de conseil en gestion d’entreprise de premier plan. En plus de développer et de gérer des programmes de sécurité d’entreprise, Candy a été élue - deux fois - présidente internationale de l’Association de sécurité des systèmes d’information, et elle est directrice de longue date de leur conseil d’administration international.
OK, revenons à notre discussion.
Un nouveau joueur entre dans l’espace, et c’est l’IA fantôme.
Alexander : C’est vraiment une ère révolutionnaire dans laquelle nous entrons avec l’IA, et elle peut aller de plusieurs façons. J’espère juste et j’ai la certitude que cela se passera bien, mais je pense qu’il y aura des bosses effrayantes dans la nuit.
Aceves : Dans les entreprises avec lesquelles nous travaillons à mon poste, nous parlons aux dirigeants de préoccupations concernant la... résurgence de l’IA, en particulier avec l’avènement des LLM [modèles linguistiques de grande taille]. Et lorsque nous parlons avec eux, il y a vraiment une préoccupation concernant la fuite de données, ce qui est un problème similaire à ce que nous avons défini dans votre système informatique fantôme typique. Et vous continuez à comprendre que souvent l’IA, en particulier avec les LLM, le risque est que vous formiez le modèle avec ce qui pourrait être des informations sensibles. Pouvez-vous partager un peu plus spécifiquement du point de vue de l’IA et de la manière dont cela affecte ou de la manière dont vous vous attendez à ce qu’il affecte les entreprises alors que nous continuons à évoluer, à nous adapter et à tirer parti de ce nouveau type de technologie ?
Alexander : C’est drôle, car il s’agit d’une introduction intéressante de « nouvelles » technologies, mais ce n’est pas vraiment nouveau. Je veux dire, avouons-le, l’IA existe depuis toujours.
Aceves : Absolument.
Alexander : Mais bien sûr, maintenant que c’est devenu courant, tout le monde utilise l’IA et cela devient de plus en plus important avec la disponibilité de ChatGPT. Beaucoup d’organisations diront que nous n’utilisons pas l’IA. Et bien sûr, vous êtes un peu plus ridicule, parce qu’ils le font certainement. Nous avons des employés qui utiliseront, par exemple, ChatGPT ou ...Google Bard ou Gemini maintenant, pour faire des choses telles que l’utiliser pour perfectionner leurs écrits, CV ou marketing, quoi qu’il arrive. Il est donc très difficile de comprendre cette utilisation. En plus de cela, l’autre partie du spectre est l’utilisation d’un certain type d’IA, l’IA générative, pour l’achèvement du code, n’est-ce pas ?
Je viens de parler cette semaine des logiciels de la chaîne d’approvisionnement. Et c’est, à mon avis, l’une des façons dont nous allons pouvoir identifier l’utilisation de l’IA en ce qui concerne le développement, puis être en mesure de l’examiner. Nous allons donc pouvoir nous identifier avec, encore une fois, l’utilisation de logiciels de chaîne d’approvisionnement, la chaîne d’approvisionnement, les types d’IA que vous utilisez, explorer l’IA explicable, dont tout le monde parle maintenant, puis mettre des paramètres autour de son utilisation... et évaluer constamment cette utilisation. Et c’est important. Mais je veux revenir à l’autre côté, où vous avez les organisations qui disent, eh bien, nous n’avons vraiment pas de stratégie d’IA. Et je leur conseille de se dépêcher et de le faire maintenant et de définir ces paramètres.
Et cela doit commencer par quelque chose d’aussi simple que votre politique d’utilisation acceptable. Mettez ces paramètres, ces garde-fous, ce contrôle directionnel sur ce qui est acceptable et ce qui ne l’est pas. Et... gardez à l’esprit que l’IA générative est juste cela : elle apprend et augmente générativement ses connaissances et sa portée en fonction des informations fournies. Pensez à cela : Voulez-vous vraiment que vos informations d’entreprise fassent partie de ce lac de données ou du pool de données ? Absolument pas. Vous devez donc réfléchir au cas d’utilisation. Et comme pour la chaîne d’approvisionnement logicielle, [je vous suggère] de cartographier les composants et la manière dont ils jouent les uns avec les autres, quand entrent-ils en jeu ? La même chose avec un cas d’utilisation de l’IA pour les utilisateurs finaux, qu’il s’agisse de Microsoft Copilot ou d’un autre outil d’IA. Vous devez comprendre comment cela va être utilisé et souhaitez-vous utiliser une IA open source ou souhaitez-vous utiliser une IA privée pour votre organisation afin que les requêtes qui entrent dans cette utilisation de l’IA restent dans les limites de votre organisation ?
Aceves : J’adore ça. Et vous savez, certains des leaders auxquels j’ai parlé, leurs préoccupations concernant l’IA, en particulier avec l’IA générative et ces modèles GPT, est vraiment que beaucoup d’entre eux sont maintenant intégrés dans des technologies que nous n’avons pas [réalisées] - comme hé, mon moteur de recherche utilise maintenant un certain type de GPT. Dans ces situations, même l’utilisateur n’est pas conscient en permanence. Et donc la politique d’entreprise devient plus difficile parce qu’un utilisateur ne sait pas qu’il fait quelque chose qui est intrinsèquement risqué pour l’organisation.
Nous entendons beaucoup d’organisations différentes essayer de déplacer ces modèles réels en interne, et elles ont donc des droits et la propriété des données et de l’apprentissage qui se produit en plus de ces modèles, mais comment appliquent-elles des contrôles pour savoir si elles sont redirigées vers un modèle approuvé en interne ou, globalement, empêcher qu’elles soient utilisées d’une manière qui est peut-être un peu plus masquer, et non pour des raisons préjudiciables, mais toutes les personnes auxquelles nous parlons, [chaque entreprise] parle de l’IA qu’elles utilisent. Et j’adore que vous l’ayez appelé.
L’IA existe depuis longtemps. La plupart des technologies utilisent un certain type de machine learning ou elles prennent les grands ensembles de données et en tirent vraiment des conclusions et des renseignements. Mais c’est vraiment l’avènement de la GPT à la disposition des consommateurs qui vient de causer cette explosion massive. Donc, sachant que l’IA se cache dans tous les coins, comment les entreprises commencent-elles vraiment à atténuer ce risque de fuite de données, j’aimerais dire qu’il existe une liste de tous les sites Web au monde qui utiliseront un certain type de LLM et formeront leurs modèles sur vos données, mais comment pouvons-nous y remédier ?
Alexander : Ouah, c’est énorme. Parce que c’est partout, et à mon humble avis, [les solutions] devront être multifacettes. Et nous le voyons. Nous constatons que la législation provient de différents pays à travers le monde pour y appliquer ces paramètres d’un point de vue réglementaire. Et ensuite, cela se résume à une perspective technologique. Nous commençons donc par le gouvernement, puis cela se résume à l’utilisation organisationnelle de celui-ci, et je pense que nous attendons toujours et nous verrons un développement supplémentaire de la manière d’identifier cela grâce à la technologie.
Tout comme, par exemple, une analogie avec cela est le cloud computing. Comment déterminez-vous où se trouvent toutes vos instances de données dans le cloud ? Eh bien, il n’y a que quelques joueurs dans cet espace en ce moment. Et un très bon qui, à mon humble avis, vous aidera à identifier où vous vous trouvez dans le cloud, nous devrons avoir le même type de technologie avec l’utilisation de l’IA, en quelque sorte assis sur votre proverbe ou le périmètre de tout ce qui est.
Je ne sais pas si cela sera sur le bureau ou n’importe où, mais ce type de filtrage et de sensor. Et puis le troisième composant, et je déteste le dire, cela revient à ce modèle « personnes, processus et technologie », qui fait prendre conscience à vos utilisateurs de ce qui se passe. Pourquoi l’IA est-elle potentiellement dangereuse ? Ils ne font que regarder, même les publicités télévisées... J’ai entendu une publicité l’autre jour sur YouTube que je regardais et ils ont dit : « Oh, avec l’utilisation de l’IA, qui est plus intelligente que les humains... » et je riais juste.
Aceves : Oh mon dieu.
Alexander : Le marketing [produit de consommation] saisit cela, [disant] l’IA est la meilleure chose de tous les temps. C’est ce que notre communauté d’utilisateurs finaux entend, et ils le voient grâce à l’utilisation de « N’est-ce pas amusant de jouer avec Gemini ou ChatGPT, ou même de se rendre sur Facebook et de prendre mon image et de me faire ressembler à un modèle ? »
Je veux dire, ils considèrent l’IA comme fantastique. Ils ne voient pas les dangers inhérents, ils n’entendent pas les histoires d’horreur que nous entendons où nous avions un chatGPT pour un certain type de chatbot interagissant avec une personne en Europe et ils étaient déprimés et cela les a poussés au point qu’ils ont pris leur vie. Ils ne comprennent donc pas les risques, les véritables risques inhérents à l’intelligence artificielle. Bien sûr, ils ont pris des mesures pour corriger les préjugés et les hallucinations qui se produisent avec l’IA, mais comme pour un Joe ou Jane régulier dans la rue, ils ne comprennent pas ces risques.
C’est là que nous devons intervenir en tant que professionnels de la sécurité et informer l’entreprise et notre communauté d’utilisateurs qu’avec le bien est mauvais, tout comme en le maintenant basique. En les conseillant, c’est pourquoi nous voulons nous en tenir à une IA d’entreprise et ne pas utiliser certaines de ces choses externes. Et informez-les de la fuite de données, de la fuite involontaire de données d’entreprise. C’est pourquoi vous souhaitez les sensibiliser aux préjugés et aux hallucinations que vous pouvez obtenir et à l’intégrité des données. Il y a beaucoup de choses qui sont inhérentes à l’utilisation de l’IA aujourd’hui. C’est comme le Far West. C’est bien, mais c’est dangereux.
Aceves : Et je pense également que mon rôle est désormais dans la gestion des produits et je pense fermement que les fournisseurs ont une responsabilité. Et bien que nous construisions des produits dont nos clients ont besoin, et que l’IA est absolument un outil qui peut fournir de la valeur et des résultats qu’ils recherchent, il y a une responsabilité sur les fournisseurs et les fournisseurs de logiciels.
Lorsque GPT est entré en ligne pour le consommateur, je lisais des articles et il était intéressant de voir des chercheurs en sécurité, en fait il y en avait également un en Europe, qui interagissaient avec les LLM et qui étaient en mesure de les utiliser. Ils ont parlé de la psychologie jungienne et du moi fantôme pour faire en sorte que l’IA admette des secrets qui n’auraient pas dû être révélés à un consommateur. Et c’était fascinant, vous approfondissez la technique, la manière dont elle a été exécutée, et je pense que l’entreprise a publié une déclaration indiquant qu’il s’agissait d’une conversation prolongée avec l’IA.
Lorsque je pense à l’extension, j’ai mes pensées sur le temps que cela prendrait. Je pense que c’est quelque part sur la ligne de huit à 10 questions, qui, pour moi, se trouvait devant une nouvelle technologie, qui n’est pas étendue.
Alexander : D’accord.
Aceves : C’est peut-être une interaction de 5 à 10 minutes où je demande et note. Et il y a donc une responsabilité que les fournisseurs ont, en particulier envers leurs clients finaux, de mettre [dans] ces garde-fous. Je pense que la sécurité a connu un énorme changement dans ce domaine avec des pratiques de codage sécurisées.
J’ai obtenu un diplôme d’études supérieures en informatique et en ingénierie logicielle, et je n’avais pas de cours unique dédié à la sécurité. Les heures ont changé et il existe désormais des pratiques de codage de sécurité intégrées par défaut. Et je m’attends à ce que nous devions l’adopter dès le début avec l’IA, car il y a trop de risques ici. À votre avis, il n’y a pas seulement le risque de fuite de données, mais comment faire, une fois que les modèles commencent à apprendre eux-mêmes, vous n’avez pas vraiment autant de contrôle que vous le feriez avec tout autre ensemble de code.
Et je sais qu’il existe les versions de science-fiction de la peur de cela, mais c’est une préoccupation légitime sur les garde-fous en place et la manière dont l’IA peut les comprendre et les manipuler potentiellement dans le contexte d’une entreprise. J’adore donc que vous en ayez parlé et nous en parlons avec des clients qui souhaitent adopter plus d’IA et de technologies activées. Et ils sont nerveux. Et pas seulement pour la fuite de données. Mais c’est quelque chose sur lequel nous n’avons vraiment pas de contrôle. C’est presque comme une intelligence à part entière, qui a des règles et des paradigmes auxquels elle adhère qui ne sont pas toujours transparents pour même le créateur, ce qui est tout simplement fascinant à penser.
Alexander : Je pense que c’est la partie effrayante. Et je pense que c’est pourquoi les législateurs entrent en jeu. Parce qu’il s’agit de ce que vous abordez, à mon avis, est éthique, morale. Et ce n’est pas l’espace où je travaille, mais je suis heureux d’entendre et de voir que les gouvernements le sont. Parce que c’est absolument terrifiant. Mais cela étant dit, ce n’est pas l’espace dans lequel je joue, mais c’est mon espace pour informer les utilisateurs : comment allons-nous appliquer cela et être conscients des risques inhérents à celui-ci.
La bonne nouvelle, c’est que, à moins que vous ne soyez chercheur, vous n’entrerez probablement pas dans ce domaine, ce domaine vraiment intéressant qui n’est pas défini et qui est en quelque sorte morphing et squis, par opposition à l’utilisation des applications commerciales. Mais cela ne signifie pas qu’il n’y a pas de potentiel que l’utilisation commerciale se mette mal à l’aise et ait des conséquences ou des résultats inattendus. Et c’est ce qui, encore une fois, c’est notre travail. [c’est donc un] chemin autour de tout ce [comment] nous devons rester conscients et prendre conscience des risques inhérents à l’IA fantôme.
Aceves : Oui, absolument. Je regardais des vidéos YouTube aléatoires, ... quelque chose sur la communication avec les animaux, des chercheurs discutant de la manière dont ils utilisent l’IA pour comprendre les baleines béluga et ils peuvent utiliser l’intelligence artificielle pour déterminer fondamentalement quelle baleine fait la parole... Et donc les applications sont tellement fascinantes, même en dehors de la sécurité, que vous commencez à voir ces parallèles.
Mon expérience est la réponse aux incidents et l’équipe rouge. L’un des plus grands problèmes rencontrés par les équipes de sécurité est le volume de bruit, et c’est un modèle similaire à une équipe de biologie marine qui a des tonnes d’enregistrements audio et ils ne peuvent pas le passer à travers. Ils ne le savent pas. Ils ont donc utilisé l’intelligence artificielle pour choisir les choses importantes et identifier, OK, c’est ce langage ou ce mot que cette baleine utilise, et c’est fascinant de voir la convergence de toutes ces choses.
Alexander : C’est vraiment révolutionnaire, vous le savez, n’est-ce pas ? Je veux dire, partout où l’IA est utilisée et c’est passionnant, fabuleux, mais comme je l’ai dit, un peu effrayant en même temps.
Aceves : Merci beaucoup pour cette conversation fascinante, Candy.
J’ai parlé avec Candy Alexander, RSSI et responsable des pratiques informatiques chez NeuEon Inc.
Si vous souhaitez en savoir plus sur l’informatique parallèle et l’IA parallèle, consultez Focal Point, le magazine d’actualités en ligne de Tanium. Nous avons des liens vers des articles pertinents dans les notes de spectacle. Il vous suffit de consulter Tanium.com/p pour consulter les publications.
Pour entendre plus de conversations avec les principaux chefs d’entreprise et experts en sécurité d’aujourd’hui, assurez-vous de vous abonner à Let’s Converge sur votre application de podcast préférée. Et si vous avez aimé cet épisode, allez-y et donnez-nous une note de cinq étoiles.
Merci d’avoir écouté. Nous sommes impatients de partager plus d’informations sur le prochain épisode de Let’s Converge.
