Résumé
ChatGPT a pris le monde d’assaut lorsqu’il a fait ses débuts en novembre dernier. Les politiciens sont perplexes, les scientifiques sont inquiets et les consommateurs ne peuvent toujours pas en obtenir assez. Il y a quelque chose de surréaliste et de Willy Wonka-ish dans tout ce qu’il y a. (Il convient de noter que Wonka n’était pas exactement digne de confiance.) Nous demandons à une experte à quel point elle est inquiète sur une échelle de 1 à 10. Sa réponse est sans hésitation.
HOST : Shawn Surber, directeur principal de la gestion technique des comptes,
TaniumGUEST : Krystal Jackson, boursier junior en IA, Center for Security and Emerging Technology, Georgetown University
Pour en savoir plus sur ce problème
Consultez ces articles dans Focal Point, le nouveau magazine d’actualités cyber en ligne de Tanium, et deux récentes alertes ChatGPT de nos analystes en cyberveille (CTI).
- Pouvons-nous réellement mettre en pause l’IA ? 1 100 Les experts (et, oui, Elon Musk) disent oui
- Oui, ChatGPT va dynamiser le piratage et aider à le combattre également
- Résumé CTI : les pirates informatiques utilisent les accroches ChatGPT pour répandre les logiciels malveillants sur Facebook
- Résumé CTI : les acteurs de la menace exploitent ChatGPT
Transcription de l’entretien
L’entretien suivant a été modifié pour plus de clarté.
Krystal Jackson : Nous avons ce type de GPT en ce moment. Et certainement, en tant que personne qui a été dans l’espace de l’IA et qui a été consciente de l’IA générative et de ses capacités pendant un certain temps, je n’ai pas tout à fait compris au début, pourquoi ce modèle cette fois-ci tirait autant d’attention. Mais je pense vraiment qu’une partie de cela est qu’OpenAI a fissuré le code dans la partie chat de ChatGPT.
Shawn Surber : il peut passer des examens de niveau supérieur, créer du code pour les sites web et même créer la ligne de collecte parfaite en fonction de votre profil d’application de rencontre. Il peut également augmenter les cyberattaques, ce qui permet à presque tout le monde de créer plus facilement ses propres logiciels malveillants, e-mails d’hameçonnage et autres contenus dangereux.
Bonjour, je suis Shawn Surber, et aujourd’hui sur Let’s Converge, nous parlons de ChatGPT, le battage médiatique et l’espoir.
Les gens sont obsédés par ChatGPT et d’autres nouveaux chatbots alimentés par l’intelligence artificielle [IA]. Ils sont également un peu effrayés. En fait, nous enregistrons cela le jour où Elon Musk et le cofondateur d’Apple Steve Wozniak et un groupe d’autres scientifiques de premier plan ont publié une pétition appelant à une pause de six mois dans la course de l’IA. Ils disent que les entreprises technologiques évoluent trop rapidement et qu’elles déploient des technologies que nous ne comprenons pas complètement.
Les craintes entourant ces chatbots ne sont pas infondées, mais c’est là que l’espoir entre en jeu : le même outil que celui qui peut être utilisé par les cybercriminels peut également alimenter une tempête de feu de nouvelles technologies défensives pour protéger les entreprises, les agences gouvernementales et les grandes et petites entreprises.
Nous rejoignons aujourd’hui Krystal Jackson, membre junior du Centre pour la sécurité et les technologies émergentes de l’Université de Georgetown. Les recherches de Krystal se concentrent sur l’avenir de l’IA armée et sur l’éthique de la technologie, ce qui me semble absolument fascinant. Bienvenue dans le podcast, Krystal.
Jackson : Merci beaucoup de m’avoir reçu.
Surber : Absolument. Une nouvelle étude a donc été publiée ce mois-ci sur les e-mails d’hameçonnage : vous savez, ces messages intelligents qui nous incitent à cliquer sur des liens dangereux et à télécharger des logiciels malveillants. Les chercheurs ont étudié 53 000 utilisateurs d’e-mails dans plus de 100 pays et ont découvert que les e-mails d’hameçonnage créés par des humains généraient un taux de clics de 4,2 %, tandis que les e-mails ChatGPT n’avaient qu’un clic d’environ 2,9 %. Les humains sont donc encore meilleurs pour tromper d’autres humains. Je ne sais pas si c’est une cause de célébration ou non, mais devrions-nous avoir de l’espoir à ce sujet ? Aussi avancés que ces chatbots deviennent, les humains sont-ils toujours meilleurs en matière de criminalité que les machines ?
Jackson : Oui, je pense que la statistique parle vraiment des volumes. Vous savez, au cœur des escroqueries par hameçonnage et des messages d’hameçonnage se trouve l’intention de tromper. Et c’est quelque chose que je ne pense pas encore voir avec ces premières itérations de chatbots en particulier. Il existe toujours une technologie très générale destinée à générer des textes généraux, et cela ne m’étonne donc pas complètement qu’ils ne soient pas aussi efficaces. Je pense qu’une partie de la préoccupation concerne le volume et l’échelle, et juste la quantité pure de messages d’hameçonnage que vous pourriez être en mesure de diffuser. Mais certainement, l’élément d’efficacité est également très important.
Surber : Je suis d’accord, et je pense qu’il est logique à ce stade que les équipes rouges professionnelles soient plus à même de générer des e-mails d’hameçonnage que les chatbots qui ne sont pas exactement conçus pour cela. Mais qu’en est-il du concept d’IA au milieu, comme l’attaque par interception de chatbot ? Je ne suis probablement pas la première personne à l’appeler l’IA au milieu, mais je pense que je devrais quand même le faire. Mais vous savez, lorsque vous allez sur un site Web et qu’il apparaît et dit : « Hé, avez-vous besoin d’aide ? » Qu’en est-il des acteurs malveillants utilisant quelque chose comme ChatGPT pour intercepter ces connexions et permettre à cette IA de réagir rapidement et efficacement tout en fournissant à la victime de mauvaises informations, de mauvais liens, etc. ?
Jackson : C’est vraiment intéressant. Je pense que de nombreuses manières cela peut être une partie de la direction que nous prenons involontairement. L’une des choses qui m’inquiète le plus est ChatGPT et ces autres chatbots sont intégrés à d’autres systèmes réels. Il y a vraiment une énorme poussée en ce moment pour intégrer ChatGPT aux systèmes qui vous permettent de réserver un vol ou de commander des courses. Très similaire à la manière dont Amazon Alexa vous aide à commander des choses également, mais pour l’ensemble d’Internet. Je peux donc imaginer quelque chose comme ça se transformant en une cible privilégiée pour les attaquants. Si chaque système de paiement et site Web non sécurisés est soudainement associé à un chatbot qui a le potentiel de générer des logiciels malveillants, assemblez les exploits de manière unique, il semble que nous ayons mieux la sécurité de ces types de systèmes assez élevée avant de commencer à les brancher. Et certainement, les gens peuvent prendre ces systèmes et les armer. C’est certainement quelque chose que je pense que nous devons garder un œil sur l’avenir.
Surber : J’ai en fait joué avec une variété de ceux qui sont disponibles maintenant. Ils sont bons pour les petites tâches, mais si vous essayez de les amener à écrire un programme entier, ils s’éloignent des rails. Mais OpenAI a récemment publié ChatGPT-4. Alors, qu’est-ce qui est nouveau en 4 et comment pensez-vous que cela va affecter les choses ?
Jackson : GPT-4 est certainement plus grand et plus mauvais à la plupart des égards. Certains des points forts sont qu’il est multimodal, ce qui signifie que vous pouvez désormais saisir des images ainsi que du texte. Il ne produit toujours pas d’images, mais cela donne certainement un plus grand éventail de choses qu’il peut prendre comme informations. Et il peut produire et prendre des informations plus importantes. Donc, à votre point de vue sur les capacités actuelles, il semble que vous ayez beaucoup à inviter ChatGPT pour qu’il assemble de petits morceaux de code pour rassembler ce qui ressemblerait à un logiciel malveillant complet. Avec GPT-4, cela ouvre vraiment la possibilité de mettre des morceaux de code plus grands, de résumer des morceaux de texte plus grands.
Dans un certain contexte, GPT-3 a utilisé environ 175 milliards de paramètres dans sa formation, et GPT-4 utilise des billions, ce qui signifie qu’il s’agit vraiment d’ordres de grandeur meilleurs pour effectuer ces tâches d’apprentissage, les compétences complexes de résolution de problèmes et de traduction. C’est tout simplement mieux.
Surber : Maintenant, est-il vrai que ChatGPT existe en quelque sorte dans une bulle de temps, comme c’était le cas ? Il s’agit uniquement d’examiner le contenu qui lui a été fourni dans le cadre de la formation ? Alors que je vois des choses comme les nouveaux robots d’IA de Microsoft et Google se vanter du fait qu’ils regardent en direct le Web ?
Jackson : Oui, c’est certainement l’une des limites de certains de ces systèmes et quelque chose que différents développeurs essaient de traiter de différentes manières. Il y avait donc une indication que, par exemple, lors de certaines tâches de codage, ChatGPT semblait avoir un seuil. Il s’agissait évidemment d’examiner certaines des plateformes populaires où vous pouviez tester vos compétences en codage et les télécharger et les comparer à d’autres personnes. Et il y a eu un seuil net à ce moment-là septembre 2021 ou à ce moment-là où il n’a plus pu rivaliser sur les nouveaux défis de codage, ce qui indiquerait que, vous savez, il n’a tout simplement pas été formé sur ces données. Et donc, il s’agit de faire quelque chose de plus proche que de se rappeler des informations que d’être vraiment créatif ou intelligent de quelque manière que ce soit. Mais certains développeurs, comme vous l’avez mentionné, essaient d’y remédier en ayant un apprentissage continu, et je pense que c’est quelque chose de vraiment passionnant, mais c’est également quelque chose qui nous donne moins de contrôle sur les informations que ces modèles possèdent et n’ont pas. C’est donc plus important.
Interrogateur : Alors, pourquoi pensez-vous que les gens sont si attachés à ces chatbots d’IA ? Vous savez, tout le monde en parle, cela génère beaucoup d’enthousiasme, mais à votre avis, est-ce principalement un battage médiatique ou est-ce une étape importante dans l’évolution de notre interaction avec le monde numérique ?
Jackson : Je pense que c’est un peu les deux. Nous avons certainement ce type de GPT en ce moment, et certainement en tant que personne qui a été dans l’espace de l’IA et consciente de l’IA générative et de ses capacités pendant un peu, je ne l’ai pas tout à fait obtenu au début, pourquoi ce modèle a cette fois attiré tant d’attention. Mais je pense vraiment qu’une partie de cela est qu’OpenAI a fissuré le code dans la partie chat de ChatGPT. Pour moi, c’est très conversationnel par nature. Il est capable de rassembler toutes ces informations disparates que nous n’avons pas vraiment vues comme faites de cette manière auparavant dans une interface vraiment agréable et facile à utiliser. Et pour cette raison, vous souhaitez l’utiliser. C’est engageant, c’est conversationnel. Pour moi, ce sont tous ces petits éléments qui en font vraiment un phénomène que nous voyons actuellement.
Surber : À ce stade, personne ne sait vraiment ce que ces chatbots peuvent faire, n’est-ce pas ? Sur quoi les dirigeants d’entreprise et les professionnels de la cybersécurité doivent-ils se concentrer ? Quels sont les domaines de préoccupation légitimes ?
Jackson : C’est une très bonne question. Vous savez, essentiellement, il fait trois choses vraiment bien. Cela comblerait l’écart d’informations. Il a donc le potentiel d’aider quelqu’un qui a peut-être un niveau de connaissances plus faible et qui ne serait normalement pas en mesure de lancer certaines de ces attaques plus sophistiquées et de vraiment les faire passer à un adversaire plus sophistiqué, en renseignant ses connaissances sur différents sujets très rapidement et efficacement, plus que le simple fait d’aller sur Google ou de suivre un cours vous permettrait de le faire.
La deuxième chose est qu’elle aide vraiment à générer et à automatiser ce code et la production de texte. Nous avons vu il y a quelques mois ce groupe de recherche qui a pu, avec un peu d’invite, obtenir la plateforme pour créer un virus polymorphe, et il a créé du code pour tout, de l’injection de DLL [bibliothèque de liens dynamiques] jusqu’au code pour trouver et chiffrer des fichiers. Et donc nous avons pu voir que cette capacité est là, mais il a fallu une équipe de chercheurs assez avancés pour être en mesure d’obtenir les bonnes invites, et ils ont atteint les protections du chatbot, mais ils ont finalement pu les contourner.
Le troisième est quelque chose qui, je pense, est à l’horizon, qui est des modèles personnalisés par des organisations qui peuvent, encore une fois, ne pas se soucier tellement de la sûreté et de la sécurité, qui peuvent réellement vouloir créer sur la colonne vertébrale de choses comme des modèles ChatGPT qui sont spécifiquement conçus pour le piratage et pour les activités malveillantes. Je pense donc que ce sont quelques-unes des choses que lorsque vous décomposez de cette manière, cela vous donne une idée plus claire de ce que sont les préoccupations. Et je pense que pour tous ces cas, nous avons toujours les outils pour pouvoir les traiter.
Interrogateur : Donc, lorsque tout est dit et fait, échelle de 1 à 10, votre opinion professionnelle, 1 étant que vous êtes totalement froid, 10, vous êtes assez effrayé, où vous situez-vous sur les robots d’IA comme ChatGPT ?
Jackson : Je dirais que je suis peut-être un 4. Je ne vais pas perdre de sommeil et je vais dire que je suis très enthousiaste. Il y aura une vague d’applications vraiment cool qui apparaîtront à la suite de tout cela. Et bien que nous reconnaissions que nous avons beaucoup d’obstacles à surmonter pour voir les véritables avantages, je suis assez confiant que nous pouvons y arriver.
Surber : Bien, bien. Cela me rend plus confiant. C’est donc une bonne chose. Vous savez, c’est intéressant, ce que je vois, c’est que ces IA sont vraiment bonnes pour répondre rapidement, analyser des ensembles de données massifs, ce genre de chose, ce qui me frappe comme ayant une plus grande valeur pour les défenseurs que les attaquants. Vous savez, comme ils le disent, les attaquants ne doivent avoir raison qu’une seule fois, le défenseur doit avoir raison à chaque fois. Donc, en étant capable d’analyser votre environnement fermé plus efficacement, plus rapidement et à la recherche d’attaques malveillantes, je pense que l’IA a une valeur vraiment intéressante là-bas. Que pensez-vous ? Pensez-vous que cela sera mieux à long terme pour les défenseurs que pour les attaquants ?
Jackson : C’est une question vraiment intéressante. C’est sans aucun doute une chose à laquelle je pense tout le temps. C’est difficile à dire dans les deux cas, mais je dois dire qu’en tant que défenseurs, nous ne perdons pas de vue. N’est-ce pas ? Vous avez donc évoqué toutes les choses pour lesquelles l’IA donne vraiment un avantage. Et une chose qui est vraiment intéressante, qui vient d’apparaître, c’est Microsoft Security Copilot en tant que nouvel assistant IA GPT-4 pour les tâches de cybersécurité. Il est capable de faire certaines de ces choses que vous dites, comme analyser des extraits de code. Et l’une des grandes choses qui m’enthousiasme, c’est l’automatisation. Généralement, en particulier si vous êtes une plus petite organisation, l’automatisation de certains de vos processus de sécurité peut être vraiment chronophage et coûteuse, et cela semble vraiment donner un grand avantage à ces types d’organisations, en ayant leurs analyses ou processus d’ingénierie inverse, ou certaines choses qui sont un peu plus complexes, ont des étapes d’automatisation en cours de route.
Et donc ces types de fonctionnalités sont vraiment passionnants. Et encore une fois, il s’agit d’une technologie à usage général, donc aussi rapidement qu’ils peuvent créer des applications malveillantes, nous pouvons créer des applications défensives. Je pense que nous avons un peu plus d’avantages en termes de structures et de personnes que nous avons de notre côté, essayant de les construire.
Surber : C’est bien. J’aime ça. Alors, dites-nous un peu, si vous le pouvez, de vos recherches, d’étudier le potentiel de l’armement de l’IA.
Jackson : Certaines de mes recherches passées ont examiné cette question offensive/défensive que vous avez posée auparavant. J’ai essayé d’effectuer une modélisation mathématique de base de la manière dont l’IA pourrait avoir un impact sur différents domaines de la cybersécurité, comme la capacité à exploiter les vulnérabilités des correctifs. L’hameçonnage. Cependant, je suis actuellement passé à l’utilisation de l’apprentissage par renforcement pour la cyberdéfense autonome. Encore une fois, donner aux défenseurs ces outils pour améliorer la cybersécurité et nous donner un avantage. C’est mon principal objectif en ce moment.
Surber : Vous venez de soulever un point très intéressant dans ma tête, en utilisant l’IA pour l’éducation. Pour les examens de certification, il y a longtemps, ils sont allés à un modèle plus interactif, car vous obtenez des questions correctes, il ignore des sections de questions. Existe-t-il un espace non seulement pour l’éducation à la cybersécurité, mais également pour l’éducation en général, où les étudiants pourraient interagir avec une IA pour apprendre plus rapidement, plus efficacement, et vous savez, plus complètement qu’ils ne proviennent des manuels scolaires et recherchent des choses sur Wikipédia, ce que je suis sûr qu’ils ne sont pas censés faire.
Jackson : Oui, absolument. Je pense que l’une des choses qui est vraiment intéressante à propos de ce type de moment de GPT que nous avons actuellement est que nous sommes un peu restreints sur tous ces petits sous-domaines, ou des exemples de choses comme, oui, cela pourrait rendre le comportement contradictoire meilleur ou pire, et cetera. Mais je pense qu’il y a la question plus large de savoir comment ces modèles vont changer la manière dont nous faisons l’éducation ? Comment vont-ils changer notre façon de penser de la cybersécurité dans son ensemble ? Cela nous fait vraiment repenser beaucoup de ces choses, vous savez, mais pas au point de, peut-il nous aider à mieux apprendre et à passer par l’éducation, mais aussi à découvrir que beaucoup de choses que nous faisons dans l’espace de l’éducation ne sont peut-être pas aussi efficaces ou ne seront pas en mesure d’être les normes que nous avions auparavant. Vous savez, nous avons vu autant d’articles que j’ai vu les articles sur les utilisations malveillantes, et j’ai vu des étudiants tricher. Je pense qu’environ la moitié des étudiants utilisent désormais GPT d’une manière ou d’une autre. Donc, cela nous fait certainement avoir cette conversation plus large,comme, quel est le rôle de ces modèles dans la société et dans la vie quotidienne ? Et nous devrons certainement repenser certaines de ces choses.
Surber : C’est très important. En fait, c’était l’une des premières choses auxquelles je pensais lorsque j’ai commencé à me connecter ici et que j’ai commencé à utiliser ChatGPT pour juste générer du texte pour moi : « Hé, vous savez, écrivez cette histoire. Donnez-moi cette idée. » Lorsque j’ai approfondi les aspects techniques, j’ai trouvé qu’ils étaient d’une utilisation moyenne. Mais la capacité à générer un texte unique, c’était très compétent, donc c’était ma première pensée : « Oh, cet homme va-t-il essentiellement être un moyen de contourner les vérificateurs de plagiat ou les enseignants à l’avenir pourront-ils réalimenter le texte de l’élève dans ChatGPT pour voir s’il s’agit de quelque chose que ChatGPT ou un autre bot a créé ? Est-ce quelque chose qui serait même possible ? Questions intéressantes.
Jackson : Oui, absolument. À ma connaissance, ce n’est pas possible pour le moment. Mais je pouvais certainement voir des applications spécifiques pour cela devenir très populaires à l’avenir, d’autant plus que cela devient un problème plus important dans l’espace de l’éducation.
Surber : Quelles sont vos perspectives pour, disons, les cinq prochaines années ?
Jackson : C’est vraiment le début de cette technologie en ce moment. Nous avons cette vision très myope de ce que cela fait actuellement ? Mais nous voulons rester créatifs, nous voulons rester optimistes. Je pense que c’est ainsi qu’une partie de cette IA générative finira par nous servir au mieux. Je n’ai donc pas de réponses vraiment spécifiques à cette question, malheureusement, mais je pense que cela aura certainement d’énormes impacts sur les types de choses que les gens créent simplement. C’est ce qui m’enthousiasme le plus, au cours des cinq prochaines années et à l’avenir.
Surber : Eh bien, ici, j’espérais que vous nous donneriez des prédictions difficiles que nous pourrions vous demander, mais je ne peux pas vous en reprocher. Tout évolue beaucoup trop rapidement. Alors, alors que nous concluons, y a-t-il autre chose que vous aimeriez partager avec nous sur lequel je ne vous ai pas posé de questions ?
Jackson : Je suppose que la dernière chose que je dirais juste est comme un dernier mot de prudence, quelque chose que je ne pense pas peut-être faire autant de presse : j’espère vraiment que, aussi incroyable que toute cette IA générative soit, nous ne la laissons pas remplacer complètement la prise de décision humaine. J’ai laissé entendre qu’auparavant, comme nous l’intégrons à tous ces systèmes différents, et la dernière chose que nous voulons est de nous appuyer tellement sur la technologie et sur le battage médiatique que nous oublions qu’elle n’est formée que sur les informations qui lui ont été fournies et qu’elle était déjà là. Certaines des informations sur Internet sont bonnes, d’autres sont vraiment mauvaises, et nous devons garder une réelle importance sur la pensée critique. Aujourd’hui plus que jamais, alors que nous apprenons à utiliser cette technologie et voulons évoluer.
Surber : mots sage, mots sage. Vous ne pouvez pas remplacer les humains, autant que nous le souhaiterions parfois. Et donc j’aime ça, j’aime cette perspective. Il y a beaucoup de choses que je pense que ChatGPT et d’autres robots d’IA peuvent faire pour faciliter la vie, faciliter le travail, espérons ne pas rendre l’école plus facile, mais en fin de compte, la créativité humaine, je pense, sera quelque chose que nous ne pourrons pas simplement reproduire avec l’IA, du moins pas à tout moment dans un avenir proche. Merci beaucoup, Krystal. J’apprécie vraiment.
J’ai parlé aujourd’hui avec Krystal Jackson, membre junior de l’IA au Centre de sécurité et de technologies émergentes de l’Université de Georgetown.
Si vous souhaitez en savoir plus sur ChatGPT, consultez Focal Point, le magazine d’actualités cyber en ligne de Tanium. Nous avons des liens vers plusieurs articles dans les notes du défilé, ou rendez-vous simplement sur tanium.com. Assurez-vous de vous abonner à Let’s Converge sur votre application de podcast préférée. Et si vous avez aimé cet épisode, veuillez nous donner cette note cinq étoiles.
Merci d’avoir écouté. Nous sommes impatients de partager plus d’informations sur le prochain épisode de Let’s Converge.
