Résumé
ChatGPT a fait l'effet d'une bombe lors de ses débuts en novembre dernier. Les politiciens sont perplexes, les scientifiques s'inquiètent, et les consommateurs n'en ont toujours pas assez. Il y a quelque chose de surréaliste et d'extravagant dans tout cela, digne de Willy Wonka. (Il convient de rappeler que Wonka n'était pas vraiment digne de confiance.) Nous demandons à une experte à quel point elle s'inquiète sur une échelle de 1 à 10. Sa réponse fuse sans la moindre hésitation.
ANIMATEUR : Shawn Surber, directeur principal de la gestion des comptes techniques, Tanium
INVITÉE : Krystal Jackson, chercheuse associée junior en IA, Center for Security and Emerging Technology, Georgetown University
Pour en savoir plus sur ce sujet
Découvrez ces articles dans Focal Point, le nouveau magazine en ligne de Tanium dédié à l'actualité cyber, ainsi que deux alertes récentes sur ChatGPT rédigées par nos analystes en informations sur les cybermenaces (CTI).
- Peut-on réellement mettre l'IA en pause ? 1 100 Les experts (et, oui, Elon Musk) disent « oui »
- Oui, ChatGPT va propulser le piratage informatique — et contribuer à le combattre
- CTI Roundup : Des hackers utilisent des leurres ChatGPT pour diffuser des Malware sur Facebook
- Point sur le CTI : des acteurs malveillants exploitent ChatGPT
Transcription de l'entretien
L'entretien suivant a été modifié pour plus de clarté.
Krystal Jackson : Nous vivons sans aucun doute ce moment GPT en ce moment même. Et en tant que personne évoluant dans le domaine de l'IA et familière avec l'IA générative et ses capacités depuis un certain temps, je n'avais pas saisi au premier abord pourquoi ce modèle, cette fois-ci, suscitait autant d'attention. Mais je pense vraiment qu'OpenAI a en quelque sorte percé le code de la partie chat de ChatGPT.
Shawn Surber : Il peut réussir des examens de niveau master, générer du code pour des sites web, et même rédiger la réplique de séduction idéale à partir de votre profil sur une application de rencontres. Il peut également favoriser les cyberattaques, en permettant à n'importe qui de créer son propre Malware, ses e-mails de phishing et d'autres contenus malveillants.
Bonjour, je suis Shawn Surber, et aujourd'hui dans Let's Converge, nous parlons de ChatGPT — entre engouement et espoir.
Les gens sont obsédés par ChatGPT et d'autres nouveaux chatbots propulsés par l'intelligence artificielle [IA]. Ils sont aussi un peu effrayés. En fait, nous enregistrons ceci le jour même où Elon Musk, Steve Wozniak, co-fondateur d'Apple, et un groupe d'autres scientifiques de renom ont publié une pétition appelant à une pause de six mois dans la course à l'IA. Selon eux, les entreprises technologiques avancent trop vite et déploient des technologies que nous ne maîtrisons pas encore.
Les craintes entourant ces chatbots ne sont pas sans fondement, mais voici où réside l'espoir : le même outil utilisé par les cybercriminels peut aussi alimenter une vague de nouvelles technologies défensives pour protéger les entreprises, les agences gouvernementales et les organisations de toutes tailles.
Nous accueillons aujourd'hui Krystal Jackson, chercheuse associée en IA au Centre pour la sécurité et les technologies émergentes de l'Université Georgetown. Les recherches de Krystal portent sur l'avenir de l'IA militarisée et l'éthique de la technologie, un sujet qui me semble des plus fascinants. Bienvenue dans le podcast, Krystal.
Jackson: Merci de me recevoir.
Surber: Avec plaisir. Une nouvelle étude publiée ce mois-ci porte sur les e-mails de phishing — ces messages ingénieux qui nous poussent à cliquer sur des liens dangereux et à télécharger des Malware. Les chercheurs ont étudié 53 000 utilisateurs de messagerie dans plus de 100 pays et ont constaté que les e-mails de phishing rédigés par des humains généraient un taux de clics de 4,2%, tandis que les e-mails créés par ChatGPT n'obtenaient qu'un taux d'environ 2,9%. Les humains restent donc plus efficaces pour tromper d'autres humains. On peut se demander si c'est une raison de se réjouir, mais faut-il pour autant être optimiste ? Malgré les progrès de ces chatbots, les humains seraient-ils encore plus habiles que les machines dans le domaine de la cybercriminalité ?
Jackson : Cette statistique est très révélatrice, je crois. Au cœur des arnaques et des messages de phishing se trouve une intention de tromper. Et c'est quelque chose que je ne perçois pas encore dans ces premières versions de chatbots. Il s'agit d'une technologie à usage général, conçue pour produire des textes génériques, ce qui explique en partie leur manque d'efficacité. La préoccupation principale porte, selon moi, sur le volume et l'ampleur des messages de phishing qu'il serait possible de générer. Mais l'aspect efficacité est lui aussi vraiment important.
Surber: Je suis d'accord, et je pense qu'il est logique à ce stade que les red-teamers professionnels soient plus à même de générer des e-mails de phishing que des chatbots qui ne sont pas conçus à cet effet. Mais qu'en est-il du concept d'une IA au milieu, comme une attaque par interception de chatbot ? Je ne suis probablement pas le premier à parler d'IA au milieu, mais je pense que je devrais tout de même déposer cette marque. Mais vous savez, quand vous visitez un site web et qu'une fenêtre s'ouvre en disant : « Puis-je vous aider ? » Qu'en est-il des acteurs malveillants qui utiliseraient quelque chose comme ChatGPT pour intercepter ces connexions et permettre à cette IA de répondre en transmettant à la victime de fausses informations, des liens malveillants, et ainsi de suite ?
Jackson: C'est très intéressant. Je pense qu'à bien des égards, c'est peut-être la direction que nous prenons, en quelque sorte sans le vouloir. L'une de mes principales préoccupations concerne l'intégration de ChatGPT et de ces autres chatbots avec d'autres systèmes du monde réel. Il existe actuellement une forte volonté d'intégrer ChatGPT à des systèmes permettant de réserver un vol ou de commander des courses en ligne. Très similaire à la façon dont Amazon Alexa vous aide à commander des articles, mais pour l'ensemble d'internet. Je peux tout à fait imaginer ce type de système devenir une cible de choix pour les attaquants. Si chaque système de paiement et site web non sécurisé se retrouve soudainement doté d'un chatbot capable de générer des Malware et d'enchaîner des exploits de manière inédite, il semble impératif de garantir un niveau de sécurité élevé pour ces systèmes avant de les connecter. Il est certain que des individus peuvent s'emparer de ces systèmes et les transformer en armes. C'est un point sur lequel nous devons rester vigilants à l'avenir.
Surber: J'ai eu l'occasion de tester plusieurs des solutions disponibles actuellement. Elles sont efficaces pour des tâches simples, mais dès qu'on leur demande de rédiger un programme complet, elles perdent le fil. Mais OpenAI a récemment lancé ChatGPT-4. Quelles sont les nouveautés de 4 et quel impact pensez-vous que cela aura ?
Jackson: GPT-4 est sans conteste plus puissant et plus performant à bien des égards. L'un des points forts est sa nature multimodale, ce qui signifie que vous pouvez désormais saisir des images ainsi que du texte. Il ne génère toujours pas d'images, mais cela offre un éventail plus large d'informations qu'il peut traiter. Il peut également produire et traiter des volumes d'information plus importants. Pour revenir à votre remarque sur les capacités actuelles, il semble qu'il faille beaucoup solliciter ChatGPT pour qu'il assemble de petits fragments de code afin de constituer ce qui ressemblerait à un Malware complet. Avec GPT-4, la possibilité de générer des blocs de code plus volumineux et de résumer des textes plus longs est réelle.
Pour replacer les choses dans leur contexte, GPT-3 utilisait environ 175 milliards de paramètres lors de son entraînement, tandis que GPT-4 en utilise des billions, ce qui lui confère une capacité nettement supérieure pour les tâches d'apprentissage, la résolution de problèmes complexes et les compétences en traduction. Il est tout simplement plus performant dans ces domaines.
Surber: Est-il vrai que ChatGPT existe en quelque sorte dans une bulle temporelle ? Il ne prend en compte que le contenu qui lui a été fourni dans le cadre de son entraînement ? Alors que je vois des choses comme les nouveaux robots IA de Microsoft et Google qui mettent en avant le fait qu'ils consultent le web en temps réel ?
Jackson: Oui, c'est clairement l'une des limites de certains de ces systèmes, et différents développeurs cherchent à y remédier de diverses façons. Il y avait des indications que, par instance, sur certaines tâches de codage, ChatGPT semblait avoir une date limite. Il consultait manifestement certaines des plateformes populaires où l'on peut tester ses compétences en codage, les soumettre et les comparer à celles d'autres personnes. Et il y avait une rupture nette à, je crois, septembre 2021 ou aux alentours de cette période, où il n'était plus en mesure de relever les nouveaux défis de codage, ce qui indique qu'il n'avait tout simplement pas été entraîné sur ces données. Il s'agit donc davantage d'un rappel d'informations que d'une véritable créativité ou intelligence. Mais certains développeurs, comme vous l'avez mentionné, cherchent à y remédier grâce à un apprentissage continu, ce qui est très prometteur, mais cela nous donne aussi moins de contrôle sur les informations que ces modèles possèdent ou non. C'est donc un élément supplémentaire à prendre en compte.
Surber: Pourquoi pensez-vous que les gens sont si fascinés par ces chatbots IA ? Tout le monde en parle, cela suscite beaucoup d'enthousiasme, mais selon vous, s'agit-il avant tout d'un effet de mode ou d'une avancée dans l'évolution de notre interaction avec le monde numérique ?
Jackson: Je pense que c'est un peu des deux. Nous vivons sans aucun doute ce moment GPT en ce moment, et en tant que personne évoluant dans le domaine de l'IA et consciente de l'IA générative et de ses capacités depuis un certain temps, je n'avais pas vraiment compris au début pourquoi ce modèle, cette fois-ci, suscitait autant d'attention. Mais je pense vraiment qu'OpenAI a en quelque sorte percé le code de la partie chat de ChatGPT. Pour moi, il est de nature très conversationnelle. Il est capable de rassembler tous ces éléments d'information disparates d'une façon que nous n'avions pas vraiment vue auparavant, au travers d'une interface simple et agréable à utiliser. Et c'est pour cette raison que l'on a envie de l'utiliser. Il est engageant, il est conversationnel. Pour moi, ce sont tous ces petits éléments qui en font le phénomène que nous observons aujourd'hui.
Surber: À ce stade, personne ne sait vraiment avec certitude ce que ces chatbots sont capables de faire, n'est-ce pas ? Sur quoi les leaders des entreprises et les professionnels de la cybersécurité devraient-ils donc se concentrer ? Quels sont les domaines de préoccupation légitimes ?
Jackson: C'est une très bonne question. En substance, cela excelle dans trois domaines. Le premier est le comblement des lacunes en matière d'information. Cela peut aider une personne ayant un niveau de connaissance limité, qui ne serait normalement pas en mesure de mener à bien certaines de ces attaques sophistiquées, à élever son niveau et à devenir un adversaire plus redoutable, en comblant ses lacunes sur différents sujets de façon bien plus rapide et efficace que ne le permettrait une simple recherche sur Google ou la participation à une formation.
Le deuxième aspect concerne la génération et l'automatisation de la production de code et de texte. Il y a quelques mois, un groupe de recherche a réussi, avec quelques instructions, à amener la plateforme à créer un virus polymorphe, générant du code pour tout, de l'injection de DLL [bibliothèque de liens dynamiques] jusqu'au code permettant de localiser et de chiffrer des fichiers. Cette capacité est donc bien réelle, mais il a fallu une équipe de chercheurs de haut niveau pour formuler les instructions adéquates. Ils ont certes rencontré les protections du chatbot, mais ont finalement réussi à les contourner.
Le troisième aspect, qui se profile à l'horizon, concerne les modèles sur mesure développés par des organisations qui, là encore, ne se soucient guère de la sécurité, et qui pourraient vouloir créer, sur la base de modèles comme ChatGPT, des outils conçus spécifiquement pour le piratage et les activités malveillantes. En décomposant ainsi les choses, on obtient une vision plus claire des enjeux. Et je pense que, dans chacun de ces cas, nous disposons des outils nécessaires pour y faire face.
Surber: Donc, en fin de compte, sur une échelle de 1 à 10, selon votre avis professionnel, 1 signifiant que vous êtes totalement serein, 10 que vous êtes vraiment inquiet, où en êtes-vous avec les bots IA comme ChatGPT ?
Jackson: Je dirais que je suis peut-être à 4. Je ne vais pas perdre le sommeil pour ça et je dirais que je suis plutôt enthousiaste. Une vague d'applications vraiment intéressantes va émerger de tout cela. Et même si nous reconnaissons qu'il y a de nombreux obstacles à surmonter pour en tirer de réels bénéfices, je suis convaincu que nous pouvons y arriver.
Surber: Bien, bien. Cela me rassure. C'est une bonne chose. Vous savez, ce qui est intéressant, c'est que ces IA excellent dans les réponses rapides et l'analyse de volumes de données massifs, ce genre de choses, ce qui me semble être d'une valeur bien plus grande pour les défenseurs que pour les attaquants. Comme on dit, les attaquants n'ont besoin d'avoir raison qu'une seule fois, tandis que le défenseur doit avoir raison à chaque fois. Pouvoir analyser votre environnement fermé de manière plus efficace et plus rapide, en recherchant des attaques malveillantes, je pense que l'IA présente une valeur vraiment intéressante à cet égard. Qu'en pensez-vous ? Pensez-vous que cela sera plus avantageux à long terme pour les défenseurs que pour les attaquants ?
Jackson : C'est une question des plus intéressantes. C'est une question à laquelle je réfléchis en permanence. Il est difficile de trancher, mais je dois dire qu'en tant que défenseurs, nous ne sommes pas perdants. N'est-ce pas ? Vous avez donc évoqué tous ces domaines dans lesquels l'IA offre un réel avantage. Et une nouveauté particulièrement intéressante vient de faire son apparition : Microsoft Security Copilot, un assistant IA basé sur GPT-4 dédié aux tâches de cybersécurité. Il est capable d'effectuer certaines des choses que vous mentionnez, comme l'analyse de fragments de code. Et l'un des aspects qui m'enthousiasme vraiment est l'automatisation. En général, surtout pour les organisations de taille modeste, l'automatisation de certains processus de sécurité peut s'avérer longue et coûteuse. Cet outil semble pouvoir offrir un avantage considérable à ce type d'organisations, en intégrant des étapes d'automatisation dans leurs analyses, leurs processus de rétro-ingénierie ou certaines tâches plus complexes.
Ce type de fonctionnalités me semble vraiment prometteur. Et encore une fois, il s'agit d'une technologie à usage général : aussi vite qu'ils peuvent créer des applications malveillantes, nous pouvons développer des applications défensives. Je pense que nous avons un léger avantage en termes de structures et de personnes qui travaillent de notre côté pour les concevoir.
Surber: C'est encourageant. J'apprécie cette perspective. Parlez-nous un peu, si vous le pouvez, de vos recherches sur le potentiel de weaponisation de l'IA.
Jackson: Une partie de mes recherches passées s'est penchée sur cette question offensive-défensive que vous avez soulevée précédemment. J'ai essayé de faire une modélisation mathématique de base sur la façon dont l'IA pourrait avoir un Impact sur différents domaines de la cybersécurité, comme la capacité à exploiter les vulnérabilités de Patch. Le phishing. Actuellement, j'ai plutôt orienté mes travaux vers l'utilisation de l'apprentissage par renforcement pour la cyberdéfense autonome. Il s'agit donc, encore une fois, de donner aux défenseurs les outils nécessaires pour renforcer la cybersécurité et nous donner un avantage. C'est mon objectif principal en ce moment.
Surber : Vous venez de soulever un point très intéressant dans mon esprit, celui de l'utilisation de l'IA à des fins pédagogiques. Pour les examens de certification, il y a longtemps, ils ont adopté un modèle plus interactif — au fur et à mesure que vous répondez aux questions, certaines sections sont ignorées. Existe-t-il un espace, non seulement pour la formation en cybersécurité, mais pour la formation en général, où les étudiants pourraient interagir avec une IA pour apprendre plus vite, de manière plus efficace et plus complète que ce qu'ils obtiennent des manuels scolaires ou en cherchant sur Wikipedia — ce qu'ils ne sont certainement pas censés faire.
Jackson : Oui, tout à fait. Je pense que l'une des choses vraiment intéressantes dans ce moment GPT que nous vivons en ce moment, c'est que nous nous concentrons sur tous ces petits sous-domaines, ou des exemples de choses comme, oui, cela pourrait rendre le comportement des adversaires meilleur ou pire, etc. Mais je pense qu'il y a une question plus large : comment ces modèles vont-ils transformer notre approche de l'éducation ? Comment vont-ils changer notre façon d'envisager la cybersécurité dans son ensemble ? Cela nous pousse à repenser bon nombre de ces questions, non seulement sous l'angle de leur capacité à améliorer l'apprentissage et la progression dans le parcours éducatif, mais aussi en révélant que beaucoup de pratiques dans le domaine de l'éducation ne sont peut-être pas aussi efficaces, ou ne pourront pas maintenir les standards que nous avions auparavant. Nous avons vu de nombreux articles, et autant que j'en ai lu sur les usages malveillants, j'en ai vu sur la triche chez les étudiants. Je pense qu'environ la moitié des étudiants utilisent désormais GPT d'une façon ou d'une autre. Cela nous amène à engager une réflexion plus large sur le rôle de ces modèles dans la société et dans la vie quotidienne. Il nous faudra sans aucun doute repenser certaines de ces choses.
Surber: C'est un sujet majeur. C'est d'ailleurs l'une des premières choses à laquelle j'ai pensé lorsque j'ai commencé à explorer et à utiliser ChatGPT pour générer du texte — « Allez, écris-moi cette histoire. Donne-moi cette idée. » Lorsque je me suis penché sur les aspects techniques, j'ai trouvé que l'utilité était moyenne. Mais la capacité à générer du texte unique était son point fort, ce qui m'a amené à me demander : « Est-ce que cela va devenir un moyen de contourner les détecteurs de plagiat, ou les enseignants pourront-ils à l'avenir soumettre le texte d'un étudiant à ChatGPT pour vérifier s'il a été créé par ChatGPT ou un autre bot ? » Est-ce que cela serait même envisageable ? Des questions pertinentes.
Jackson : Oui, tout à fait. À ma connaissance, ce n'est pas possible pour l'instant. Mais je pourrais tout à fait imaginer des applications spécifiques à cet effet qui gagneraient en popularité à l'avenir, notamment si cela devient un problème plus important dans le domaine de l'éducation.
Surber: Quelle est votre vision pour, disons, les cinq prochaines années ?
Jackson: Cette technologie en est encore à ses débuts. Nous avons une vision très étroite de ce qu'elle fait en ce moment. Mais nous souhaitons rester créatifs et optimistes. Je pense que c'est ainsi que certaines de ces IA génératives vont finir par nous être les plus utiles. Je n'ai malheureusement pas de réponses précises à cette question, mais je pense que cela aura des Impacts considérables sur ce que les gens créent. C'est ce qui m'enthousiasme le plus pour les cinq prochaines années et au-delà.
Surber: J'espérais que vous nous donniez des prédictions concrètes que nous pourrions vous rappeler, mais je ne vous en tiens pas rigueur. Tout évolue bien trop vite pour cela. Alors que nous approchons de la fin, y a-t-il autre chose que vous souhaiteriez partager avec nous et que je n'ai pas encore abordé ?
Jackson: Je dirais, en guise de dernier mot de mise en garde — un point qui ne reçoit peut-être pas suffisamment d'attention — que j'espère sincèrement que, aussi remarquable que soit cette IA générative, nous ne la laisserons pas remplacer la prise de décision humaine. J'y ai fait allusion : nous l'intégrons dans de nombreux systèmes, et la dernière chose que nous souhaitons, c'est de nous appuyer à ce point sur la technologie et sur l'engouement qu'elle suscite, au point d'oublier qu'elle n'est entraînée que sur les informations qui lui ont été fournies et qui existaient déjà. Certaines informations sur Internet sont fiables, d'autres sont de mauvaise qualité, et nous devons accorder une grande importance à la pensée critique. Plus que jamais, alors que nous apprenons à utiliser cette technologie et souhaitons évoluer.
Surber: Paroles sages, paroles sages. On ne peut pas remplacer les humains, même si parfois on le souhaiterait. Et donc j'aime ça, j'aime cette perspective. Je pense que ChatGPT et d'autres bots IA peuvent faire beaucoup de choses pour faciliter la vie, faciliter le travail, et j'espère ne pas faciliter les études, mais en fin de compte, la créativité humaine est quelque chose que nous ne pourrons pas reproduire avec l'IA, du moins pas dans un avenir proche. Merci beaucoup, Krystal. C'est très apprécié.
J'ai eu aujourd'hui une conversation avec Krystal Jackson, chercheuse junior en IA au Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown.
Si vous souhaitez en savoir plus sur ChatGPT, consultez Focal Point, le magazine en ligne de cybersécurité de Tanium. Vous trouverez des liens vers plusieurs articles dans les notes de l'émission, ou rendez-vous sur tanium.com. Pensez à vous abonner à Let's Converge sur votre application de podcast préférée. Si cet épisode vous a plu, n'hésitez pas à nous attribuer une note de cinq étoiles.
Merci de votre écoute. Nous avons hâte de partager de nouvelles perspectives cyber lors du prochain épisode de Let's Converge.
