Résumé
ChatGPT a fait l'effet d'une bombe dans le monde entier lors de ses débuts en novembre dernier. Les politiciens sont perplexes, les scientifiques sont inquiets, et les consommateurs n'en ont toujours pas assez. Il y a quelque chose de surréaliste et d'inspiré de Willy Wonka dans tout cela. (Il convient de noter que Wonka n'était pas vraiment digne de confiance.) Nous demandons à une experte à quel point elle est inquiète sur une échelle de 1 à 10. Sa réponse vient sans hésitation.
ANIMATEUR : Shawn Surber, directeur principal de la gestion des comptes techniques, Tanium
INVITÉE : Krystal Jackson, chercheuse junior en IA, Centre pour la sécurité et les technologies émergentes, Université Georgetown
Pour en savoir plus sur ce sujet
Consultez ces articles dans Focal Point, le nouveau magazine en ligne de cybersécurité de Tanium, ainsi que deux alertes récentes sur ChatGPT de nos analystes en renseignement sur les cybermenaces (CTI).
- Peut-on réellement mettre l'IA en pause ? 1 100 Les experts (et, oui, Elon Musk) disent « oui »
- Oui, ChatGPT va turbocharger le piratage — et aider à le combattre aussi
- Récapitulatif CTI : Des hackers utilisent des leurres ChatGPT pour diffuser des logiciels malveillants sur Facebook
- Point sur le CTI : des acteurs malveillants exploitent ChatGPT
Transcription d'entretien
L'entretien suivant a été édité pour plus de clarté.
Krystal Jackson : Nous vivons définitivement ce moment GPT en ce moment. Et en tant que personne qui évolue dans le domaine de l'IA et qui est consciente de l'IA générative et de ses capacités depuis un certain temps, je n'ai pas vraiment compris au début pourquoi ce modèle, cette fois-ci, suscitait autant d'attention. Mais je pense vraiment qu'une partie de la réponse est qu'OpenAI a en quelque sorte trouvé la clé pour la partie chat de ChatGPT.
Shawn Surber : Il peut réussir des examens de niveau master, créer du code pour des sites web, et même rédiger la réplique de séduction parfaite simplement à partir de votre profil d'application de rencontres. Il peut également intensifier les cyberattaques, rendant beaucoup plus facile pour pratiquement n'importe qui de créer ses propres logiciels malveillants, e-mails de phishing et autres contenus dangereux.
Bonjour, je suis Shawn Surber, et aujourd'hui dans Let's Converge, nous parlons de ChatGPT — le battage médiatique et l'espoir.
Les gens sont obsédés par ChatGPT et d'autres nouveaux chatbots alimentés par l'intelligence artificielle [IA]. Ils sont aussi un peu effrayés. En fait, nous enregistrons ceci le jour où Elon Musk et le cofondateur d'Apple Steve Wozniak, ainsi qu'un groupe d'autres scientifiques éminents, ont publié une pétition appelant à une pause de six mois dans la course à l'IA. Ils affirment que les entreprises technologiques avancent trop vite et qu'elles déploient des technologies que nous ne comprenons pas entièrement.
Les craintes entourant ces chatbots ne sont pas sans fondement, mais voici où l'espoir intervient : le même outil qui peut être utilisé par des cybercriminels peut également alimenter une tempête de nouvelles technologies défensives pour protéger les entreprises, les agences gouvernementales et les organisations de toutes tailles.
Notre invitée aujourd'hui est Krystal Jackson, chercheuse junior en IA au Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown. Les recherches de Krystal portent sur l'avenir de l'IA militarisée et l'éthique de la technologie, ce qui me semble absolument fascinant. Bienvenue dans le podcast, Krystal.
Jackson: Merci beaucoup de me recevoir.
Surber: Absolument. Alors, une nouvelle étude est parue ce mois-ci sur les e-mails de phishing — vous savez, ces messages astucieux qui nous incitent à cliquer sur des liens dangereux et à télécharger des logiciels malveillants. Les chercheurs ont étudié 53 000 utilisateurs de messagerie dans plus de 100 pays et ont constaté que les e-mails de phishing créés par des humains généraient un taux de clics de 4,2%, tandis que les e-mails de ChatGPT n'obtenaient qu'un taux de clics d'environ 2,9%. Donc les humains sont encore meilleurs pour tromper d'autres humains. Je ne sais pas si c'est une raison de se réjouir ou non, mais devrions-nous nous sentir optimistes à ce sujet ? Aussi avancés que deviennent ces chatbots, les humains sont-ils encore meilleurs que les machines en matière de criminalité ?
Jackson : Oui, je pense que cette statistique est vraiment très éloquente. Vous savez, au cœur des arnaques et des messages d'hameçonnage se trouve l'intention de tromper. Et c'est quelque chose que je ne pense pas voir tout à fait encore avec ces premières itérations de chatbots en particulier. Il s'agit encore d'une technologie très généraliste destinée à générer des textes généraux, et donc cela ne me surprend pas complètement qu'ils ne soient pas aussi efficaces. Je pense qu'une partie de la préoccupation porte sur le volume, l'échelle et la quantité pure de messages d'hameçonnage que vous pourriez être en mesure d'envoyer. Mais l'aspect efficacité est certainement très important également.
Surber : Je suis d'accord, et je pense qu'il est en fait logique à ce stade que les red-teamers professionnels soient meilleurs pour générer des e-mails d'hameçonnage que des chatbots qui ne sont pas exactement conçus pour cela. Mais qu'en est-il du concept d'une IA au milieu, comme une attaque d'interception par chatbot ? Je ne suis probablement pas la première personne à l'appeler IA-au-milieu, mais je pense que je devrais quand même le déposer comme marque. Mais vous savez, quand vous allez sur un site web et qu'il apparaît en disant : « Hé, voulez-vous de l'aide ? » Qu'en est-il des acteurs malveillants utilisant quelque chose comme ChatGPT pour intercepter ces connexions et permettre à cette IA de répondre rapidement et efficacement tout en fournissant à la victime de mauvaises informations, de mauvais liens, et ainsi de suite ?
Jackson : C'est vraiment intéressant. Je pense qu'à bien des égards, c'est peut-être la direction que nous prenons en quelque sorte involontairement. Donc l'une des choses qui me préoccupe le plus est l'intégration de ChatGPT et de ces autres chatbots avec d'autres systèmes du monde réel. Il y a une très forte poussée en ce moment pour intégrer ChatGPT avec des systèmes qui vous permettent de réserver un vol ou de commander des courses. Très similaire à la façon dont Amazon Alexa vous aide à commander des choses également, mais pour l'ensemble d'internet. Je peux donc tout à fait imaginer quelque chose comme cela devenir une cible de choix pour les attaquants. Si chaque système de paiement non sécurisé et chaque site web se retrouve soudainement doté d'un chatbot capable de générer des logiciels malveillants et d'enchaîner des exploits de manière unique, il semble que nous ferions mieux d'assurer une sécurité très élevée de ces types de systèmes avant de commencer à les connecter. Et il est certain que des personnes peuvent s'emparer de ces systèmes et les utiliser comme armes. C'est définitivement quelque chose que je pense que nous devons surveiller à l'avenir.
Surber: J'ai en fait joué avec plusieurs de ceux qui sont disponibles maintenant. Ils sont efficaces pour les petites tâches, mais si vous essayez de leur faire écrire un programme entier, ils déraillent. Mais OpenAI a récemment lancé ChatGPT-4. Alors qu'est-ce qui est nouveau dans 4 et comment pensez-vous que cela va influencer les choses ?
Jackson: GPT-4 est définitivement plus grand et plus puissant à bien des égards. Parmi les points saillants, il est multimodal, ce qui signifie que vous pouvez désormais saisir des images ainsi que du texte. Il ne génère toujours pas d'images, mais cela lui offre définitivement un plus large éventail d'éléments qu'il peut absorber comme informations. Et il peut produire et ingérer de plus grandes quantités d'informations. Donc, pour revenir à votre point sur les capacités actuelles, il semble qu'il faille beaucoup solliciter ChatGPT pour qu'il assemble de petits morceaux de code afin de constituer ce qui ressemblerait à un logiciel malveillant complet. Avec GPT-4, cela ouvre vraiment la possibilité de produire de plus grands morceaux de code et de résumer de plus grands blocs de texte.
Pour replacer les choses dans leur contexte, GPT-3 utilisait environ 175 milliards de paramètres lors de son entraînement, et GPT-4 en utilise des billions, ce qui signifie qu'il est vraiment bien meilleur, d'un ordre de grandeur, pour accomplir ces tâches d'apprentissage, la résolution de problèmes complexes et les compétences en matière de traduction. Il est tout simplement meilleur dans ces domaines.
Surber: Est-il vrai que ChatGPT existe en quelque sorte dans une bulle temporelle, pour ainsi dire ? Il ne consulte que le contenu qui lui a été fourni dans le cadre de son entraînement ? Alors que je vois des choses comme les nouveaux robots IA de Microsoft et Google qui mettent en avant le fait qu'ils consultent le web en temps réel ?
Jackson: Oui, c'est définitivement l'une des limitations de certains de ces systèmes, et quelque chose que différents développeurs cherchent à résoudre de différentes manières. Il y avait donc des indications que, par exemple, pour certaines tâches de codage, ChatGPT semblait avoir une date limite. Il regardait manifestement certaines des plateformes populaires où vous pouviez tester vos compétences en codage et les télécharger pour les comparer à celles d'autres personnes. Et il y avait une coupure nette à, je crois, environ septembre 2021 ou vers cette période, où il n'était plus capable de rivaliser sur les nouveaux défis de codage, ce qui indiquerait que, vous savez, il n'avait tout simplement pas été entraîné sur ces données. Il fait donc quelque chose qui s'apparente davantage à un rappel d'informations qu'à une véritable créativité ou intelligence, d'une quelconque façon. Mais certains développeurs, comme vous l'avez mentionné, essaient d'y remédier en ayant un apprentissage continu, et je pense que c'est quelque chose de vraiment passionnant, mais c'est aussi quelque chose qui nous donne moins de contrôle sur les informations que ces modèles ont ou n'ont pas. C'est donc, vous savez, une considération supplémentaire.
Surber: Alors pourquoi pensez-vous que les gens sont si fixés sur ces chatbots d'IA ? Vous savez, tout le monde en parle, cela génère beaucoup d'enthousiasme, mais à votre avis, est-ce principalement du battage médiatique ou s'agit-il d'une étape significative dans l'évolution de notre interaction avec le monde numérique ?
Jackson: Je pense que c'est un peu des deux. Nous vivons définitivement ce moment GPT en ce moment, et en tant que quelqu'un qui a évolué dans le domaine de l'IA et qui était conscient de l'IA générative et de ses capacités depuis un certain temps, je n'ai pas tout à fait compris au début pourquoi ce modèle, cette fois-ci, suscitait autant d'attention. Mais je pense vraiment qu'une partie de la réponse est qu'OpenAI a en quelque sorte trouvé la clé pour la partie chat de ChatGPT. Pour moi, il est donc très conversationnel par nature. Il est capable de rassembler tous ces éléments d'information disparates que nous n'avions pas vraiment vus réunis de cette façon auparavant dans une interface vraiment agréable et facile à utiliser. Et c'est pour cette raison que vous souhaitez réellement l'utiliser. C'est engageant, c'est conversationnel. Donc pour moi, ce sont tous ces petits éléments qui en font vraiment le phénomène que nous observons en ce moment.
Surber: À ce stade, personne ne sait vraiment avec certitude ce que ces chatbots sont capables de faire, n'est-ce pas ? Alors sur quoi les dirigeants d'entreprise et les professionnels de la cybersécurité devraient-ils se concentrer ? Quels sont les domaines de préoccupation légitime ?
Jackson: C'est une très bonne question. Vous savez, il fait essentiellement trois choses très bien. Il s'agirait de combler le manque d'information. Il a donc le potentiel d'aider quelqu'un qui possède peut-être un niveau de connaissances plus faible et qui ne serait normalement pas en mesure de réaliser certaines de ces attaques plus sophistiquées, et de vraiment l'élever au rang d'un adversaire plus sophistiqué, en comblant ses lacunes sur différents sujets très rapidement et efficacement — bien plus que ce que permettrait simplement, vous savez, une recherche sur Google ou le suivi d'un cours.
La deuxième chose, c'est que cela aide vraiment à la génération et à l'automatisation de la production de code et de texte. Il y a quelques mois, nous avons vu ce groupe de recherche qui a été capable, avec un peu de sollicitation, d'amener la plateforme à créer un virus polymorphe, et celle-ci a généré du code pour tout, depuis l'injection de DLL [bibliothèque de liens dynamiques] jusqu'au code permettant de trouver et de chiffrer des fichiers. Nous avons donc pu clairement constater que cette capacité existe, mais il a fallu une équipe de chercheurs assez avancés pour parvenir à formuler les invites correctement, et ils ont bien rencontré les protections du chatbot, mais ils ont finalement réussi à les contourner.
Le troisième est quelque chose que je pense être à l'horizon, à savoir des modèles personnalisés par des organisations qui, peut-être, encore une fois, ne se soucient pas vraiment de la sûreté et de la sécurité, et qui pourraient vouloir créer, sur la base de choses comme ChatGPT, des modèles spécifiquement conçus pour le piratage et les activités malveillantes. Je pense donc que ce sont là certaines des choses qui, lorsqu'on les décompose de cette façon, donnent une idée plus claire de ce que sont les préoccupations. Et je pense que dans tous ces cas, nous disposons encore des outils nécessaires pour y faire face.
Surber: Alors, tout bien considéré, sur une échelle de 1 à 10, votre opinion professionnelle, 1 signifiant que vous êtes totalement serein, 10, que vous êtes vraiment paniqué, où en êtes-vous par rapport aux bots IA comme ChatGPT ?
Jackson: Je dirais que je suis peut-être à 4. Je ne vais pas en perdre le sommeil et je dirais que je suis plutôt enthousiaste. Il va y avoir une vague d'applications vraiment intéressantes qui vont émerger grâce à tout cela. Et bien que nous reconnaissions que nous avons beaucoup d'obstacles à surmonter pour en voir les véritables bénéfices, je suis assez confiant que nous pouvons y arriver.
Surber: Bien, bien. Ça me rend plus confiant. C'est donc une bonne chose. Vous savez, c'est intéressant, ce que je constate, c'est que ces IA sont vraiment douées pour les réponses rapides, l'analyse de massifs de données, ce genre de choses, ce qui me semble être d'une plus grande valeur pour les défenseurs que pour les attaquants. Vous savez, comme on dit, les attaquants n'ont besoin d'avoir raison qu'une seule fois, le défenseur doit avoir raison à chaque fois. Donc, être capable d'analyser votre environnement fermé de manière plus efficace, plus rapide et de rechercher des attaques malveillantes, je pense que l'IA présente une valeur vraiment intéressante à cet égard. Qu'en pensez-vous ? Pensez-vous que cela sera meilleur à long terme pour les défenseurs que pour les attaquants ?
Jackson: C'est une question vraiment intéressante. C'est définitivement une question à laquelle je pense tout le temps. Il est difficile de trancher dans un sens ou dans l'autre, mais je dois dire qu'en tant que défenseurs, nous ne sommes certainement pas perdants. N'est-ce pas ? Vous avez donc évoqué tous ces avantages que l'IA offre réellement. Et une chose vraiment intéressante qui vient d'apparaître et qui est nouvelle, c'est Microsoft Security Copilot, un nouvel assistant IA GPT-4 pour les tâches de cybersécurité. Il est capable de faire certaines des choses que vous mentionnez, comme analyser des extraits de code. Et vraiment, l'une des grandes choses qui m'enthousiasme est l'automatisation. Généralement, surtout si vous êtes une organisation de petite taille, automatiser certains de vos processus de sécurité peut être très chronophage et coûteux, et cela semble pouvoir donner un réel avantage à ce type d'organisations, en permettant à leurs analyses ou processus de rétro-ingénierie, ou à certaines choses un peu plus complexes, de bénéficier d'étapes d'automatisation tout au long du processus.
Et donc ce genre de fonctionnalités me semble vraiment passionnant. Et encore une fois, c'est une technologie à usage général, donc aussi rapidement qu'ils peuvent créer des applications malveillantes, nous pouvons créer des applications défensives. Je pense que nous avons un léger avantage en termes de structures et de personnes qui sont de notre côté pour essayer de les développer.
Surber: C'est bien. J'aime ça. Parlez-nous un peu, si vous le pouvez, de vos recherches sur le potentiel de militarisation de l'IA.
Jackson: Une partie de mes recherches passées s'est penchée sur cette question offensive-défensive que vous avez posée précédemment. J'ai essayé de faire une modélisation mathématique de base sur la façon dont l'IA pourrait avoir un impact sur différents domaines de la cybersécurité, comme la capacité à exploiter les vulnérabilités des correctifs. L'hameçonnage. Actuellement, je me suis plutôt orienté vers l'utilisation de l'apprentissage par renforcement pour la cyberdéfense autonome. Donc, encore une fois, donner aux défenseurs ces outils pour renforcer la cybersécurité et nous donner un avantage. C'est mon principal objectif en ce moment.
Surber: Vous venez de soulever un point vraiment intéressant dans mon esprit, l'utilisation de l'IA pour l'éducation. Pour les examens de certification, il y a longtemps, ils sont passés à un modèle plus interactif — au fur et à mesure que vous répondez correctement aux questions, il saute des sections de questions. Existe-t-il un espace non seulement pour l'éducation en cybersécurité, mais pour l'éducation en général, où les étudiants pourraient interagir avec une IA pour apprendre plus rapidement, plus efficacement, et vous savez, plus complètement qu'avec des manuels scolaires et en cherchant des informations sur Wikipédia — ce qu'ils ne sont certainement pas censés faire.
Jackson: Oui, absolument. Je pense que l'une des choses vraiment intéressantes dans ce moment GPT que nous vivons en ce moment, c'est que nous nous concentrons sur toutes ces petites sous-catégories, ou des exemples de choses comme, oui, cela pourrait rendre les comportements adversariaux meilleurs ou pires, etc. Mais je pense qu'il y a la question plus large de savoir comment ces modèles vont changer notre façon de faire l'éducation ? Comment vont-ils changer notre façon de penser la cybersécurité dans son ensemble ? Cela nous amène vraiment à repenser beaucoup de ces choses, vous savez, pas seulement dans le sens de, peut-il nous aider à mieux apprendre et à progresser dans l'éducation, mais aussi à découvrir que beaucoup de ce que nous faisons dans le domaine de l'éducation n'est peut-être pas aussi efficace ou ne pourra pas rester les standards que nous avions auparavant. Vous savez, nous avons vu tellement d'articles, autant que j'ai vu des articles sur les utilisations malveillantes, j'ai vu que des étudiants trichent. Je pense qu'environ la moitié des étudiants utilisent désormais GPT d'une façon ou d'une autre. Donc cela nous amène définitivement à avoir cette conversation plus large sur, quel est le rôle de ces modèles dans la société et dans la vie quotidienne ? Et nous allons définitivement devoir repenser certaines de ces choses.
Surber: C'est très important. En fait, c'était l'une des premières choses à laquelle je pensais lorsque j'ai commencé à explorer ici et que j'ai commencé à utiliser ChatGPT pour simplement générer du texte pour moi—'Hé, tu sais, écris cette histoire. Donne-moi cette idée.' Lorsque je me suis plongé dans des aspects techniques, je l'ai trouvé d'une utilité moyenne. Mais la capacité à générer du texte unique, il y était très habile, donc c'était ma première pensée—'Oh mon Dieu, est-ce que ça va essentiellement être un moyen de contourner les détecteurs de plagiat ou les enseignants pourront-ils à l'avenir soumettre le texte de l'étudiant à ChatGPT pour voir si c'est quelque chose que ChatGPT ou un autre bot a créé ? Est-ce que ce serait même possible ? Questions intéressantes.
Jackson: Oui, absolument. À ma connaissance, ce n'est pas possible pour l'instant. Mais je pourrais tout à fait voir des applications spécifiques pour cela devenir très populaires à l'avenir, surtout si cela devient un problème plus important dans le domaine de l'éducation.
Surber: Quelle est votre perspective pour, disons, les cinq prochaines années ?
Jackson: C'est vraiment les débuts de cette technologie en ce moment. Nous avons cette vision très myope de ce qu'elle fait en ce moment. Mais nous voulons rester créatifs, nous voulons rester optimistes. Je pense que c'est ainsi que certaines de ces IA génératives vont finir par nous servir le mieux. Donc je n'ai pas vraiment de réponses précises à cette question, malheureusement, mais je pense que ça va définitivement avoir d'énormes impacts sur le type de choses que les gens créent. C'est ce qui m'enthousiasme le plus, pour les cinq prochaines années et au-delà.
Surber: Eh bien, j'espérais que vous nous donneriez des prédictions précises que nous pourrions vous rappeler, mais je ne peux pas vous en vouloir pour ça. Tout évolue bien trop rapidement pour ça. Alors que nous approchons de la fin, y a-t-il autre chose que vous aimeriez partager avec nous et que je ne vous ai pas encore demandé ?
Jackson: Je suppose que la dernière chose que je dirais est comme un dernier mot de mise en garde, quelque chose qui ne fait peut-être pas assez parler de lui : j'espère vraiment que, aussi incroyable que soit toute cette IA générative, nous ne la laissions pas remplacer complètement la prise de décision humaine. Je l'ai suggéré auparavant, comme nous l'intégrons dans tous ces différents systèmes, et la dernière chose que nous voulons est de nous appuyer si lourdement sur la technologie et sur l'engouement que nous oublions qu'elle n'est entraînée que sur les informations qui lui ont été fournies et qui existaient déjà. Certaines informations sur internet sont bonnes, d'autres sont vraiment mauvaises, et nous devons accorder une grande importance à la pensée critique. Maintenant plus que jamais, alors que nous apprenons à utiliser cette technologie et souhaitons évoluer.
Surber: Des paroles sages, des paroles sages. On ne peut pas remplacer les humains, même si parfois nous le souhaiterions. Et donc j'aime ça, j'aime cette perspective. Il y a beaucoup de choses que je pense que ChatGPT et d'autres robots IA peuvent faire pour aider à faciliter la vie, faciliter le travail, et j'espère ne pas faciliter les études, mais en fin de compte, la créativité humaine est selon moi quelque chose que nous ne pouvons pas simplement reproduire avec l'IA, du moins pas dans un avenir proche. Merci beaucoup, Krystal. Je vous en suis vraiment reconnaissant.
J'ai discuté aujourd'hui avec Krystal Jackson, chercheuse junior en IA au Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown.
Si vous souhaitez en savoir plus sur ChatGPT, consultez Focal Point, le magazine en ligne de cybersécurité de Tanium. Nous avons des liens vers plusieurs articles dans les notes de l'émission, ou visitez simplement tanium.com. Assurez-vous de vous abonner à Let's Converge sur votre application de podcast préférée. Et si vous avez aimé cet épisode, veuillez nous donner cette note cinq étoiles.
Merci de nous avoir écoutés. Nous avons hâte de partager d'autres perspectives cyber lors du prochain épisode de Let's Converge.
