Imaginez que vous appreniez à un adolescent à conduire (ça fait peur, n'est-ce pas ?). Vous expliquez le code de la route, mais ce sont les expériences vécues au volant qui constituent les véritables leçons : freiner trop tard à un panneau « Stop » provoque un sursaut de peur, tandis que prendre un virage en douceur suscite un signe de tête approbateur (ou un soupir de soulagement). Au fil du temps, le conducteur apprend par essais, erreurs et récompenses.
C'est en substance ainsi que fonctionne l'apprentissage par renforcement. Il s'agit d'un type d'apprentissage automatique de type « » dans lequel le système apprend en effectuant des actions et en recevant des retours d'information — tant positifs que négatifs — en fonction des résultats obtenus. Par exemple, un système d'apprentissage par renforcement pourrait apprendre à jouer à un jeu vidéo en gagnant des points pour les bons coups et en en perdant pour les mauvais.
L'apprentissage par renforcement ne s'est pas encore vraiment imposé dans le milieu de la cybersécurité, mais les experts estiment qu'il mérite d'être exploré, compte tenu de son potentiel à aider les systèmes à décider de manière adaptative et en temps réel de la marche à suivre face à des situations inconnues . Les attaques peuvent évoluer trop rapidement pour que les défenses basées sur les signatures puissent suivre le rythme, et les modèles traditionnels d'apprentissage automatique s'appuient sur des données historiques qui sont souvent insuffisantes, obsolètes ou biaisées.
« L’apprentissage par renforcement est différent : il s’agit d’apprendre à partir d’informations évaluatives qui peuvent prendre la forme d’une récompense ou d’une pénalité », explique Andrew Barto, professeur émérite d’informatique à l’université du Massachusetts à Amherst et auteur de * * , *Reinforcement Learning: An Introduction*et **. « Le système effectue une action et reçoit en retour une note, qu’il s’efforce de maximiser. »
«[Un système d’apprentissage par renforcement] effectue une action et reçoit un retour d’information sous la forme d’un score, qu’il s’efforce de maximiser. » »Andrew Barto, professeur émérite d'informatique à l'université du Massachusetts à Amherst
Si l'apprentissage par renforcement venait à s'imposer — ce qui, compte tenu des budgets de sécurité restreints et des incertitudes économiques générales actuelles, reste très hypothétique —, ses partisans estiment qu'il pourrait marquer le début d'une nouvelle ère en matière de cyberhygiène . En automatisant les tâches routinières et répétitives qui constituent les fondements de l’hygiène informatique (telles que les analyses du trafic réseau, les analyses de recherche de logiciels malveillants et la gestion des correctifs , entre autres), les équipes de sécurité pourront se consacrer à des problèmes plus complexes et défendre plus efficacement les réseaux informatiques grâce à davantage de données en temps réel.
Les avantages de l'apprentissage par renforcement dans le domaine de la sécurité
La cybersécurité se déroule rarement comme dans les manuels. Les pirates inventent sans cesse de nouvelles astuces, et les systèmes de défense formés uniquement à partir de données historiques — comme les tentatives de phishing d’hier sur , les signatures de logiciels malveillants connues ou les analyses de vulnérabilité de l’année dernière sur — peuvent avoir du mal à suivre le rythme. Ces modèles traditionnels d’apprentissage automatique peuvent être soit supervisés (le modèle apprend à partir de données étiquetées pour lesquelles les réponses correctes sont déjà connues, comme des images portant la mention « chat » ou « chien »), soit non supervisés, le modèle identifiant alors des groupes ou des tendances dans des données non étiquetées (comme le regroupement de clients présentant des habitudes d’achat similaires).
«L’apprentissage par renforcement est une solution au problème de rareté des données auquel nous sommes souvent confrontés dans le domaine de la sécurité. » »Christoph Landolt, doctorant, CISPA – Centre Helmholtz pour la sécurité de l'information
En revanche, une méthode aide les systèmes à déterminer la marche à suivre dans des situations qu’ils n’ont jamais rencontrées auparavant. Pour mettre en œuvre une méthode d'apprentissage par renforcement, l'équipe de cybersécurité forme un agent d'IA — un programme capable de prendre des décisions de manière autonome — afin qu'il identifie les menaces et adapte ses réponses au fil du temps. Les ingénieurs soumettent à l'agent des scénarios d'attaque simulés, en lui attribuant un bon score pour les actions qui renforcent les défenses et en le pénalisant pour celles qui ne le font pas, jusqu'à ce qu'il apprenne à réagir efficacement aux menaces réelles.
Trouver suffisamment de données — ou les données adéquates — pour certaines techniques d’apprentissage automatique constitue souvent un défi, fait remarquer Anupam Joshi, vice-recteur et directeur de l’IA à l’Université du Maryland, comté de Baltimore. « Il n'est pas facile de disposer de données, et celles-ci ont tendance à être très rétrospectives », explique-t-il.
C'est là qu'un système d'apprentissage par renforcement peut s'avérer plus efficace, en déterminant les actions à entreprendre en attaque ou en défense, même lorsqu'il ne dispose pas, au départ, de données parfaites, ajoute M. Joshi. La boucle de rétroaction — récompense ou pénalité — remplace les ensembles de données étiquetés dont dépend l'apprentissage supervisé. En d’autres termes, l’apprentissage par renforcement ne se contente pas de classer l’e-mail de hameçage comme malveillant ; il est capable d’apprendre comment réagir lorsqu’il rencontre un schéma suspect qu’il n’a jamais vu auparavant.
Un autre atout de l’apprentissage par renforcement réside dans sa capacité à s’entraîner dans des environnements simulés et sécurisés avant même d’être déployé sur des systèmes réels — ce qui revêt une importance particulière dans le domaine de la cybersécurité, car les organisations ne peuvent se permettre de commettre des erreurs sur des réseaux en production qui pourraient mettre hors service des infrastructures critiques, explique Christoph Landolt, doctorant au Centre Helmholtz pour la sécurité de l’information (CISPA).
« L’apprentissage par renforcement est une solution au problème de rareté des données auquel nous sommes souvent confrontés dans le domaine de la sécurité », déclare-t-il. « Il vaut mieux éviter d’entraîner les modèles à partir de données sensibles et confidentielles relatives aux menaces, mais vous pouvez créer des simulations qui aident les modèles à apprendre comment réagir. »
Cela signifie que les organisations peuvent créer des environnements d’attaque synthétiques, tels que des simulations de « red team » (dans lesquelles des hackers éthiques reproduisent des attaques réelles), des tests de résistance de type « » (qui inondent les systèmes de trafic pour tester leur résilience) ou encore des « sandboxes » dédiées aux ransomwares (laboratoires isolés permettant d’étudier les logiciels malveillants en toute sécurité) — où les agents d’apprentissage par renforcement peuvent s’entraîner à réagir, échouer sans risque et s’améliorer, ajoute M. Joshi. Pour les menaces trop rares pour figurer dans les ensembles de données d'entraînement issus du monde réel, telles que les menaces persistantes avancées ou les exploits « zero-day » de type « », ces environnements permettent aux organisations de se préparer sans attendre que le pire scénario se produise.
Les inconvénients de l'apprentissage par renforcement
La réalité, bien sûr, est plus complexe que la simulation. Landolt met en garde contre le « fossé entre la simulation et la réalité », dans lequel des modèles qui donnent d'excellents résultats dans un environnement contrôlé peuvent rencontrer des difficultés en conditions réelles lorsque les conditions du réseau ou les comportements des attaquants diffèrent.
Lorsque l'équipe de Barto a entraîné un agent d'apprentissage par renforcement à piloter une voiture de course simulée sur un circuit, par exemple, le système a découvert qu'en percutant le mur à pleine vitesse, il pouvait pivoter et terminer la course plus rapidement. « C'était manifestement un mauvais signal de récompense », déclare Barto. « Nous avons vu cela et nous nous sommes dit : “Oh, ce n’est pas ce que nous voulons.” »
Dans un contexte de sécurité, une telle issue pourrait s'avérer désastreuse. Selon M. Joshi, un système d’apprentissage par renforcement mal conçu pourrait apprendre à bloquer le ransomware en arrêtant de manière agressive des processus légitimes, ou empêcher les intrusions en restreignant de manière excessive l’activité normale des utilisateurs. Si rien n'est fait, la solution proposée par le système pourrait finir par engendrer des problèmes aussi graves que l'attaque elle-même.
Même si l'apprentissage par renforcement semble prometteur, il a un coût. Contrairement à l'apprentissage automatique traditionnel, l'apprentissage par renforcement doit gérer d'énormes quantités d'informations : chaque état possible d'un réseau et chaque action qu'un système pourrait entreprendre en réponse. « Cela représente très vite une charge de calcul considérable », explique M. Joshi. Le défi ne réside pas seulement dans l'entraînement des modèles ; il s'agit surtout de gérer l'immense complexité des choix et des résultats. Pour les organisations, cela signifie que l'apprentissage par renforcement nécessite d'importants investissements en infrastructures et une planification minutieuse avant de pouvoir apporter une réelle valeur ajoutée.
L'avenir de l'apprentissage par renforcement
L'apprentissage par renforcement reste aujourd'hui largement expérimental dans le domaine de la cybersécurité, explique M. Landolt, mais ses applications futures recèlent un potentiel considérable.
«L’apprentissage par renforcement n’est pas un sujet auquel on pense spontanément lorsqu’on évoque les [grands modèles linguistiques] actuels. »Anupam Joshi, vice-recteur et directeur de l'intelligence artificielle à l'Université du Maryland, comté de Baltimore
Les entreprises disposant d’un accès à leurs propres données de visibilité et de vulnérabilité en temps réel pourraient entraîner un agent d’apprentissage par renforcement à partir de ces données afin de définir les séquences de bonnes pratiques et le calendrier pour l’application de correctifs sur des milliers de leurs ordinateurs, tablettes et autres terminaux.
M. Landolt voit un potentiel prometteur dans des domaines tels que les technologies de leurre — par exemple, le déploiement de « honeypots » qui incitent les attaquants à interagir avec de faux systèmes pendant que les défenseurs recueillent des renseignements. Les agents d'apprentissage par renforcement pourraient apprendre à placer et à adapter au mieux ces leurres en temps réel. Un autre domaine prometteur est celui de la défense contre les cibles mobiles, où les systèmes se reconfigurent en permanence, de sorte que les attaquants se retrouvent confrontés à un environnement en constante évolution.
M. Landolt souligne également que les attaques ciblées constituent un domaine dans lequel l'apprentissage par renforcement pourrait faire ses preuves. En simulant des mouvements latéraux d’ s au sein des réseaux — tels que le passage d’un service web à une base de données —, les agents d’apprentissage par renforcement pourraient s’entraîner à se défendre contre des adversaires cherchant à s’emparer des actifs les plus précieux. M. Joshi ajoute que les organisations pourraient, à terme, opposer des agents d'apprentissage par renforcement à des agents offensifs dans des jeux à deux joueurs de type « équipe rouge contre équipe bleue », permettant ainsi aux deux camps d'apprendre et de s'améliorer ensemble.
D'un autre côté, les attaquants peuvent eux aussi recourir à l'apprentissage par renforcement. Landolt met en garde contre le fait que des adversaires pourraient manipuler directement les agents d'apprentissage par renforcement en corrompant leurs signaux de récompense ou en leur présentant des observations trompeuses. Un agent de détection de logiciels malveillants, par exemple, pourrait être amené à ignorer du trafic malveillant, voire à mener des actions destructrices à l'encontre de fichiers légitimes. À l'instar des incidents traditionnels d'empoisonnement des données d' , dans lesquels des acteurs malveillants ciblent les données d'entraînement fournies aux grands modèles linguistiques, les entreprises auraient tout intérêt à limiter les droits d'accès aux agents d'apprentissage par renforcement et à utiliser une liste des composants logiciels (SBOM) permettant de suivre les composants présents dans les produits logiciels.
Cette double facette « bon gars/mauvais gars » met en évidence pourquoi les organisations ne peuvent ignorer l'évolution de l'apprentissage par renforcement. « Les attaques gagneront en rapidité grâce à l'IA », déclare M. Landolt. Pour les responsables de la sécurité, garder une longueur d'avance implique non seulement de se préparer à déployer l'apprentissage par renforcement de manière responsable, mais aussi d'anticiper la manière dont des adversaires pourraient s'en servir à des fins malveillantes.
La communauté dans son ensemble mise déjà gros. La société xAI d’Elon Musk, par exemple, a consacré 10 fois plus de puissance de calcul à l’apprentissage par renforcement pour son modèle Grok 4 que pour Grok 3—a , ce qui montre à quel point l’apprentissage par renforcement est devenu essentiel pour améliorer les performances de l’IA. À mesure que les laboratoires d'IA du monde entier y consacrent des ressources, ses techniques gagneront rapidement en maturité, pour finir par s'appliquer au domaine de la cybersécurité.
« L’apprentissage par renforcement n’est pas un sujet auquel on pense spontanément lorsqu’on évoque les [grands modèles linguistiques] actuels », explique M. Joshi. « Le simple fait d’avoir conscience qu’il existe cette autre façon de faire, particulièrement utile pour apprendre et évoluer au fil du temps, est en soi une chose qui en vaut la peine. »
