Leo pensait avoir trouvé un raccourci incroyable vers le développement de logiciels.
Plus tôt cette année, Leonel Acevedo, fondateur d’une startup de logiciels marketing de génération principale et d’un codeur débutant, a lancé une application SaaS (logiciel en tant que service) entièrement écrite avec l’ IA. Il n’a jamais touché directement le code lui-même. Au lieu de cela, il s’est appuyé sur des invites ou des instructions de branchement dans un outil d’IA et a laissé le système effectuer le travail. Ensuite, il a fièrement parlé au monde de son accomplissement dans un post sur X.
Grande erreur.
Deux jours plus tard, sa création était en cours d’agression. Les pirates informatiques ont optimisé ses clés d’interface de programmation d’applications (API), dépassant essentiellement le système qui contrôle la manière dont les applications communiquent les unes avec les autres. Ils ont contourné ses systèmes d’abonnement, qui sont destinés à bloquer toute personne qui n’est pas un utilisateur payant. Ils ont ensuite commencé à créer des entrées aléatoires dans sa base de données, montrant qu’ils pouvaient bricoler les données comme ils le souhaitaient.
« La moitié d’Internet essaie de briser mon application juste pour avoir partagé publiquement une erreur que j’ai commise », a écrit Acevedo, qui a rapidement arrêté l’application. « Vous savez ce qui est le pire ? Ils le font pour s’amuser. »
L’implosion était rapide et instructive.
Le codage Vibe, la pratique consistant à utiliser des modèles d’IA pour créer des applications complètes à partir d’ invites en langage naturel, est devenu un moyen courant de créer des logiciels. « La barre du codage est désormais plus basse que jamais », a déclaré le fondateur de Google Brain, Andrew Ng, lors d’une conférence lors de la conférence Build de Snowflake qui s’est tenue lundi. Mais les temps de développement rapides et les faibles coûts qui rendent le codage d’ambiance si séduisant créent également des risques en introduisant du code généré automatiquement et non examiné dans les pipelines avec peu ou pas d’examen de sécurité informatique. Par conséquent, de plus en plus d’individus et d’organisations sont destinés à utiliser des logiciels contenant un nombre record de problèmes qui pourraient entraver les opérations et les vulnérabilités que les pirates informatiques peuvent facilement découvrir et exploiter.
« Si vous êtes un bon codeur, vous pouvez obtenir beaucoup d’aide de l’IA parce que vous savez ce que vous recherchez et comment l’encourager », a déclaré Erlend Oftedal, directeur technique principal de RSA Conference (RSAC) Research couvrant AppSec. « Mais si vous êtes un mauvais codeur, cela ne fera qu’aggraver les choses car vous ne comprenez pas comment examiner ce que vous développez. Vous ne faites que ronger les choses. »
Codage Vibe : les bonnes ondes, les mauvaises et tout ce capital-risque
Bien que le terme de codage d’ambiance soit nouveau, récemment inventé par le chercheur en IA Andrej Karpathy et juste la semaine dernière , nommé le mot de l’année, la pratique de l’utilisation de l’IA pour guider la création de code ne l’est pas.
« La barre du codage est désormais plus basse que jamais. »Andrew Ng, fondateur de Google Brain
En fait, cela remonte au début de l’année 2010s, lorsque les chercheurs ont commencé à utiliser les réseaux neuronaux du machine learning, un logiciel modélisé sans réfléchir sur la manière dont le cerveau apprend, pour la réalisation du code et la synthèse des programmes. Cela a ouvert la voie à des outils tels que DeepCoder en 2016 et aux premiers modèles séquence-séquence de Google, et au début de 2020s, des systèmes tels que Codex d’OpenAI et GitHub Copilot apportaient le codage assisté par IA au grand public.
Vient désormais le dernier-né de cette longue poussée, avec des outils génératifs tels que ChatGPT, GitHub Copilot, Anthropic’s Claude et Cursor (ce qu’Acevedo a utilisé), rendant le codage encore plus rapide et plus facile, et plus attrayant pour les entreprises. L’année dernière, plus de 90 % des développeurs dans les moyennes et grandes entreprises ont reconnu utiliser l’IA pour générer du code, selon une enquête Checkmarx/Censuswide. Et 30 % à 40 % des organisations promeuvent désormais activement le codage d’ondes, selon une enquête GitHub de 2024 , probablement pour réduire les coûts et accélérer les cycles de vie de développement logiciel (SDL).
Pour être justes, les éditeurs de logiciels ont toujours expédié du code avant qu’il ne soit prêt à battre leurs concurrents sur le marché. Les nouveaux systèmes d’exploitation et applications contiennent notoirement de nombreux bugs opérationnels et de sécurité qui peuvent prendre des mois aux entreprises pour corriger et corriger. La pratique risquée d’application lente de correctifs est devenue endémique. Mais ce qui préoccupe les experts en sécurité maintenant, c’est que le codage assisté par l’IA puisse produire des vulnérabilités à une telle échelle que beaucoup ne seront jamais identifiés ou corrigés.
En fait, cela se produit déjà. Dans une étude récente de Veracode, 45 % de plus de 100 échantillons de code générés par l’IA ont testé des tests de sécurité ayant échoué et introduit des risques critiques pour la sécurité des applications Web.
De telles préoccupations n’empêchent pas les fournisseurs et les investisseurs de sauter sur le chemin du codage d’ondes. En fait, les startups d’outils de codage d’ondes ont récemment attiré un financement important en capital-risque, notamment le créateur de Curseurs Anysphere, qui a levé 900 millions USD, Replit, qui a obtenu 250 millions USD et Lovable, qui a levé 200 millions USD.
Bien qu’ils ne soient pas uniquement axés sur la sécurité, beaucoup de ces outils comprennent des fonctionnalités telles que l’analyse de sécurité, qui vérifie le code pour détecter les défauts exploitables, et la protection automatique des clés d’API, qui détecte et bloque les informations d’identification exposées avant qu’elles ne puissent être utilisées à mauvais escient. Cependant, ils ont tendance à cesser de détecter les problèmes plutôt que de valider si les protections sous-jacentes fonctionnent réellement.
Les plus grands preneurs de risques du codage Vibe
L’augmentation des nouveaux outils façonne également qui prend les plus grands risques avec le codage d’ambiance. Pieter Danhieux, cofondateur et PDG de Secure Code Warrior, a déclaré que les startups ont tendance à l’adopter de manière plus agressive, tandis que les entreprises s’en tiennent au codage assisté avec un humain qui examine toujours les résultats.
« Le codage d’une application contenant des données sensibles sans les compétences nécessaires pour la sécuriser est une recette de catastrophe. »Pieter Danhieux, cofondateur et PDG de Secure Code Warrior
« Je pense que le codage d’ondes est largement adopté dans les petites start-up où il y a un brillant fondateur technique qui veut avancer rapidement, et ils commencent essentiellement à créer des applications et à les déployer sans réellement les examiner », a déclaré Danhieux.
Les grandes entreprises, explique-t-il, sont plus prudentes. Leurs développeurs peuvent utiliser l’IA pour créer de petits morceaux de code réutilisables, mais ils vérifient toujours les résultats avant le déploiement.
Bien qu’il semble plus sûr, Danhieux a averti que ces contrôles ne pouvaient fournir qu’un faux sentiment de sécurité.
Selon Danhieux, les recherches menées par Secure Code Warrior ont révélé que 86 % des développeurs ne donnent pas la priorité au codage sécurisé, et que plusieurs outils LLM populaires ont du mal à résoudre les défis du codage sécurisé, en particulier ceux dans des catégories plus subjectives telles que l’authentification et la mauvaise configuration de la sécurité.
Les angles morts et les données sensibles du codage Vibe
Les types de langage et de vulnérabilité font la différence, a noté Danhieux. Les modèles ont tendance à détecter des erreurs simples telles que des erreurs d’orthographe dans le code ou des problèmes évidents qui suivent un schéma clair. Mais ils ont du mal à résoudre des problèmes plus profonds qui impliquent la manière dont un système est conçu, y compris si une application vérifie correctement qui est autorisé à faire quoi. Cela crée un angle mort car le code généré par l’IA peut sembler propre à la surface, mais contenir toujours des faiblesses qui mettent les utilisateurs en danger.
« C’est le danger. Vous obtenez un code qui semble convaincant, s’exécute en production et n’a jamais fait l’objet d’un examen approprié. Les bugs se cachent à la vue de tous. »Erlend Oftedal, directeur technique principal, RSA Conference (RSAC) Research
Cette même dynamique commence également à apparaître en dehors du développement d’applications, dans des modèles d’abus tels que VibeScamming, où des outils d’IA en langage naturel sont délibérément utilisés pour générer et itérer rapidement des pages d’hameçonnage et une infrastructure d’escroquerie qui semblent légitimes, mais contournent les signaux de confiance traditionnels.
Les développeurs avisés pourraient détecter de telles vulnérabilités cachées, mais les novices n’auraient probablement pas l’expérience ou l’intuition requise pour le faire, a déclaré Danhieux. Il signale un cas récent soulignant le risque. Au printemps dernier, une analyse complète de 1 645 projets créés sur la plateforme de codage IA de Lovable a permis de créer 303 endpoints vulnérables sur 170 applications construites avec l’outil, soit environ 10 % des projets analysés.
« Le codage d’une application contenant des données sensibles sans les compétences nécessaires pour la sécuriser est une recette de catastrophe », a-t-il déclaré.
La technologie actuellement disponible ne complique que les choses, car elle n’est pas encore à la hauteur de la tâche d’identifier les problèmes de sécurité, en particulier lorsque le code est généré en gros volumes. Les outils alimentés par l’IA peuvent bientôt aider à la détection, mais cela ne sera toujours pas suffisant, a déclaré Oftedal du RSAC.
« La plupart des entreprises pensent que leur gouvernance open source couvre l’IA, ce n’est pas le cas », a-t-il déclaré. « C’est le danger. Vous obtenez un code qui semble convaincant, s’exécute en production et n’a jamais fait l’objet d’un examen approprié. Les bugs se cachent à la vue de tous. »
Oftedal a noté que les développeurs eux-mêmes peuvent aider en incitant l’IA à écrire du code plus en toute sécurité ou à imiter les approches de sécurité adoptées par d’autres développeurs respectés. Ils peuvent également demander à l’IA d’exécuter certains outils pour vérifier leur travail avant de le déplacer, a-t-il déclaré.
Vibe check : les mesures que les PDG et les responsables de la sécurité doivent prendre maintenant
Pour les experts comme Danhieux et Oftedal, la voie à suivre commence par assurer la visibilité et la supervision.
« Une initiative fonctionnelle « sécurisée par la conception »... est l’antidote à la dette technique incontrôlée et aux mesures de sécurité coûteuses à un stade avancé. »Danhieux
Tout comme les chefs d’entreprise doivent connaître le vaste éventail d’ ordinateurs, de tablettes et d’autres endpoints sur leur réseau informatique, avec des données en temps réel sur les systèmes d’exploitation et les besoins de gestion des correctifs , les responsables de la sécurité de l’information doivent savoir quels modèles de codage IA leurs développeurs utilisent et définir des limites, ont-ils déclaré. Des modèles moins chers et plus anciens pourraient produire un code moins sécurisé, et sans surveillance, une nomenclature logicielle (SBOM), pour commencer, pour répertorier les composants d’une application et les dépendances tierces, les organisations n’ont souvent aucune idée de ce qui fonctionne dans leurs environnements.
« Peut-être allons-nous nous rendre dans une situation où il y aura des garde-fous pour les développeurs en disant, vous pouvez utiliser Claude version trois et supérieure, et vous pouvez utiliser ChatGPT-4 et supérieure, mais rien ci-dessous, car nous savons que le code en découlant sera non sécurisé », a déclaré Danhieux.
La formation des développeurs est l’autre moitié de l’équation. Ils doivent apprendre rapidement l’ingénierie et comment guider les modèles vers des résultats plus sûrs, tout comme les écrivains apprennent à mieux tirer parti de l’IA. Jusqu’à ce que les outils à l’échelle de l’entreprise puissent appliquer des politiques dans chaque environnement de développement intégré, la sensibilisation et la formation sont les freins.
[Lire également : Pourquoi les meilleures politiques d’IA commencent par l’éducation des employés]
Mais pour Danhieux, le principe directeur est sécurisé par la conception, ce qui signifie intégrer la sécurité dans les logiciels dès le début.
« Une initiative fonctionnelle « sécurisée par la conception », soutenue par des développeurs compétents en matière de sécurité, est l’antidote à la dette technique incontrôlée et aux mesures de sécurité coûteuses à un stade avancé », a-t-il déclaré. « Les acteurs malveillants ont déjà un avantage sur les équipes de sécurité d’entreprise, mais la hiérarchisation de la sécurité dès le stade le plus précoce du SDL peut aider à ramener la pendule en notre faveur. »
La préoccupation à plus long terme, a averti Danhieux, est que le codage d’ondes continuera à pousser la création de logiciels hors des pipelines de développement d’entreprise et dans les salons, entraînant plus de vulnérabilités qui pourraient étendre le paysage des menaces. Les développeurs professionnels ne sont peut-être pas parfaits, mais ils passent toujours par les vérifications requises. Les codeurs débutants ne le font pas, et à mesure que leur logiciel se propage, la surface d’attaque augmente et la confiance dans le système diminue.
Danhieux soutient qu’il est essentiel de combler cet écart avant que le problème ne s’étende encore plus. »Si nous ne résolvons pas ce problème de sécurité, je pense que nous allons être pires dans quelques années », a-t-il déclaré.
Oftedal a fait écho à l’urgence.
« Les bugs existent déjà », a-t-il déclaré. « Si vous n’y répondez pas maintenant, vous êtes déjà en retard. »
