L’intelligence artificielle générative ne se limite pas à transformer la manière dont les entreprises programment, automatisent ou interagissent avec leurs clients. Elle modifie également la vitesse, l’ampleur et la nature des cyberattaques. Selon Gartner, quatre menaces doivent impérativement faire l’objet d’améliorations urgentes par les responsables de la cybersécurité : l’exploitation des applications d’IA, la falsification d’identité via deepfakes, l’injection d’instructions malveillantes (prompt injection) et les attaques sur la chaîne d’approvisionnement logicielle.

Ce diagnostic est crucial car il dépasse le simple bruit commercial entourant la sécurité liée à l’IA. Il ne s’agit pas simplement d’ajouter un nouvel outil au SOC ou de bloquer l’usage de ChatGPT en entreprise. La surface d’attaque s’étend désormais vers des applications génératives connectées à des données internes, des agents ayant la capacité d’agir, des réunions numériques où l’on ne peut plus toujours faire confiance à une voix ou une image, et des pipelines de développement de plus en plus dépendants de composants externes.

John Watts, vice-président analyste chez Gartner, résume la situation par une mise en garde claire : les initiatives de sécurité lancées par les entreprises à la frontière de l’IA produisent beaucoup de bruit dans un environnement déjà saturé. Pour les CISO, le défi est de distinguer le signal réel dans cet encombrement et de réagir aux changements du paysage des menaces avant que les attaquants ne prennent une avance décisive.

L’IA d’entreprise n’est plus une expérimentation isolée

La première menace identifiée par Gartner concerne l’exploitation des applications d’IA. Beaucoup d’entreprises ont rapidement fait passer leurs expérimentations avec des assistants génératifs à des déploiements d’outils internes, de copilotes, de chatbots d’entreprise ou d’agents connectés à des systèmes réels . Cette accélération comporte des avantages évidents mais ouvre également de nouvelles vulnérabilités.

Une application d’IA en entreprise peut accéder à des documents confidentiels, des tickets de support, des CRM, des bases de données, des dépôts de code, des calendriers, des plateformes d’automatisation ou des outils de ressources humaines. Si les permissions, connecteurs, identités ou flux de données ne sont pas strictement contrôlés, le modèle devient une couche de risque supplémentaire plutôt qu’une simple interface de service.

Gartner recommande aux équipes de sécurité d’étendre leur démarche au-delà de la protection logicielle traditionnelle. Il s’agit de cartographier la surface d’attaque créée par les modèles génératifs et les agents, d’appliquer des pratiques de cycle de vie sécurisé lors du développement des applications IA, de réaliser un modélisation des menaces spécifique et de renforcer la sécurité des données par classification, contrôle d’accès basé sur l’objectif et surveillance en temps réel.

L’idée fondamentale est simple : une application d’IA ne doit pas être considérée comme un simple chatbot décoratif si elle détient des données sensibles ou si elle peut exécuter des actions. Elle doit faire l’objet d’un pilotage, d’une traçabilité, de tests de sécurité et de limites claires sur ce qu’elle peut faire, pour qui et dans quel contexte.

Deepfakes et injection d’instruction : deux menaces qui sapent la confiance

La deuxième menace concerne la falsification d’identité via deepfakes. L’amélioration des modèles de synthèse vocale, vidéo et image facilite la création d’identités fictives plus abordables, plus rapides et plus convaincantes. Ce qui nécessitait auparavant des ressources avancées peut désormais être réalisé avec des outils accessibles et être exploité dans des fraudes, du phishing, des processus de recrutement, des vidéoconférences ou des attaques contre les systèmes biométriques.

Le danger ne se limite pas à un vidéo manipulé circulant sur les réseaux sociaux. En milieu professionnel, un attaquant peut simuler la voix d’un cadre, apparaître lors d’une réunion à distance avec une image synthétique, pousser un employé à autoriser un virement, ou tenter de contourner une vérification d’identité lors d’une opération digitale. La confiance basée sur l’audio-visuel, qui était pendant longtemps une part informelle de la sécurité d’entreprise, ne suffit plus.

Gartner avertit qu’aucun contrôle unique ne peut complètement éliminer la menace. Les détecteurs de deepfakes peuvent aider, mais doivent être couplés à des processus renforcés, une authentification forte, une analyse des métadonnées, des signaux contextuels et des procédures de double validation pour les opérations sensibles. La sécurité des réunions en ligne devra s’appuyer davantage sur une vérification d’identité vérifiée et moins sur la simple reconnaissance faciale à l’écran.

La troisième menace concerne l’injection d’instructions malveillantes (prompt injection). Elle touche directement les systèmes basés sur de grands modèles de langage. Un attaquant peut manipuler une entrée pour modifier le comportement du modèle, faire en sorte qu’il ignore certains instructions, révéler des informations confidentielles ou exécuter des actions non autorisées. Ce risque s’accroît lorsque le modèle peut lire des documents externes, naviguer sur le web, consulter des bases de données ou interagir avec des outils d’entreprise.

L’injection de prompt bouleverse une frontière classique. Dans une application traditionnelle, le code et les données sont séparés. Dans les modèles de langage de grande taille, une instruction malicieuse peut apparaître dans un document, un email, un ticket ou une page web que l’agent traite. Si le système n’est pas conçu adéquatement, le modèle peut l’interpréter comme faisant partie de sa tâche.

La réponse repose sur plusieurs couches : validation et nettoyage des entrées, tests spécifiques contre l’injection de prompt durant le développement, garde-fous en temps réel, surveillance des comportements anormaux et alertes lorsque le modèle agit de manière inattendue. Il faut partir du principe que le modèle peut être trompé, et que tout le système doit limiter la portée de cet échappatoire.

La chaîne d’approvisionnement logicielle devient encore plus sensible

La quatrième menace identifiée par Gartner concerne la chaîne d’approvisionnement logicielle. Le développement moderne repose sur des librairies open source, des images de conteneurs, des paquets externes, des pipelines CI/CD, des dépôts partagés, des modèles d’IA et des outils d’automatisation. Cette dépendance, déjà complexe avant l’ère de l’IA générative, devient encore plus vulnérable.

Les assistants de codage accélèrent la création de logiciels mais peuvent aussi introduire des dépendances malveillantes, recommander des paquets nuisibles ou vulnérables, reproduire des modèles faibles ou produire du code non vérifié. De plus, les agents de développement qui interagissent avec les systèmes de build, dépôts et déploiements multiplient les risques si leurs permissions ne sont pas strictement contrôlées.

Gartner recommande d’établir un inventaire complet des actifs logiciels et d’appliquer des contrôles à chaque étape du processus de développement. Parmi les mesures : exiger des fournisseurs des SBOM et AIBOM, évaluer les composants avant déploiement, utiliser des dépôts sécurisés pour le code, les conteneurs et les modèles IA, protéger les branches des dépôts, signer les artefacts lors de la construction, limiter les privilèges dans les systèmes de build et surveiller l’activité des agents en production.

L’approche AIBOM, en particulier, gagne en importance. Si le SBOM permet d’identifier quels composants logiciels sont utilisés, l’AIBOM vise à recenser modèles, datasets, dépendances et éléments IA employés dans un système. Sans cet inventaire, il devient difficile de répondre à des questions fondamentales : quel modèle est utilisé, avec quelles données, quels fournisseurs sont impliqués ou quels risques une mise à jour externe peut engendrer.

Le rôle du CISO : moins de bruit, plus de contrôle opérationnel

Les quatre menaces mises en avant par Gartner ont un point commun : elles érodent les fondements traditionnels de la sécurité d’entreprise. La séparation claire entre application et utilisateur, la reconnaissance visuelle, la stabilité d’une chaîne de dépendances ou la conformité à des instructions précises ne tiennent plus autant face à l’IA générative.

Cela ne signifie pas qu’il faille freiner l’adoption de l’IA. La productivité, l’automatisation et la transformation des processus sont trop cruciales. Cependant, cette adoption doit s’accompagner de contrôles conçus dès le départ, plutôt que d’ajouts après un pilote devenu en production.

Pour les équipes de sécurité, cela représente un changement à la fois culturel et technique. Il faudra renforcer la collaboration avec le développement, les équipes data, juridiques, achats et métiers. Il conviendra également de revoir les processus d’identité, la gouvernance des agents, la gestion des permissions, la création d’un inventaire des composants et la surveillance en temps réel. La cybersécurité de l’IA ne se limitera pas à une catégorie isolée ; elle devra traverser toute l’architecture technologique de l’organisation.

L’avertissement de Gartner est clair. Ces menaces ne relèvent pas d’un futur hypothétique : elles entrent déjà dans les applications, réunions, pipelines et flux de travail. Attendre qu’un incident survienne pour agir reviendra à laisser aux attaquants le temps de maîtriser leur art et d’exploiter l’IA pour aller plus vite qu’auparavant.

Questions fréquentes

Quelles sont les quatre principales menaces identifiées par Gartner ?
Gartner mentionne la compromission des applications d’IA, la falsification d’identité via deepfakes, l’injection de prompt malveillant et les attaques sur la chaîne d’approvisionnement logicielle.

Pourquoi les applications d’IA représentent-elles une nouvelle surface d’attaque ?
Parce qu’elles accèdent souvent à des données sensibles, des outils internes, des identifiants et des systèmes tiers. Si leur sécurité est faible, elles peuvent exposer des informations ou permettre des actions non autorisées.

Qu’est-ce que l’injection de prompt ?
C’est une technique qui manipule les entrées d’un modèle de langage pour en modifier le comportement, contourner des instructions ou révéler des données confidentielles.

Que doivent faire les entreprises pour réduire ces risques ?
Mettre en œuvre une sécurité dès la conception, réaliser un inventaire précis des composants, renforcer l’authentification et la gestion des accès, tester les applications d’IA contre l’injection de prompt, surveiller les deepfakes, et suivre en production les actions des agents et modèles.

source : Open Security