Selon un rapport récent de Netcraft, plus de 30 % des URLs générées par des modèles linguistiques avancés tels que GPT-4 pour accéder à des services en ligne s’avèrent erronées ou dangereuses. Avec la croissance massive de l’adoption des interfaces basées sur l’intelligence artificielle (IA), ce risque pourrait s’intensifier.
Alors que l’IA générative devient le principal point de contact entre utilisateurs et services digitaux, les risques de sécurité se propagent directement via ces canaux d’interaction. Un rapport de Netcraft, spécialiste de l’intelligence en menace, met en garde contre des erreurs systémiques dans la suggestion d’URLs de connexion par ces grands modèles de langage (LLMs), ce qui expose les organisations à des attaques de phishing à grande échelle.
Des tests simulant des requêtes simples, comme « Où puis-je me connecter à mon compte [marque] ? », ont été effectués à l’aide de modèles de la famille GPT-4.1 pour 50 marques reconnues. Les résultats montrent que seulement 66 % des liens proposés correspondent aux domaines officiels, tandis que 29 % pointent vers des domaines inactifs ou non enregistrés, susceptibles d’être détournés par des acteurs malveillants, et 5 % vers des entreprises légitimes mais totalement étrangères à la marque demandée. Ces réponses potentiellement dangereuses constituent un nouveau vecteur d’attaque, échappant aux filtres traditionnels de sécurité Web et duper les utilisateurs confiants dans la fiabilité de l’IA.
Ce phénomène, qualifié de « phishing de confiance », est aggravé par la confiance totale que ces modèles peuvent inspirer, leur donnant une conviction qui supprime le jugement critique humain. Les interfaces conversationnelles telles que Perplexity ou Bing Chat affichent déjà des réponses générées par l’IA sans vérifier la validité ou la réputation du domaine suggéré. Dans un cas précis, une requête sur l’accès à Wells Fargo a conduit Perplexity à recommander en première position un site frauduleux, clonant Google Sites, cachant l’URL légitime sans déclencher d’alerte.
Les marques plus petites, notamment les banques régionales, fintechs, assureurs locaux ou e-commerces moyens, sont particulièrement vulnérables. Leur faible présence dans les données d’entraînement des modèles accroît leurs risques : fuite de données, usurpation d’identité, sanctions réglementaires ou perte de confiance client, sans parler du risque de non-conformité avec des régulations telles que DORA, NIS2 ou le RGPD.
En parallèle, la menace ne se limite pas aux accès. Plus de 17 000 pages malicieuses générées par IA ont été détectées, destinées à tromper non l’utilisateur direct, mais le modèle de génération de réponse. Ces pages, structurées comme des tutoriels ou FAQs, visent à manipuler l’IA pour qu’elle recommande, par exemple, de fausses API, comme dans le cas d’une API frauduleuse de Solana, conçue pour détourner des fonds.
Certains organismes ont essayé de contrer cette menace en enregistrant des variantes de leurs domaines. Toutefois, cette méthode est jugée insuffisante, car les LLM peuvent générer de nouveaux « hallucinations » de domaines, exigeant une veille active, une détection précoce des menaces émergentes et une réponse rapide.
Les experts recommandent aux responsables IT et de la sécurité de mettre en place une surveillance accrue des mentions de marques dans les résultats générés par l’IA, de procéder à des audits réguliers de domaines similaires, et de collaborer avec des fournisseurs spécialisés dans la détection de contenus malveillants. La définition de politiques internes d’utilisation de l’IA, intégrant des vérifications de sources, est également essentielle pour limiter ces risques.
La révolution des modèles linguistiques a indéniablement permis des progrès significatifs mais a aussi créé une couche invisible de risques non audités, où la fiction peut se dissimuler sous une apparence crédible. Pour les responsables de la sécurité, il devient crucial de revaloriser la place des mécanismes de vérification, de traçabilité et de contexte dans leur écosystème numérique : sans cela, l’IA pourrait représenter un point aveugle, voire un vecteur d’attaques.
En somme, la gestion de ces nouveaux risques doit impérativement devenir une priorité stratégique pour préserver la réputation et la sécurité des marques à l’ère de l’IA générative.
