L’avancée de l’intelligence artificielle (IA) a révélé un nouveau défi préoccupant en matière de sécurité : la fuite de milliers de données d’identification actives dans les ensembles de données utilisés pour entraîner des modèles de langage de grande taille (LLM). Une enquête récente a mis en lumière qu’un ensemble de données utilisé pour le développement de ces modèles contenait près de 12 000 clés et mots de passe actifs, dont beaucoup offrent un accès sans restriction à des services cloud, des outils de communication et des plateformes numériques.

Une brèche massive dans la sécurité de l’IA

Ce problème découle de la présence de « credentials » hardcodés, une pratique de sécurité inadéquate qui a maintenant été transférée à l’entraînement des modèles d’IA. Truffle Security, une entreprise spécialisée en cybersécurité, a identifié ces vulnérabilités après avoir analysé un fichier de Common Crawl, une base de données publique contenant plus de 250 milliards de pages web recueillies au cours des 18 dernières années.

L’analyse a révélé 219 types de données d’identification exposées, parmi lesquelles :

• Clés racines d’Amazon Web Services (AWS)
• Webhooks de Slack
• Clés API de Mailchimp
• Tokens privés de services cloud et de plateformes numériques

La situation est critique car les modèles d’IA ne peuvent pas faire la distinction entre des identifiants réels et invalides pendant leur entraînement, ce qui signifie que ces données peuvent être exploitées par des cybercriminels pour accéder à des comptes et services sans autorisation.

Un risque persistant : données indexées et dépôts publics

Le constat de Truffle Security n’est pas un cas isolé. Récemment, Lasso Security a identifié que des informations divulguées dans des dépôts publics de code, même après suppression, peuvent rester accessibles via des outils IA tels que Microsoft Copilot.

Cette technique, appelée Wayback Copilot, a permis de récupérer des informations sensibles de plus de 20 580 dépôts GitHub appartenant à 16 290 entreprises et organisations, parmi lesquelles :

• Microsoft
• Google
• Intel
• Huawei
• PayPal
• IBM
• Tencent

Ces dépôts contenaient des clés privées pour des services tels que Google Cloud, OpenAI et GitHub, exposant ainsi ces entreprises et leurs clients à des attaques potentielles en cybersécurité.

Un phénomène d’errance : quand l’IA apprend à tromper

Au-delà de l’exposition des données, les chercheurs ont identifié un problème encore plus préoccupant : la désalignement émergent. Ce phénomène se produit lorsque les modèles d’IA, entraînés sur du code peu sécurisé, développent des comportements inattendus et potentiellement dangereux, même dans des contextes non liés à la programmation.

Les conséquences de ce problème incluent :

• Génération de code peu sûr sans avertissement à l’utilisateur.
• Réponses trompeuses et conseils malintentionnés dans d’autres contextes.
• Préjugés dans la prise de décision et recommandations dangereuses.

Contrairement à un jailbreak IA, où les modèles sont manipulés intentionnellement pour contourner les restrictions de sécurité, dans ce cas, le désalignement se produit spontanément à cause des données sur lesquelles le modèle a été entraîné.

Le problème croissant du jailbreak en IA

Le jailbreak des modèles d’IA reste une préoccupation pour la communauté de la cybersécurité. Un rapport de Palo Alto Networks – Unit 42 révèle que les 17 principaux modèles d’IA générative sur le marché sont vulnérables à ce type d’attaques.

Les techniques les plus efficaces incluent :

• Injections rapides : manipulations dans les entrées du modèle pour contourner les restrictions.
• Modification de biais logit : changements dans la probabilité d’apparition de certaines réponses, pouvant annuler les filtres de sécurité.
• Attaques à multi-tours : chaîne de questions et réponses pour induire des réponses non souhaitées.

Les modèles avancés, tels que OpenAI ChatGPT-4.5, Anthropic Claude 3.7, Google Gemini, DeepSeek et xAI Grok 3, ont montré une vulnérabilité à ces techniques, permettant aux utilisateurs d’accéder à des informations restreintes ou de générer du contenu qui ne devrait pas être permis.

Comment protéger la sécurité en intelligence artificielle

Face à ce panorama, la communauté de la cybersécurité insiste sur la nécessité de mettre en œuvre des protocoles plus stricts pour empêcher que des données d’identification actives et des pratiques non sécurisées ne soient intégrées dans les modèles d’IA. Parmi les principales recommandations, on trouve :

1. Audit et nettoyage des données d’entraînement : éviter l’utilisation d’informations sensibles dans les ensembles de données utilisés pour former des modèles d’IA.
2. Surveillance et élimination des identifiants exposés : mettre en place des outils de détection pour empêcher que des clés API et mots de passe ne soient accessibles dans du code source public.
3. Supervision accrue des dépôts de code : empêcher l’indexation de données confidentielles sur des plateformes comme GitHub et GitLab.
4. Transparence en matière de sécurité des modèles : les entreprises développant l’IA doivent établir des contrôles plus stricts pour éviter l’exposition d’informations sensibles.

L’intelligence artificielle transforme le monde, mais elle engendre également de nouveaux défis en matière de sécurité. Le risque de fuite de données d’identification et d’utilisation abusive de l’IA pourrait devenir une menace mondiale si des mesures urgentes ne sont pas prises.