La sécurité de l’intelligence artificielle entre dans une nouvelle phase. Il ne suffit plus de simplement protéger le modèle ou de filtrer ses réponses : les agents peuvent exécuter du code, interroger des bases de données, accéder à des outils d’entreprise et agir avec des permissions réelles. Face à ce scénario, NVIDIA, Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Mistral, Red Hat, ainsi que de nombreuses autres entreprises ont créé la Open Secure AI Alliance, une initiative dédiée au développement d’outils ouverts pour la protection des modèles, des agents et des chaînes d’approvisionnement logiciel.

Les clés de l’Open Secure AI Alliance en 30 secondes

• Plus de 50 entreprises et organisations participent à cette nouvelle alliance.
• L’objectif est de construire une pile de défense ouverte pour les agents, modèles et logiciels.
• NVIDIA contribue avec NOOA, un framework pour tester, suivre et auditer les agents.
• L’initiative travaillera également sur l’identité numérique, l’isolation, les formats sécurisés et l’analyse des vulnérabilités.
• Le défi sera de transformer une coalition aussi large en normes interopérables et en projets réellement adoptés.

L’alliance part d’une conception technique concrète : un agent d’IA ne se limite pas à un modèle de langage. C’est un système constitué du modèle, du framework qui le contrôle, des outils qu’il peut appeler, des autorisations qu’il reçoit, des logs qu’il génère et des politiques qui encadrent son comportement.

Cet ensemble augmente la surface d’attaque. Une faille peut apparaître dans le modèle lui-même, mais aussi dans le cadre de contrôle de l’agent, lors d’un appel API, dans le système d’identification, un plugin, le format des poids ou une dépendance open source.

De la sécurité du modèle à celle de toute la stack

Au fil des années, une partie importante du débat s’est concentrée sur la question d’un modèle ouvert ou fermé. L’Open Secure AI Alliance cherche à faire évoluer la discussion vers une problématique plus pratique : quels contrôles sont nécessaires à un agent pour fonctionner en toute sécurité en production.

La réponse comporte plusieurs couches :

• Identités vérifiables pour les agents et services ;
• Permissions minimales ;
• Isolation des processus ;
• Traçabilité des actions ;
• Logs complets ;
• Formats de modèles sécurisés ;
• Analyse de code et détection de vulnérabilités ;
• Évaluation continue ;
• Contrôles sur les outils et connecteurs ;
• Protection de la chaîne d’approvisionnement.

Cette vision s’apparente davantage à la sécurité cloud ou à l’approche zero trust qu’aux méthodes traditionnelles de modération de modèles. Le problème ne se limite plus à ce que répond une IA, mais inclut aussi ce qu’elle peut faire lorsqu’elle a accès à des systèmes internes.

Un agent connecté à GitHub, SAP, Salesforce ou une base de données d’entreprise peut avoir un impact réel. Par conséquent, les mécanismes de sécurité doivent être intégrés à chaque étape : de l’authentification à l’enregistrement de chaque action.

Pourquoi l’alliance prône des outils ouverts

Les promoteurs de l’initiative soutiennent que les équipes de cybersécurité ont besoin d’outils qu’elles puissent inspecter, adapter et exécuter dans leur propre infrastructure.

Dans une audit forensique, par exemple, une entreprise peut manipuler des logs sensibles, du code propriétaire ou des données clients. Dépendre d’un service fermé et externe peut limiter l’analyse ou introduire des contraintes de confidentialité.

De plus, certains modèles commerciaux bloquent des tâches liées aux malwares, à l’exploitation ou à la rétro-ingénierie, car ils ne peuvent pas faire une distinction suffisante entre usage offensif et défensif. Ce type de restriction peut être compréhensible dans des services généraux, mais complique aussi le travail des équipes d’intervention en cas d’incident.

L’alliance défend que des modèles ouverts, déployables sur une infrastructure propriétaire, permettent :

• de personnaliser les politiques ;
• de garder les données au sein de l’organisation ;
• d’auditer le comportement ;
• d’adapter le système à un environnement spécifique ;
• d’éviter la dépendance à un seul fournisseur ;
• de réduire les points de défaillance communs.

Cela n’élimine pas tous les risques. Un modèle ouvert peut aussi être modifié pour supprimer des protections ou être utilisé à des fins offensives. La démarche du groupe ne consiste pas à ignorer ce problème, mais à combiner ouverture, évaluations, contrôles et processus correctifs.

NOOA, le framework NVIDIA pour des agents auditables

NVIDIA a présenté NVIDIA Labs Object-Oriented Agents, ou NOOA, comme l’une de ses premières contributions.

Ce projet vise à simplifier la définition d’un agent. Plutôt que de répartir l’état, les outils, les prompts et les capacités entre plusieurs fichiers ou composants, NOOA propose une structure orientée objet où ces éléments sont regroupés.

L’objectif est de faciliter :

• la vérification des outils disponibles pour l’agent ;
• le suivi du flux d’exécution ;
• l’enregistrement des décisions ;
• le test des comportements ;
• la limitation des capacités ;
• la revue des permissions utilisées.

Cette approche est utile car de nombreux frameworks d’agents ont évolué rapidement et ne fournissent pas toujours une vue claire de tout ce qui se passe lors d’une exécution. Dans un contexte professionnel, ce manque de transparence complique les audits, la conformité et la gestion des incidents.

NOOA reste un projet en développement, et sa vraie valeur dépendra de sa compatibilité avec différents modèles et plateformes, de la qualité de sa documentation et de l’adoption par les développeurs.

Identité, modèles sécurisés et scan multi-agents

L’alliance intègre des projets couvrant plusieurs couches de sécurité.

HPE contribue à l’écosystème SPIFFE et SPIRE, visant à fournir des identités cryptographiques pour les charges de travail et services. Appliqué aux agents IA, cela permettrait de vérifier quel composant a effectué une requête et s’il est autorisé.

Hugging Face propose Safetensors, un format de stockage de poids conçue pour réduire les risques liés à la sérialisation pouvant exécuter du code.

Microsoft travaille sur MDASH, un cadre coordonnant plusieurs agents spécialisés pour rechercher et valider les vulnérabilités. Cette approche multi-agents vise à améliorer l’analyse en utilisant des modèles qui examinent, discutent et vérifient les résultats des autres.

IBM et Red Hat contribuent avec des travaux sur les patchs signés numériquement et la sécurité de la chaîne d’approvisionnement. L’objectif est de garantir qu’une mise à jour provient d’une source légitime et qu’elle n’a pas été modifiée.

La combinaison montre que l’alliance ne se limite pas à un seul modèle de cybersécurité. Elle vise à construire une infrastructure de défense composée d’outils, de standards et de formats réutilisables.

Le défi de l’interopérabilité

La liste des membres est étoffée : NVIDIA, Adobe, Cisco, Cloudflare, CrowdStrike, Databricks, Dell, Elastic, Fortinet, GitHub, HPE, IBM, Microsoft, Mistral, NetApp, Nokia, Palantir, Palo Alto Networks, Red Hat, Salesforce, SAP, ServiceNow, Siemens, Snowflake, Synopsys, Uber, Zscaler, et bien d’autres.

Cette diversité apporte une expertise dans presque toutes les couches du stack, mais complique aussi la coordination.

Pour que l’initiative ait un réel impact, plusieurs questions doivent être résolues :

• quelles spécifications communes seront établies ;
• quels projets auront priorité ;
• comment seront gérés les dépôts open source ;
• quelles licences seront adoptées ;
• comment sera traitée la divulgation des vulnérabilités ;
• comment sera validée l’interopérabilité ;
• quels critères une interface doit remplir pour être considérée comme compatible.

Le risque est de finir avec une collection de projets indépendants sans architecture partagée. La sécurité des agents nécessite des composants capables de fonctionner ensemble, pas seulement des outils isolés.

Réponse à la croissance des agents autonomes

Le moment de l’annonce n’est pas fortuit.

Les entreprises passent des chatbots aux agents capables d’agir directement sur des systèmes réels. Cela introduit de nouveaux risques :

• injection de prompts ;
• escalade de privilèges ;
• abusage des outils ;
• exposition de secrets ;
• exécution de code ;
• manipulation des résultats ;
• usurpation d’identité d’agents ;
• accès latéral à des services internes.

Dans un tel environnement, les défenses classiques ne suffisent pas. Un pare-feu applicatif web ne comprend pas forcément la logique d’un agent. Un système d’identification traditionnel peut savoir qui est l’utilisateur, mais pas toujours quel agent agit en son nom.

L’alliance cherche à combler cette lacune avec des contrôles spécifiquement conçus pour des architectures basées sur des agents.

Les modèles ouverts et fermés coexisteront

L’Open Secure AI Alliance ne propose pas que tous les modèles soient ouverts.

Ses promoteurs défendent une combinaison des deux approches. Les modèles fermés peuvent offrir de meilleures performances, un support commercial et des contrôles gérés. Les modèles ouverts permettent l’inspection, le déploiement local et l’adaptation.

En cybersécurité, le choix dépendra de chaque cas d’usage.

Une entreprise peut utiliser un modèle commercial pour des tâches générales, tout en déployant un modèle ouvert dans son SOC pour analyser des données sensibles. Elle peut aussi combiner plusieurs modèles en leur attribuant des niveaux d’accès différents.

Cette approche multi-modèles réduit la dépendance à un seul fournisseur mais complexifie également la gestion. Chaque modèle possède ses propres capacités, politiques et risques, d’où l’importance accrue des cadres et contrôles.

La prochaine étape : démontrer des résultats

L’annonce réunit bon nombre des acteurs majeurs du secteur, mais le succès ne dépendra pas uniquement du nombre de logos présents.

L’alliance devra publier du code utile, établir des standards clairs, et prouver que ses outils fonctionnent dans des environnements réels. Elle doit aussi éviter la duplication d’initiatives existantes dans l’OpenSSF, la Linux Foundation ou d’autres communautés spécialistes de la sécurité de l’IA.

Cette coalition confirme que la sécurité des agents n’est plus seulement une problématique de modèles, mais une véritable question d’infrastructure.

L’intelligence artificielle d’entreprise évolue vers des systèmes dotés d’une capacité d’action. Leur protection exigera des identités, permissions, traçabilité, isolation et outils d’évaluation comparables à ceux utilisés dans le cloud ou dans les logiciels traditionnels.

L’Open Secure AI Alliance ambitionne de bâtir cette base de manière ouverte. Elle doit maintenant prouver qu’elle peut transformer cette ambition en une pile de défense que développeurs et équipes de sécurité pourront déployer.

Questions fréquentes

Qu’est-ce que l’Open Secure AI Alliance ?

C’est une initiative regroupant des entreprises technologiques, des sociétés de cybersécurité et des organisations open source, visant à développer des outils ouverts de sécurité pour modèles et agents d’IA.

Quel problème cherche-t-elle à résoudre ?

Elle vise à protéger l’intégralité de la pile d’un agent, incluant l’identité, les permissions, les outils, les logs, les modèles, les formats et la chaîne d’approvisionnement.

Qu’est-ce que NVIDIA NOOA ?

C’est un framework open source pour structurer les agents d’IA de manière plus traçable, auditable et facile à tester.

L’alliance favorise-t-elle uniquement les modèles ouverts ?

Non. Elle prône la coexistence des modèles ouverts et fermés, laissant le choix selon des critères de sécurité, performance, confidentialité et contrôle.

Source : Noticias Intelligence Artificielle