Cloudflare a annoncé de nouveaux contrôles permettant aux sites Web de décider de manière indépendante si leur contenu peut apparaître dans les résultats de recherche, être utilisé pour entraîner des modèles d’intelligence artificielle ou consulté par des agents d’IA. La société introduit également une nouvelle catégorie de robots « Accountable » et souligne Apple, Google et Microsoft comme opérateurs qui respectent leurs critères ou ont fixé des échéances pour le faire.
Les clés du contrôle du contenu web en 20 secondes
- 36,6 % du trafic des crawlers vérifiés sur Cloudflare provient de robots à usage mixte.
- Ce nouveau contrôle permet de bloquer l’entraînement à l’IA sans faire disparaître le contenu des résultats de recherche.
- Cloudflare sépare désormais les préférences pour les moteurs de recherche, l’entraînement et les agents d’IA.
- Apple, Google et Microsoft apparaissent comme opérateurs « Accountable » selon les critères de Cloudflare.
- La société prépare un système pour gérer également l’utilisation du contenu dans les résumés générés par l’IA.
Pendant près de trois décennies, le fonctionnement du web était relativement simple : les moteurs de recherche parcouraient les pages, incorporaient leur contenu dans leurs index et orientaient le trafic vers les sites d’origine. L’expansion de l’intelligence artificielle a introduit une seconde utilisation de ce même contenu : alimenter des modèles d’entraînement, des systèmes de réponse et des agents capables de consulter des pages pour réaliser des tâches.
Ce changement a créé un problème pour les éditeurs. Bloquer certains robots pouvait empêcher leur contenu d’être utilisé pour entraîner des modèles, mais pouvait également affecter leur visibilité dans les moteurs de recherche lorsque ces deux usages dépendaient du même crawler.
Cloudflare souhaite différencier ces décisions.
Trois autorisations distinctes pour un même site
La principale nouveauté est le remplacement de l’ancien interrupteur « Block AI Bots » par trois contrôles indépendants. Les propriétaires de sites peuvent décider séparément du crawl pour la recherche, de l’entraînement à l’IA et de l’accès par des agents d’intelligence artificielle.
Ce différentiel peut être important pour les médias numériques, les boutiques en ligne, les blogs, la documentation technique et tout site dont le trafic dépend des moteurs de recherche.
Cloudflare propose également une configuration initiale en fonction du modèle économique. Pour les sites affichant de la publicité, il recommande de maintenir le crawl pour la recherche activé, de bloquer l’entraînement à l’IA et de restreindre l’accès aux agents d’IA sur les pages comportant des annonces.
Pour les autres sites, la configuration recommandée permet les trois utilisations.
Il s’agit de recommandations de Cloudflare, non d’une règle universelle pour Internet. Chaque propriétaire peut les modifier selon ses besoins.
La société modifie également le fonctionnement de son système de préférences pour robots. « Managed Robots.txt » laisse place à Bot Preference Sync, conçu pour que les préférences du propriétaire soient définies une fois et appliquées automatiquement aux robots compatibles.
L’objectif est de réduire l’une des difficultés apparues avec la prolifération des bots : il ne suffit plus de distinguer entre « moteur de recherche » et « bot d’IA », car certains opérateurs utilisent des robots pour plusieurs fonctions.
Les crawlers à usage mixte concentrent le problème
Cloudflare affirme que les robots à usage mixte, capables de collecter des informations pour les index de recherche et pour les systèmes d’IA, représentent 36,6 % du trafic des crawlers vérifiés observé sur son réseau. Selon la société, c’est actuellement la catégorie la plus importante en termes de volume.
Le comportement des propriétaires de sites montre une différence nette entre ces deux usages. Cloudflare indique que moins de 1 % bloquent les robots de recherche, tandis que 17 % restreignent l’entraînement à l’IA.
Ce que la société en déduit, c’est que la majorité des sites souhaitent continuer d’être découverts via les moteurs de recherche, même si une part croissante ne veut pas que leur contenu soit utilisé pour entraîner des modèles.
Jusqu’à présent, lorsque un crawler n’offrait pas de contrôles suffisamment différenciés, le bloquer pouvait avoir des effets sur les deux usages. La nouvelle configuration de Cloudflare vise à éviter cette indiscrimination.
Ce système ne repose pas uniquement sur la classification du bot comme moteur de recherche ou outil d’IA. La société crée une catégorie appelée Accountable, destinée à désigner les opérateurs qui offrent certains contrôles et engagements concernant l’usage du contenu.
Ce que Cloudflare exige d’un crawler « Accountable »
Cloudflare définit quatre conditions pour considérer qu’un crawler est responsable et transparent concernant l’IA.
La première consiste à proposer aux propriétaires une manière claire d’interdire l’utilisation de leur contenu pour l’entraînement via robots.txt ou un standard équivalent.
La deuxième exige de permettre à un site de refuser l’utilisation de son contenu dans des résumés générés par IA.
La troisième concerne la visibilité : les opérateurs doivent fournir, au niveau de l’URL, des informations sur l’utilisation du contenu, tant pour la recherche que pour l’entraînement.
La quatrième stipule que refuser l’entraînement ne doit pas entraîner de pénalité pour le classement dans la recherche traditionnelle.
Cloudflare identifie actuellement Apple, Google et Microsoft comme des opérateurs ayant démontré leur conformité à ces critères ou ayant fixé un calendrier précis pour y parvenir.
Par exemple, Google propose Google-Extended, un mécanisme permettant aux sites de contrôler certains usages liés à l’entraînement sans nécessairement retirer leur contenu de Google Search. La classification de Cloudflare repose sur ses propres critères de responsabilité et ne constitue pas une certification universelle des pratiques de ces sociétés.
La société indique aussi que d’autres opérateurs utilisent des crawlers séparés pour la recherche et l’entraînement. Dans ces cas, Cloudflare peut bloquer spécifiquement les robots destinés à l’entraînement sans empêcher l’accès aux robots de recherche.
La liste des opérateurs jugés conformes par Cloudflare est publiée dans Cloudflare Radar.
Le prochain enjeu : les résumés par IA
Le contrôle de l’entraînement n’est qu’une partie du problème. Les moteurs de recherche et les assistants intègrent de plus en plus de réponses générées directement à partir des pages web, modifiant la relation entre contenu original et trafic.
Cloudflare souligne que tous les opérateurs désignés comme « Accountable » devront également proposer une option pour que les propriétaires puissent refuser l’utilisation de leur contenu dans les résumés générés par l’IA.
Actuellement, selon la société, cette option fonctionne sous forme d’un simple oui/non, à configurer pour chaque opérateur. Cloudflare envisage pour début 2027 un système centralisé permettant de contrôler la quantité de contenu qu’un opérateur peut utiliser pour ces résumés.
La date n’est qu’un objectif annoncé, pas une garantie d’accès immédiat.
Cloudflare participe également à l’étude de l’ai-prefs par l’Internet Engineering Task Force (IETF), une spécification en développement visant à créer une norme pour exprimer de manière standardisée et portable les préférences d’accès d’un site face aux systèmes d’IA.
La question technique devient de plus en plus centrale. Une page peut vouloir être indexée par Google, apparaître dans un moteur IA, empêcher ses contenus d’être utilisés pour l’entraînement, tout en permettant à un agent de consulter certaines pages pour remplir une tâche. Avec des règles binaires « autoriser » ou « bloquer », ces situations sont difficiles à gérer.
La proposition de Cloudflare transforme ces préférences en contrôles séparés et déplace une partie de la décision du côté des éditeurs en leur permettant d’établir des règles plus fines.
Pour les médias et autres acteurs numériques, ce changement peut être particulièrement intéressant, car il permet de dissocier la visibilité dans les moteurs de recherche du contrôle du contenu pour l’entraînement de modèles. Reste néanmoins une question ouverte : la présence d’un contrôle technique ne garantit pas que tous les crawlers, modèles et agents respecteront ces règles. D’où l’importance des standards communs comme robots.txt et les travaux en cours autour de ai-prefs.