Un technicien vérifie le verrou d’une baie de serveurs dans une salle informatique aux lumières bleutées.

Actualité : Anthropic, Google, Microsoft et OpenAI soutiennent un jeton commun à inscrire dans robots.txt pour refuser l’entraînement des IA sur un site. Baptisé __usage_ai-training, il vise à remplacer les règles propres à chaque robot, mais robots.txt reste un signal volontaire que les robots peuvent ignorer. Cette initiative rejoint la question du blocage des crawlers IA par les consignes adressées dans robots.txt. (www.blog-nouvelles-technologies.fr, 9 novembre 2026).

Le blocage des crawlers IA oblige à poser une question de contenu : quelles pages voulons-nous laisser accessibles, et quels usages souhaitons-nous restreindre ? Nous abordons le jeton __usage_ai-training sous cet angle : nous séparons l’objectif lié à l’entraînement du choix plus large de visibilité. Notre recommandation est de préciser l’intention sans lui prêter une portée absolue.

Que prévoit le jeton commun annoncé le 2 novembre ?

Le jeton commun annoncé le 2 novembre est __usage_ai-training : il se déclare comme un user-agent dans robots.txt avec une règle Disallow, pour refuser l’entraînement des IA sur un site, selon l’article qui détaille le jeton et sa règle.

L’annonce rapportée dans l’article indique qu’Anthropic, Google, Microsoft et OpenAI soutiennent ce jeton commun, et date l’annonce du 2 novembre. Nous retenons un périmètre précis : le refus de l’entraînement des IA sur un site. Présentez cet objectif sans le transformer en promesse générale de blocage des crawlers IA.

Le brouillon qui définit le jeton le nomme __usage_ai-training. Nous gardons ce libellé exact, avec ses deux caractères de soulignement initiaux et son trait d’union, pour que le lecteur puisse le distinguer d’une description générale du sujet. Le nom compte.

Pour décrire sa déclaration, gardez ensemble le nom du jeton, robots.txt et la règle Disallow : le jeton se déclare comme un user-agent dans ce fichier, selon la description de la règle dans robots.txt. Nous préférons cette formulation concrète à la seule expression « blocage des crawlers IA », qui ne précise pas l’objectif mentionné dans l’annonce.

Notre conseil : distinguez clairement le mécanisme nommé et le résultat annoncé. Dans une explication destinée au grand public, indiquez le jeton exact, sa déclaration comme user-agent et l’objectif de refus de l’entraînement ; ne lui attribuez pas d’autre portée. Cette formulation permet de répondre à la question sans ajouter de fonction que les sources citées n’établissent pas.

À quel rythme les entreprises annoncent-elles son adoption ?

Les études disponibles ne permettent pas de dater l’adoption du policy token : elles mesurent le blocage de robots IA dans des fichiers robots.txt ou sur des domaines, et non les annonces de déploiement du jeton (analyse longitudinale du blocage ; étude comparant les niveaux de ressources).

Le seul repère chronologique porte sur le blocage. Dans l’échantillon de sites d’information réputés, la part qui interdisait au moins un robot IA dans son fichier robots.txt est passée de 23 % en septembre 2023 à près de 60 % en mai 2025, selon l’analyse longitudinale publiée sur arXiv. Cette évolution concerne les sites de cet échantillon et l’interdiction d’au moins un robot IA ; elle ne constitue pas un calendrier d’adoption du policy token.

Une autre étude compare le blocage selon les ressources des sites. Sur 4 900 domaines accessibles répartis en trois niveaux, les sites du niveau supérieur bloquaient davantage les robots IA que ceux des niveaux intermédiaire et inférieur, selon l’étude publiée dans l’Anthology de l’ACL. Ce résultat établit une différence entre niveaux de ressources, pas une évolution dans le temps.

La distinction est essentielle. Les résultats disponibles éclairent deux aspects du blocage des robots IA : son évolution dans un échantillon de sites d’information et ses différences selon les niveaux de ressources. Ils ne disent pas à quel rythme les entreprises annoncent l’adoption du policy token. Notre conseil : ne transformez pas ces indicateurs de blocage en échéance d’adoption. Pour répondre à la question du rythme, il faut une source qui porte explicitement sur les annonces du jeton.

Une ingénieure règle les commandes de plusieurs appareils informatiques alignés sur un établi.

La déclaration commune remplace-t-elle les règles propres à chaque robot ?

Non, sur la base du brouillon cité : celui-ci distingue les préférences d’usage du contenu des signaux de gestion du trafic, et précise que les deux peuvent figurer dans robots.txt tout en restant indépendants.

La distinction est nette. Elle ne permet pas d’affirmer qu’une déclaration commune remplace les règles propres à chaque robot. Le passage établit que deux catégories de signaux peuvent figurer dans le même fichier, mais il ne dit pas que l’une annule l’autre. Nous gardons donc la réponse à la mesure du texte : il distingue ces sujets, sans établir de remplacement.

Notre conseil : présentez les deux catégories séparément si vous rédigez une déclaration. Cette structure reprend la distinction du brouillon sans lui attribuer une portée qu’il n’énonce pas. Pour construire votre texte, attribuez un intitulé à chaque volet, puis rattachez chaque consigne à celui qu’elle concerne. Une transition peut préciser que les deux sujets sont traités dans le même document, sans les confondre. Nous privilégions ainsi une formulation qui permet au lecteur de repérer immédiatement si une phrase porte sur l’usage du contenu ou sur la gestion du trafic.

  • Préférences d’usage du contenu : quelles consignes souhaitez-vous exprimer sur ce sujet ?
  • Gestion du trafic : quelles consignes souhaitez-vous exprimer sur cet autre sujet ?

Ces questions servent de repères de rédaction, pas de règles supplémentaires attribuées au brouillon. Nous évitons ainsi de présenter le regroupement dans un seul fichier comme une preuve que les deux catégories se remplacent. Si une formulation affirme qu’une déclaration commune se substitue aux règles propres à chaque robot, le passage cité ne suffit pas à l’étayer. Gardez plutôt une distinction explicite entre les deux volets et évitez les formulations qui les fusionnent.

Que retenir de cette annonce pour une stratégie SEO/GEO ?

Pour une stratégie SEO/GEO, le blocage doit se décider selon la visibilité que l’on accepte de céder : il peut empêcher la récupération d’informations en temps réel, et robots.txt n’est pas toujours consulté ou suivi par certains robots.

Le premier arbitrage porte sur l’accès aux contenus. Selon le Reuters Institute, bloquer les crawlers sans autre arrangement peut empêcher la récupération d’informations en temps réel, en plus de limiter l’entraînement des IA. La source souligne aussi des conséquences possibles pour la qualité des modèles et leur capacité à récupérer des informations sur le web. Bloquer un crawler peut donc réduire la possibilité que le contenu soit repris dans une réponse en temps réel.

Le second arbitrage concerne la portée réelle de la consigne. Une étude expérimentale indique que certains robots respectent moins les directives plus strictes de robots.txt et que certaines catégories, dont les robots de recherche IA, consultent rarement ce fichier. Une directive dans robots.txt ne garantit donc pas, à elle seule, l’arrêt des crawls. Cette limite ne signifie pas qu’il faut renoncer à toute consigne : elle invite plutôt à ne pas confondre la décision de bloquer avec la certitude que le blocage sera appliqué.

Notre conseil : partez des contenus, pas d’une règle générale appliquée à tout le site. Pour chaque catégorie de pages, choisissez si vous privilégiez son accès par les crawlers ou si vous préférez le restreindre. Si vous souhaitez qu’un contenu puisse contribuer aux réponses en temps réel, ne décidez pas de le bloquer sans tenir compte de cette possibilité. Si la priorité est de limiter l’accès, formulez cette intention, tout en gardant à l’esprit la limite de robots.txt.

Nous retenons ainsi un principe simple : arbitrer la visibilité souhaitée page par page, puis traiter robots.txt comme une consigne, et non comme une garantie. C’est un choix de stratégie SEO/GEO, pas seulement un réglage technique. La décision gagne à rester cohérente avec l’usage que vous souhaitez permettre de vos contenus.

Quel statut technique l’article attribue-t-il au jeton ?

Le jeton est décrit dans un Internet-Draft qui n’est pas approuvé par l’IETF et n’a pas de statut formel dans son processus de normalisation, précise la fiche du document sur le Datatracker de l’IETF.

Nous retenons les deux limites indiquées par cette fiche : le document n’est pas approuvé par l’IETF et il ne possède pas de statut formel dans son processus de normalisation. C’est le statut technique à retenir, sans lui ajouter une portée que la source ne lui attribue pas.

Notre conseil : présentez-le comme un jeton décrit dans un Internet-Draft, et non comme une norme de l’IETF. La nuance est importante pour le lecteur, car la description du jeton et le statut formel du document sont deux choses distinctes. Nous gardons donc ensemble les deux éléments de la fiche plutôt que de laisser le terme « jeton » suggérer une validation formelle.

Une formulation sobre suffit. Par exemple : « Le jeton est décrit dans un Internet-Draft qui n’est pas approuvé par l’IETF et n’a pas de statut formel dans son processus de normalisation. » Cette phrase reprend le statut indiqué par la fiche du projet sur le Datatracker, sans tirer de conclusion sur d’autres aspects du jeton.

Nous limitons ainsi l’affirmation à ce que la source établit. Internet-Draft décrit, mais pas de statut formel.

Quelles limites l’annonce laisse-t-elle au jeton commun ?

Le jeton commun ne doit pas être présenté comme une garantie de blocage : Google précise que les consignes de robots.txt ne contraignent pas les robots à les respecter, même si Googlebot et les robots sérieux les suivent.

La nuance est décisive. La précision donnée par Google concerne les instructions de robots.txt : elle ne permet pas d’affirmer que chaque robot respectera un jeton commun, ni de lui attribuer une portée que la source ne décrit pas. Une consigne de blocage n’équivaut donc pas à une garantie de conformité.

Nous conseillons de présenter le jeton comme une indication de politique, et non comme une protection absolue. Cette formulation reste prudente : Google indique que certains robots peuvent ne pas suivre les instructions de robots.txt, tandis que les robots sérieux, dont Googlebot, les respectent selon sa documentation. La page de Google sur le fonctionnement des fichiers robots.txt ne dit pas davantage sur le jeton lui-même.

Pour une entreprise, la distinction compte au moment de communiquer sur son choix. Évitez de promettre qu’un contenu sera inaccessible à tous les crawlers IA au seul motif qu’un jeton commun est annoncé ou adopté. Préférez une formulation circonscrite à l’intention : le site signale sa politique de crawl, sans garantir que chaque robot s’y conformera. C’est une recommandation de rédaction, pas une affirmation sur le comportement de robots particuliers.

Le point à retenir : l’instruction exprime une demande, elle ne force pas tous les robots à l’appliquer. Nous séparons ainsi ce que la documentation établit de ce qu’elle ne permet pas de conclure. Le jeton peut clarifier une politique, mais cette seule source ne justifie pas de le présenter comme un verrou universel. Pour expliquer sa limite, restons donc sur ce constat documenté, sans lui prêter d’effet supplémentaire.

Ce qu'il faut retenir

Nous recommandons de commencer par les pages concernées et de choisir, pour chacune, entre préserver leur accessibilité et restreindre les usages souhaités. Nous vous invitons à distinguer les préférences d’usage du contenu des consignes de gestion du trafic. Nous déconseillons de présenter le jeton __usage_ai-training comme une promesse de blocage absolu. Enfin, nous gardons la formulation alignée sur votre choix de visibilité : expliquez l’intention liée à l’entraînement, sans lui attribuer d’autre portée.

Où en est votre site dans les réponses des IA ?

Cicero Studio part d'un audit GEO, puis assure la production éditoriale et le maillage sémantique automatisé : la qualité d'une agence, la productivité d'un software.

Réserver un rendez-vous pour en parler

Comment nous avons écrit cet article

Les sources consultées sont listées en fin d'article, consultées le 10 novembre 2026. Là où nous n'en citons pas, c'est notre avis, et nous l'écrivons comme tel.

Cet article donne des repères de choix et notre point de vue. Il ne remplace pas l'avis d'un professionnel sur une situation précise.

Il est publié par Cicero Studio (interne), qui a donc un intérêt dans le sujet.

Sources
  1. robots.txt et IA : le policy token pour bloquer les crawlers, blog-nouvelles-technologies.fr
  2. Présentation du fichier robots.txt et guide | Google Search Central | Documentation | Google for Developers, developers.google.com
  3. draft-kelley-aipref-training-preference-signal-00, datatracker.ietf.org
  4. draft-kelley-aipref-training-preference-signal-00 - Machine-Readable Training Preference Signal, datatracker.ietf.org
  5. Un article gratuit, rédigé pour votre site | Cicéro, cicero.studio
  6. Cicéro - Du contenu qui vous rend visible, cicero.studio
  7. Agence SEO à Lège-Cap-Ferret : gagnez en visibilité, cicero.studio
  8. Prix d'une agence GEO en France : comprendre et comparer (2026), cicero.studio
  9. [2510.10315] Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web, arxiv.org
  10. Whose Robots.txt? Consent-Infrastructure Inequality Across the Languages of Web Corpora - ACL Anthology, aclanthology.org
  11. How many news websites block AI crawlers? | Reuters Institute for the Study of Journalism, reutersinstitute.politics.ox.ac.uk
  12. Scrapers Selectively Respect robots.txt Directives:Evidence From a Large-Scale Empirical Study, arxiv.org