robots.txt IA : définition et enjeux pour la visibilité IA

Depuis 2023, un vieux fichier discret a pris une importance nouvelle. Le robots.txt, ce petit document texte qui dort à la racine de chaque site, est devenu le point où une marque déclare ce que les intelligences artificielles ont le droit de lire. GPTBot, Google-Extended, ClaudeBot, PerplexityBot : chacun de ces robots y cherche son propre nom avant de parcourir vos pages. Bien réglé, votre robots.txt protège ce que vous voulez garder tout en laissant passer ce qui vous rend citable. Mal réglé, il vous rend invisible dans les réponses IA sans que vous le sachiez. Voici une définition claire, la syntaxe à connaître, et comment décider.

robots.txt IA : la définition courte

Le robots.txt IA n'est pas un fichier à part : c'est le même robots.txt placé à la racine d'un site, mais on parle de robots.txt IA dès qu'on y ajoute des règles ciblant les robots d'intelligence artificielle. Chaque robot d'IA porte un nom d'agent utilisateur que l'on autorise ou que l'on refuse ligne par ligne. Le fichier devient donc l'endroit où le site déclare ce que les IA ont le droit de lire.

Le robots.txt existe depuis les années 1990. C'est un fichier texte qui applique le standard d'exclusion des robots, un protocole de bonne conduite par lequel un site indique aux robots d'exploration quelles parties il les autorise à parcourir. Pendant vingt-cinq ans, il a surtout servi à gérer Googlebot et les robots des moteurs classiques.

Ce qui a changé, c'est l'arrivée des robots d'IA. Quand OpenAI a lancé GPTBot, puis quand Google a introduit Google-Extended, ces nouveaux agents ont eux aussi commencé à lire le robots.txt avant de collecter du contenu. Le fichier n'a pas changé de nature : on lui a simplement ajouté de nouveaux noms d'agents à reconnaître. C'est tout l'enjeu du « robots.txt IA » : utiliser un vieil outil pour répondre à une question neuve, celle de l'accès des intelligences artificielles à votre contenu.

Comment les robots d'IA lisent le robots.txt

Un robot d'IA demande d'abord le fichier à l'adresse votre-site.fr/robots.txt, à la racine du domaine. Il y cherche un bloc portant son nom d'agent utilisateur. S'il en trouve un, il suit les directives Allow et Disallow qui le concernent. Sinon, il applique les règles génériques ou parcourt librement.

Le mécanisme est volontairement simple. Avant de parcourir vos pages, le robot va chercher le fichier à un emplacement unique et fixe : la racine de votre domaine. La documentation de Google sur le robots.txt rappelle que ce fichier doit se trouver à cet endroit précis, faute de quoi il est ignoré. Un robots.txt rangé dans un sous-dossier ne sert à rien.

Une fois le fichier récupéré, le robot le lit de haut en bas et repère le bloc qui porte son nom. Les directives ne s'appliquent qu'au robot nommé dans le User-agent juste au-dessus. C'est ce qui permet d'écrire dans le même fichier une règle pour Googlebot, puis une autre pour GPTBot, puis une troisième pour ClaudeBot, sans qu'elles se mélangent.

La syntaxe des directives User-agent pour l'IA

Un bloc robots.txt commence par une ligne User-agent qui nomme le robot, suivie d'une ou de plusieurs lignes Allow ou Disallow. Pour bloquer GPTBot, on écrit User-agent: GPTBot puis Disallow: / sur la ligne suivante. Pour l'autoriser partout, on remplace par Disallow: (vide) ou Allow: /.

La grammaire tient en trois mots-clés. User-agent désigne le robot concerné. Disallow interdit un chemin. Allow autorise un chemin, souvent pour faire une exception à un Disallow plus large. Une barre oblique seule, /, désigne tout le site. Voici à quoi ressemble un bloc qui refuse complètement le robot d'entraînement d'OpenAI.

User-agent: GPTBot
Disallow: /

À l'inverse, pour laisser un robot accéder à l'ensemble du site, on lui adresse un bloc avec un Disallow vide, ce qui signifie « rien n'est interdit ».

User-agent: PerplexityBot
Disallow:

On peut aussi n'interdire qu'une partie du site, par exemple un espace privé, tout en laissant le reste accessible. La directive cible alors un dossier précis plutôt que la racine.

User-agent: ClaudeBot
Disallow: /espace-client/
Disallow: /panier/

Chaque bloc est indépendant. Vous pouvez en empiler autant que de robots à gérer, et terminer par un bloc User-agent: * qui s'applique à tous les autres robots non nommés. L'ordre des blocs n'a pas d'importance, c'est le nom de l'agent qui détermine quelle règle s'applique à qui.

Bloquer l'entraînement n'est pas bloquer la recherche IA

Les robots d'IA remplissent deux missions très différentes. Certains collectent du contenu pour entraîner les modèles, d'autres l'explorent pour fonder les réponses en temps réel dans ChatGPT ou Perplexity. Bloquer les premiers protège votre contenu sans nuire à votre visibilité ; bloquer les seconds vous prive de citations dans les réponses IA.

C'est la distinction la plus importante de tout ce guide, et la plus souvent mal comprise. Confondre les deux rôles conduit à se tirer une balle dans le pied : on croit « protéger son contenu » et on se rend simplement invisible.

Du côté de l'entraînement, OpenAI documente GPTBot comme le robot qui récupère du contenu pour améliorer les futurs modèles. Google, de son côté, a introduit Google-Extended en 2023 : sur son blog officiel, l'entreprise présente ce jeton comme un moyen de gérer si un site « contribue à améliorer les modèles d'IA générative de Google », indépendamment de son classement dans la recherche. Bloquer ces deux robots protège votre contenu d'un usage d'entraînement que vous n'avez pas choisi. C'est défendable, et cela ne vous fait pas disparaître des réponses IA.

Du côté de la recherche, le rôle est tout autre. OpenAI documente OAI-SearchBot comme le robot qui indexe les sites pour la recherche dans ChatGPT, et Perplexity documente PerplexityBot comme celui qui référence les pages pour ses réponses. Ces robots-là décident de votre présence dans les réponses génératives. Les bloquer, c'est refuser d'être cité.

Les robots d'IA à connaître pour votre robots.txt

Les robots les plus fréquents dans un robots.txt français viennent d'OpenAI (GPTBot pour l'entraînement, OAI-SearchBot pour la recherche), de Google (Google-Extended), de Perplexity (PerplexityBot) et d'Anthropic (ClaudeBot). S'y ajoute CCBot, le robot de Common Crawl. Chacun joue un rôle bien précis selon qu'il sert à l'entraînement ou à la recherche, rôle déclaré par son éditeur.

Voici les agents qu'on retrouve le plus souvent. Pour chacun, son éditeur puis le rôle qui décide de l'effet d'un blocage.

Deux cas méritent une mention. Google-Extended n'est pas un robot au sens strict : sa documentation précise qu'il n'envoie pas de requête supplémentaire, c'est uniquement un jeton lu dans le robots.txt qui dit à Google s'il peut utiliser votre contenu pour ses modèles. Vous pouvez donc rester parfaitement indexé sur Google tout en refusant que votre contenu nourrisse Gemini. CCBot, le robot de Common Crawl, archive le web de façon ouverte et publie ses données librement ; beaucoup de modèles s'entraînent sur ces archives. Bloquer GPTBot sans penser à CCBot laisse donc une porte entrouverte pour l'entraînement.

Comment décider ce que vous autorisez

La décision dépend de votre objectif. Si vous vendez l'accès à votre contenu, bloquer l'entraînement protège votre actif. Si vous cherchez de la notoriété, laissez passer les robots de recherche IA, qui décident de vous citer. La voie médiane refuse l'entraînement et autorise la recherche.

Trois profils typiques recouvrent la plupart des situations.

• Vous vendez l'accès à votre contenu (médias, bases payantes, recherche propriétaire). Bloquer les robots d'entraînement, du côté de GPTBot comme de Google-Extended ou de CCBot, protège votre actif sans vous priver de visibilité organique. Posture défensive assumée.
• Vous voulez gagner en notoriété. Laisser passer les robots de recherche IA, OAI-SearchBot et PerplexityBot au premier rang, est votre intérêt : ce sont eux qui décident de vous citer dans les réponses. Les bloquer revient à vous rendre invisible là où vos prospects cherchent désormais.
• Vous hésitez. La voie médiane existe : refuser l'entraînement, autoriser la recherche IA. Vous gardez le contrôle de votre contenu sans sacrifier votre citabilité.

Cette voie médiane se traduit par quelques blocs dans votre robots.txt. L'exemple ci-dessous refuse l'entraînement aux trois robots concernés, de GPTBot à CCBot en passant par Google-Extended, tout en laissant les robots de recherche IA accéder au site.

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Disallow:

User-agent: PerplexityBot
Disallow:

À adapter à votre stratégie, et à vérifier dans la documentation officielle de chaque éditeur, car les noms d'agents changent et de nouveaux robots apparaissent. Un robots.txt n'est jamais figé : il se relit à chaque évolution de l'écosystème IA.

Ce que le robots.txt ne fait pas

Le robots.txt est une consigne, pas une serrure. Un robot peut l'ignorer. Il ne supprime pas le contenu déjà collecté, ne protège pas les données personnelles à lui seul, et n'a aucun effet sur les internautes ou les copies du contenu hébergées ailleurs.

Il faut être lucide sur la portée de l'outil. Le standard d'exclusion des robots, tel que décrit par robotstxt.org, est un protocole de bonne conduite : il fonctionne parce que les robots sérieux choisissent de le respecter, pas parce qu'il les en empêcherait. Un robot malveillant l'ignore tout simplement.

Le robots.txt n'a pas non plus d'effet rétroactif. Si votre contenu a déjà été aspiré avant que vous ne posiez une directive, le bloquer aujourd'hui ne le retire pas des corpus d'entraînement existants. La règle vaut pour l'avenir.

Enfin, sur le terrain des données personnelles, le robots.txt ne suffit pas. Quand un site contient des informations sur des personnes, la collecte par des robots d'IA soulève des questions de conformité. La CNIL a publié des recommandations sur la mise en conformité des systèmes d'IA avec le RGPD, en particulier sur la base légale de la collecte de contenus web. Le robots.txt est un signal utile, mais il ne remplace ni une protection serveur ni une démarche de conformité.

Ce que le robots.txt change pour votre visibilité IA

Régler son robots.txt n'est pas une fin en soi. C'est la première marche d'une stratégie de visibilité dans les réponses génératives, celle qui décide si la course commence ou si vous restez sur la ligne de départ. Sur les sites que j'audite chez Cicero Studio, nous avons vérifié les journaux de serveur page après page : j'ai déjà vu des marques devenues invisibles dans ChatGPT parce qu'un robots.txt copié à la hâte bloquait le robot de recherche IA, sans que personne ne l'ait voulu. Ce cas n'a rien d'isolé : un baromètre récent montrait que les robots automatisés dépassent désormais les humains dans le trafic web, comme le détaille notre analyse du trafic des crawlers d'IA. Trois conséquences en découlent.

1. L'accès précède la citation

Un robot ne peut citer que ce qu'il a pu lire. Si votre robots.txt refuse par erreur les robots de recherche IA, la qualité de votre contenu ne compte plus : vous êtes hors jeu en amont. La première exigence est mécanique, c'est l'accès des bons robots. C'est aussi pourquoi la notion de budget de crawl IA gagne en importance, car un accès autorisé doit aussi être un accès efficace. J'ai détaillé ce piège dans notre guide sur les sites rendus invisibles par les crawlers d'IA.

2. Le robots.txt complète, il ne remplace pas

Autoriser les bons robots est nécessaire, mais pas suffisant. Un robot accède, encore faut-il qu'il trouve un contenu facile à extraire et à reprendre. Un fichier llms.txt peut guider les IA vers vos pages clés, et une définition claire d'un AI crawler aide à comprendre quel robot fait quoi. Le robots.txt règle la porte ; la structure du contenu règle l'accueil.

3. La citation remplace le classement

Dans une réponse IA, il n'y a plus dix liens bleus, mais une réponse synthétisée appuyée sur quelques sources citées. La question n'est plus « suis-je premier ? » mais « suis-je l'une des sources jugées dignes de fonder la réponse ? ». C'est l'objet du GEO, la Generative Engine Optimization, dont notre guide GEO pour la France détaille la méthode complète : préparer un contenu pour être repris par les moteurs IA plutôt que seulement classé par Google.

C'est exactement la méthode de Cicero Studio : un audit GEO, puis une production éditoriale appuyée sur un maillage sémantique automatisé, le tout pensé pour rendre votre marque accessible aux bons robots et citable sur Google comme dans les moteurs IA. La qualité d'une agence, la productivité d'un software. Pour comprendre l'ensemble du dispositif, notre page agence GEO détaille l'approche, et notre page à propos présente la méthode éditoriale et l'équipe derrière chaque contenu.

Alexis Dollé

CEO & Fondateur

Spécialiste du growth et de la stratégie de contenu SEO, j'ai lancé Cicéro pour aider les entreprises à capter une visibilité organique durable, sur Google comme dans les réponses des IA. Chaque contenu qu'on produit est pensé pour convertir, pas juste pour exister.

LinkedIn

Pour aller plus loin

Le robots.txt n'est que la porte d'entrée d'une stratégie de visibilité IA. Une fois l'accès des bons robots assuré, la vraie question devient celle de la citabilité : comment chaque moteur choisit ses sources, et comment structurer votre contenu pour en faire partie. Les ressources ci-dessous prolongent ce guide.