Accès des robots
Mis à jour le 20 novembre 2026
Quel robot fait quoi chez Google, OpenAI, Anthropic, Perplexity et Bing, ce que robots.txt et les balises d’extrait contrôlent, et comment le vérifier.
#Trois usages, des robots distincts
Les éditeurs séparent trois usages et leur attribuent des robots différents : collecter des pages pour entraîner un modèle, constituer un index de recherche, aller chercher une page qu’un utilisateur vient de demander. Chaque usage se règle séparément. Les noms ci-dessous sont les jetons à écrire dans robots.txt, tels que chaque éditeur les publie.
- OpenAI :
GPTBotexplore des contenus qui peuvent servir à l’entraînement des modèles.OAI-SearchBotfait apparaître les sites dans la recherche de ChatGPT ; un site qui l’exclut n’est plus montré dans les réponses de recherche, mais peut encore apparaître comme lien de navigation.ChatGPT-Useragit à la demande d’un utilisateur, n’explore pas le web de façon automatique, et OpenAI écrit que les règles derobots.txt« peuvent ne pas s’appliquer » à lui.OAI-AdsBotne visite que les pages soumises comme annonces. - Anthropic :
ClaudeBotcollecte des contenus susceptibles de contribuer à l’entraînement.Claude-SearchBotindexe pour la recherche.Claude-Userrécupère une page à la demande d’un utilisateur. Anthropic écrit que ses robots respectentrobots.txtet présenteClaude-Usercomme un jeton que le site peut désactiver. - Perplexity :
PerplexityBotfait apparaître et lie les sites dans les résultats ; l’éditeur précise qu’il ne collecte pas de contenus pour des modèles de fondation.Perplexity-Useragit à la demande d’un utilisateur et « ignore généralement »robots.txt. - Google :
Googlebotalimente la recherche, Aperçus IA (AI Overviews) et Mode IA (AI Mode) compris.Google-Extendedn’est pas un robot : ce jeton, sans agent utilisateur propre, dit si les contenus explorés peuvent servir à entraîner les futurs modèles Gemini et à ancrer les réponses de Gemini et de Vertex AI. Il est sans effet sur l’inclusion et le classement dans la recherche. Le refuser, c’est donc aussi sortir de cet ancrage : un billet de Google du 30 octobre 2026 écrit que les sites qui autorisentGoogle-Extendedpeuvent apparaître dans les réponses des applications Gemini et en recevoir des clics. - Microsoft :
bingbotalimente l’index de Bing. Le billet de Bing du 22 septembre 2023 décrit les contenus de cet index comme la matière des réponses de Bing Chat et ne mentionne aucun robot distinct.
Conséquence : interdire GPTBot ne retire pas un site de la recherche de ChatGPT, et c’est par Googlebot, non par Google-Extended, que passe l’accès aux Aperçus IA et au Mode IA.
#Ce que robots.txt règle, et ce qu’il ne règle pas
La RFC 9309 l’écrit en toutes lettres : ces règles ne sont pas une forme d’autorisation d’accès. Un robot les suit parce que son éditeur s’y engage.
- Portée : le fichier se place à la racine et ne vaut que pour l’hôte, le protocole et le port où il est servi. Chaque sous-domaine a le sien.
- Choix du groupe : un robot applique le groupe dont la ligne
User-agentcorrespond à son jeton, sans tenir compte de la casse ; à défaut, le groupeUser-agent: *. Un groupe nommé remplace le groupe général, il ne s’y ajoute pas : créer un groupeUser-agent: GPTBotd’une seule ligne retire à ce robot toutes les règles générales. - Choix de la règle : entre plusieurs
AllowetDisallowqui correspondent à une URL, la plus spécifique l’emporte. La RFC compte les octets de la correspondance ; Google précise qu’il mesure la longueur du chemin écrit dans la règle, jokers compris, pas la portion d’URL couverte. Pour/page.htm,Disallow: /*.html’emporte surAllow: /page. - Erreurs : si
robots.txtrépond par un code 4xx, le robot peut tout explorer ; s’il répond par un code 5xx, la RFC lui demande de tenir tout le site pour interdit. Google suspend alors l’exploration pendant douze heures, puis se rabat sur la dernière version valide pendant trente jours au plus. - Délai : Google conserve généralement le fichier en cache jusqu’à 24 heures ; OpenAI et Perplexity annoncent environ 24 heures pour qu’un changement soit pris en compte.
- Champs : Google ne lit que
user-agent,allow,disallowetsitemap, et ignorecrawl-delay. Anthropic déclare respecterCrawl-delay.
Interdire l’exploration n’est pas interdire l’indexation : Google peut indexer l’URL d’une page bloquée, sans extrait, si d’autres pages y renvoient. Sortir une page de l’index demande un noindex, que le robot ne lit que si la page reste explorable.
#Limiter ce qui est repris sans bloquer l’exploration
Google documente quatre contrôles, à poser dans une balise meta name="robots" ou dans l’en-tête HTTP X-Robots-Tag. Quand deux règles se contredisent, la plus restrictive s’applique.
nosnippet: aucun extrait de texte dans les résultats, et le contenu ne sert plus d’entrée directe aux Aperçus IA ni au Mode IA.max-snippet, suivi d’un nombre de caractères : plafonne l’extrait, et la part du contenu utilisable comme entrée directe de ces deux fonctions.data-nosnippet: attribut à poser sur un élémentspan,divousectionpour exclure ce seul passage des extraits.noindex: la page sort des résultats.
Ces contrôles ont un prix. Google écrit que, pour figurer comme lien dans les Aperçus IA ou le Mode IA, une page doit être indexée et pouvoir être affichée avec un extrait. Notre lecture : nosnippet ne protège pas une page en la laissant sur ces surfaces, il l’en retire.
Search Console propose en plus un réglage par propriété, sous Paramètres > IA générative dans la Recherche, étendu à tous les sites le 31 août 2026 selon sa page d’aide : inclure le site dans les Aperçus IA, le Mode IA et les fonctions génératives de Discover, l’en exclure, ou hériter du choix de la propriété parente. L’inclusion est le choix par défaut, et le guide d’optimisation de Google pour l’IA générative en fait une condition d’éligibilité. Google précise que le réglage ne sert pas de signal de classement ailleurs dans la recherche, qu’il ne touche pas à l’entraînement, qui relève de Google-Extended, et qu’une exclusion met en général quelques jours à prendre effet.
Chez Bing, deux valeurs de la balise robots tiennent ce rôle depuis un billet de 2023 : nocache limite Copilot à l’URL, au titre et à l’extrait ; noarchive exclut le contenu de ses réponses et des résultats d’ancrage. La page reste dans les résultats de recherche. Les consignes actuelles de Bing pour les webmasters reprennent ces deux règles.
#Le blocage qui ne figure pas dans robots.txt
Un robots.txt permissif ne prouve rien si le pare-feu applicatif, le CDN ou l’hébergeur rejette la requête avant qu’elle n’atteigne le serveur. Google cite les deux niveaux dans ses recommandations pour les fonctions IA : exploration autorisée dans robots.txt, et par le CDN ou l’infrastructure d’hébergement.
Perplexity publie une procédure pour Cloudflare et pour AWS WAF, et signale que le mode Bot Fight de Cloudflare ne se contourne pas par une règle personnalisée. Cloudflare range les robots en trois comportements — Search, Agent, Training — à bloquer ou autoriser séparément, et indique que les nouveaux domaines démarrent avec les trois sur « Allow ». Le réglage réel d’un domaine se lit dans Security > Settings.
L’agent utilisateur se falsifie ; l’adresse IP, moins facilement. Google publie ses plages et décrit la vérification par DNS inverse : host sur l’adresse, puis sur le nom obtenu, qui doit se terminer par googlebot.com, google.com ou googleusercontent.com. OpenAI publie un fichier d’adresses par robot (openai.com/gptbot.json, searchbot.json, chatgpt-user.json), Perplexity aussi. Anthropic prévient que bloquer ses adresses peut l’empêcher de lire robots.txt et ne garantit pas l’exclusion : le refus se déclare dans robots.txt.
#Vérifier l’accès
Trois contrôles, du moins probant au plus probant.
- Lire le fichier servi, pas celui du dépôt.
curl -s -o /dev/null -w "%{http_code}" https://www.example.com/robots.txtdoit rendre 200 ;curl -s https://www.example.com/robots.txtmontre ensuite le groupe appliqué à chaque jeton. Un CDN peut y avoir ajouté ses propres règles en tête. - Rejouer la requête avec l’agent utilisateur du robot :
curl -s -o /dev/null -w "%{http_code}" -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.example.com/page. Un 403, un 429 ou une page de défi là où un navigateur reçoit 200 désigne une règle fondée sur l’agent utilisateur. Un 200 ne prouve pas l’inverse : la requête part de votre adresse, pas de celle de l’éditeur. - Lire les journaux du serveur :
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log | awk '{print $9}' | sort | uniq -ccompte les réponses par code de statut, neuvième champ du format « combined » d’Apache. On attend des 200 sur les pages qui comptent.
Deux limites. Si un CDN filtre en amont, les requêtes rejetées n’arrivent jamais au serveur d’origine : ce sont ses journaux qu’il faut lire. Et un robot absent des journaux n’est pas forcément bloqué ; il peut ne pas être venu. Pour Google, le test en direct de l’inspection d’URL, dans Search Console, dit si son outil accède à la page.
Pour aller plus loin
Sources
- RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Choix du groupe et de la règle, traitement des codes 4xx et 5xx, cache, et la phrase « These rules are not a form of access authorization ». Ouverte le 19 novembre 2026.
- Google — How Google interprets the robots.txt specification Portée du fichier, champs pris en charge, cache de 24 heures, comportement sur 4xx et 5xx, ordre de priorité des règles (longueur du chemin de la règle, exemple `allow: /page` contre `disallow: /*.htm`). Ne vaut que pour les robots de Google. Rouverte le 20 novembre 2026.
- Google — List of Google’s common crawlers Googlebot, Google-Extended et leurs produits associés ; note sur la prise en charge prévue du signal AIPREF début 2027.
- Google Search Central Blog — Supporting a shared AI training control for websites 30 octobre 2026. « Websites that specifically allow Google-Extended are eligible to appear in responses and receive clicks via grounding in Gemini Apps. » Consultée le 20 novembre 2026.
- Google — Verify requests from Google crawlers and fetchers Vérification par DNS inverse et plages d’adresses publiées.
- Google — Robots meta tag, data-nosnippet, and X-Robots-Tag specifications Effet de nosnippet et de max-snippet sur les Aperçus IA et le Mode IA, éléments acceptant data-nosnippet, règle la plus restrictive.
- Google Search Central — AI features and your website Reprise de la bibliothèque du blog et rouverte le 19 novembre 2026. Conditions d’éligibilité, contrôles, mention du CDN et de l’hébergement.
- Google — Optimizing your website for generative AI features on Google Search Section « Mythbusting » : la recherche Google ignore les fichiers llms.txt. Conditions techniques : le site doit être inclus dans les fonctions génératives par le réglage de Search Console. Page datée du 10 juillet 2026, rouverte le 20 novembre 2026.
- Aide Search Console — Contrôle de l’IA générative dans la Recherche Réglage par propriété — inclure, exclure ou hériter —, étendu à tous les sites le 31 août 2026 selon la page ; fonctions concernées, délai, absence d’effet sur le classement ailleurs et sur l’entraînement. Version française rouverte le 20 novembre 2026.
- OpenAI — Overview of OpenAI Crawlers OAI-SearchBot, GPTBot, ChatGPT-User, OAI-AdsBot, chaînes d’agent utilisateur et fichiers d’adresses IP.
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? ClaudeBot, Claude-User, Claude-SearchBot, prise en charge de Crawl-delay, signal de préférence d’entraînement depuis le 30 octobre 2026.
- Perplexity — Perplexity Crawlers PerplexityBot, Perplexity-User, configuration des pare-feu Cloudflare et AWS.
- Bing Webmaster Blog — Announcing new options for webmasters to control usage of their content in Bing Chat 22 septembre 2023. Valeurs NOCACHE et NOARCHIVE.
- Bing Webmaster Tools — Bing Webmaster Guidelines Point 10 : NOARCHIVE empêche l’usage du contenu dans les réponses de Copilot et les résultats d’ancrage ; NOCACHE limite Copilot à l’URL, au titre et à l’extrait. Lue dans un navigateur le 20 novembre 2026.
- Cloudflare — AI Crawler and Agent access policies Comportements Search, Agent et Training, actions disponibles, valeurs par défaut des nouveaux domaines. Page datée du 2 novembre 2026.
- Cloudflare — robots.txt setting Règles ajoutées en tête du robots.txt et définition des trois catégories de Content Signals.
- Apache HTTP Server — Log Files Définition du format « combined », d’où vient la position du code de statut.