Demander un devis Devis

Quels robots d’IA visitent mon site, et pour quoi faire ?

Réponse courte

Trois familles de robots, que les éditeurs nomment séparément : ceux qui collectent des pages pour entraîner un modèle, ceux qui constituent un index de recherche, ceux qui vont chercher une page parce qu’un utilisateur vient de la demander. OpenAI, Anthropic et Perplexity publient un nom par usage ; Google explore avec Googlebot et règle l’entraînement par un simple jeton.

Les noms ci-dessous sont ceux que chaque éditeur publie dans sa documentation, relue le 20 novembre 2026. Ce sont eux qu’on retrouve dans les journaux du serveur et qu’on écrit après User-agent: dans robots.txt.

Les robots qui collectent pour l’entraînement

  • GPTBot (OpenAI) explore des contenus qui peuvent servir à entraîner les modèles de l’éditeur.
  • ClaudeBot (Anthropic) collecte des contenus susceptibles de contribuer à l’entraînement.
  • Perplexity ne déclare aucun robot de ce type : sa page précise que PerplexityBot ne collecte pas de contenus pour des modèles de fondation.
  • Google n’en a pas non plus. Google-Extended est un jeton de robots.txt sans agent utilisateur propre, donc absent des journaux : il dit si les pages déjà explorées par Google peuvent servir à entraîner les futurs modèles Gemini et à ancrer leurs réponses.

Les robots qui alimentent un index de recherche

  • OAI-SearchBot fait apparaître les sites dans la recherche de ChatGPT.
  • Claude-SearchBot indexe des contenus pour la recherche de Claude.
  • PerplexityBot fait apparaître et lie les sites dans les résultats de Perplexity.
  • Googlebot alimente la recherche Google, AI Overviews et AI Mode compris : il n’existe pas de robot séparé pour ces deux fonctions.
  • bingbot alimente l’index de Bing. Un billet de Microsoft de septembre 2023 présente cet index comme la matière des réponses de son assistant et ne mentionne aucun robot distinct.

Les robots qui agissent à la demande d’un utilisateur

ChatGPT-User, Claude-User et Perplexity-User ne parcourent pas le web d’eux-mêmes : ils récupèrent une page au moment où quelqu’un pose une question. Chaque passage correspond donc à une action d’utilisateur, pas à une exploration programmée. Leur rapport à robots.txt diffère : OpenAI écrit que ses règles « peuvent ne pas s’appliquer » à ChatGPT-User, Perplexity que Perplexity-User les « ignore généralement », Anthropic présente Claude-User comme un robot que le site peut désactiver.

À part : OAI-AdsBot ne visite que les pages soumises comme annonces dans ChatGPT.

Cet inventaire se limite aux éditeurs dont la documentation a été relue. D’autres noms apparaîtront dans vos journaux ; avant d’en tirer une règle, cherchez la page où l’éditeur décrit son robot. Un nom sans documentation publique ne dit rien de l’usage. Et un agent utilisateur s’imite : OpenAI et Perplexity publient les adresses IP de chaque robot, Google décrit une vérification par DNS inverse. Ce qu’il convient de bloquer ou de laisser passer relève d’une autre question : refuser l’entraînement sans disparaître.

Le sujet, traité en entier

Sources

  1. OpenAI — Overview of OpenAI Crawlers GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot et fichiers d’adresses IP. Ouverte le 20 novembre 2026.
  2. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? ClaudeBot, Claude-SearchBot, Claude-User. Ouverte le 20 novembre 2026.
  3. Perplexity — Perplexity Crawlers PerplexityBot, Perplexity-User et leur rapport à robots.txt. Ouverte le 20 novembre 2026.
  4. Google — List of Google’s common crawlers Googlebot et produits concernés ; Google-Extended, jeton sans agent utilisateur propre. Ouverte le 20 novembre 2026.
  5. Bing Webmaster Blog — Announcing new options for webmasters to control usage of their content in Bing Chat 22 septembre 2023. Reprise du manuel ; la documentation actuelle de Bing n’a pas été ouverte.
  6. Google — Verify requests from Google crawlers and fetchers Vérification par DNS inverse et plages d’adresses publiées. Ouverte le 20 novembre 2026.

Réponse revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.