Demander un devis Devis

Pour écarter un robot : robots.txt ou pare-feu ?

Ce qui départage

robots.txt d’abord, pour un robot dont l’éditeur déclare le suivre ; le pare-feu pour ceux qui passent outre. robots.txt est une demande : la RFC 9309 précise que ses règles ne valent pas autorisation d’accès. Le pare-feu rejette la requête, quoi que dise le fichier, y compris, parfois, celle d’un robot que vous vouliez laisser passer.

Critèrerobots.txtPare-feu applicatif
Ce que c’est Un fichier de consignes que le robot lit avant d’explorer. Un filtre qui examine chaque requête avant qu’elle n’atteigne le serveur.
Qui applique la règle Le robot lui-même, si son éditeur s’y engage. Votre infrastructure : CDN, hébergeur ou serveur.
Sur quoi porte la règle Le jeton du robot et des chemins : User-agent: GPTBot, Disallow: /. L’agent utilisateur, l’adresse IP, la fréquence des requêtes.
Ce que reçoit le robot écarté Rien : il ne demande pas les pages interdites. Un 403, un 429 ou une page de défi.
Sa limite Sans effet sur un robot qui l’ignore ; certains agents déclenchés par un utilisateur ne le suivent pas. Peut bloquer à votre insu un robot que robots.txt autorise ; un agent utilisateur s’imite.
Où lire le résultat Dans le fichier réellement servi et dans les journaux du serveur. Dans les réglages et les journaux du fournisseur : la requête rejetée n’atteint pas le serveur.

Quand robots.txt suffit

Quand l’éditeur du robot déclare le suivre. OpenAI, Anthropic et Perplexity documentent chacun le jeton à écrire, et Anthropic écrit que ses robots respectent les consignes de robots.txt. Le fichier porte aussi un sens que le pare-feu n’a pas : interdire GPTBot, pour OpenAI, signifie que le contenu ne doit pas servir à l’entraînement. Un 403 ne déclare rien. Anthropic met d’ailleurs en garde contre le blocage par adresse IP, qui peut empêcher ses robots de lire robots.txt et ne garantit pas l’exclusion.

Quand il faut le pare-feu

Quand la demande ne suffit pas. La RFC 9309 l’écrit : les règles de robots.txt ne sont pas une forme d’autorisation d’accès. Un robot dont l’éditeur ne publie rien ne s’est engagé à rien. Les agents déclenchés par un utilisateur y échappent en partie : OpenAI écrit que les règles peuvent ne pas s’appliquer à ChatGPT-User, Perplexity que Perplexity-User les ignore généralement. Pour ceux-là, ou pour un robot qui surcharge le serveur, seul un filtre placé devant le site rejette la requête.

La règle se fonde sur l’agent utilisateur, qui s’imite, ou sur l’adresse IP. Pour autoriser un robot sans ouvrir la porte à ses imitateurs, Perplexity recommande d’associer les deux, à partir des plages d’adresses qu’il publie.

Quand les deux se contredisent

Le pare-feu décide avant que le robot ait lu quoi que ce soit. Un robots.txt permissif ne prouve donc rien : Google demande que l’exploration soit autorisée dans le fichier et par le CDN ou l’infrastructure d’hébergement. La documentation de Cloudflare, par exemple, décrit des politiques par comportement — Search, Agent, Training —, chacune pouvant bloquer.

Le contrôle porte sur les deux niveaux : lire le fichier réellement servi, avec curl -s https://www.example.com/robots.txt, puis rejouer une requête avec l’agent utilisateur du robot et regarder le code de réponse. Les requêtes rejetées par le pare-feu n’atteignent pas le serveur d’origine : elles se lisent dans les journaux du fournisseur.

Le sujet, traité en entier

Sources

  1. RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Les règles sont celles que les robots sont priés de respecter ; elles ne sont pas une forme d’autorisation d’accès. Reprise du lexique, relue le 20 novembre 2026.
  2. OpenAI — Overview of OpenAI Crawlers Sens d’un blocage de GPTBot ; règles pouvant ne pas s’appliquer à ChatGPT-User ; fichiers d’adresses IP. Reprise de la FAQ, relue le 20 novembre 2026.
  3. Perplexity — Perplexity Crawlers Perplexity-User ignore généralement robots.txt ; règles de pare-feu associant agent utilisateur et plages d’adresses. Reprise de la FAQ, relue le 20 novembre 2026.
  4. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Respect des consignes de robots.txt ; mise en garde sur le blocage par adresse IP. Reprise de la FAQ, relue le 20 novembre 2026.
  5. Cloudflare — AI Crawler and Agent access policies Politiques par comportement Search, Agent et Training ; la page rappelle que les consignes de robots.txt sont volontaires. Page datée du 2 novembre 2026. Reprise du lexique, relue le 20 novembre 2026.
  6. Google Search Central — AI features and your website Exploration à autoriser dans robots.txt et par le CDN ou l’infrastructure d’hébergement. Reprise de la FAQ, relue le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.