Quelle différence entre bloquer dans robots.txt et poser une balise noindex ?
Réponse courte
robots.txt interdit à un robot de demander une page ; noindex lui interdit de la garder dans son index. Les deux ne se cumulent pas : une page bloquée dans robots.txt n’est pas lue, donc son noindex n’est jamais vu, et son adresse peut rester dans les résultats de Google, sans description.
Deux consignes qui n’agissent pas au même moment
robots.txt agit avant la requête. Une ligne Disallow: /recherche/ demande au robot de ne pas aller chercher les URL de ce dossier. Google le présente comme un moyen de gérer le trafic d’exploration, et précise que ce n’est pas un mécanisme pour tenir une page hors de ses résultats.
noindex agit après. La page est demandée, lue, puis écartée de l’index. Il se pose de deux façons : la balise <meta name='robots' content='noindex'> dans l’en-tête du document, ou l’en-tête HTTP X-Robots-Tag: noindex — la seule possible pour un PDF ou une image.
Le piège : bloquer une page qui porte un noindex
La documentation de Google est explicite : la balise robots et l’en-tête X-Robots-Tag ne sont découverts que lorsque l’URL est explorée. Si robots.txt interdit la page, la consigne d’indexation n’est pas trouvée, donc pas suivie. Et la page peut tout de même être indexée si d’autres pages y renvoient : son adresse apparaît alors dans les résultats, sans description. La Search Console range ce cas sous « Indexée malgré le blocage par le fichier robots.txt ».
Pour faire sortir une page de l’index, l’ordre est donc : retirer le Disallow, laisser le noindex, attendre que Google repasse. Les deux autres voies documentées sont la protection par mot de passe et la suppression de la page.
Lequel choisir
- La page ne doit pas apparaître dans les résultats — page de remerciement, résultats de recherche interne :
noindex, sur une page qui reste explorable. - Le robot ne doit pas y dépenser de requêtes — filtres, tris, paramètres sans fin :
Disallow. Sur un grand site, Google le recommande plutôt quenoindex, puisqu’il doit demander chaque page pour y lire la balise. - Le contenu est confidentiel : ni l’un ni l’autre.
robots.txtest un fichier public et son respect est volontaire ; il faut une authentification. - Un script ou une feuille de style : ne pas bloquer ce dont la page a besoin pour s’afficher, sans quoi Google l’analyse mal.
- Un robot d’IA : la règle par jeton dans
robots.txtest le contrôle que documentent OpenAI, Anthropic et Perplexity. Leurs pages ne disent rien du traitement denoindex.
Dernier usage à écarter : Google demande de ne pas se servir de robots.txt pour désigner la bonne version parmi des doublons. C’est le rôle de la balise canonique.
Le sujet, traité en entier
Sources
- Google — Introduction to robots.txt Rôle de robots.txt, URL bloquée affichée sans description, alternatives pour tenir une page hors des résultats. Ouverte le 20 novembre 2026.
- Google — Robots meta tag, data-nosnippet, and X-Robots-Tag specifications Syntaxe de noindex ; section sur la combinaison des règles d’exploration et d’indexation. Reprise du manuel.
- Google — Optimize your crawl budget Préférence pour robots.txt plutôt que noindex quand l’enjeu est l’exploration. Guide destiné aux grands sites. Reprise du manuel.
- Aide Search Console — Rapport sur l’indexation des pages Motifs « URL bloquée par le fichier robots.txt » et « Indexée malgré le blocage par le fichier robots.txt ». Ouverte le 20 novembre 2026.
- Google — How to specify a canonical URL with rel=“canonical” and other methods Ne pas utiliser robots.txt pour la canonicalisation. Reprise du manuel.
Réponse revue le