Pour retirer une page de Google : noindex ou robots.txt ?
Ce qui départage
noindex, sur une page que le robot peut lire. robots.txt interdit de demander la page, pas de l’afficher : une URL bloquée peut rester dans les résultats de Google, sans description. Le fichier sert à autre chose, épargner des requêtes au serveur. Et les deux ne se cumulent pas : un noindex posé sur une page bloquée n’est jamais lu.
| Critère | Noindex | robots.txt |
|---|---|---|
| Ce que c’est | Une règle d’indexation, posée page par page. | Un fichier de règles d’exploration, à la racine de l’hôte, qui vise des chemins. |
| Où ça s’écrit | <meta name='robots' content='noindex'> dans le head, ou l’en-tête HTTP X-Robots-Tag: noindex. | Disallow: /recherche/ sous une ligne User-agent, dans /robots.txt. |
| Quand la règle agit | Après la requête : la page est demandée, lue, puis écartée de l’index. | Avant la requête : le robot ne demande pas l’URL. |
| Ce que Google en fait | Retire la page de ses résultats, même si d’autres sites y renvoient. | N’explore pas la page, mais peut indexer son adresse si des liens y mènent ; le résultat s’affiche sans description. |
| Coût en exploration | Une requête par page : Google doit la demander pour lire la règle. | Aucune requête sur les chemins interdits. |
| Quand l’employer | La page ne doit pas apparaître dans les résultats. | Le robot ne doit pas dépenser de requêtes sur ces URL. |
Quand prendre noindex
Quand la page ne doit pas apparaître dans les résultats : page de remerciement, résultats de recherche interne, préproduction restée ouverte. Google écrit qu’une fois la règle lue, il retire entièrement la page de ses résultats, que d’autres sites y renvoient ou non. Deux conditions : la page reste explorable, et le robot doit repasser — pour une URL peu visitée, Google parle de mois, et l’inspection d’URL permet de demander ce passage. Un PDF ou une image n’ont pas de head : la règle passe alors par l’en-tête X-Robots-Tag: noindex.
Quand prendre robots.txt
Quand l’enjeu est l’exploration, pas l’affichage : filtres, tris, paramètres qui se combinent sans fin. Deux lignes suffisent, User-agent: * puis Disallow: /recherche/. Google présente le fichier comme un moyen de gérer le trafic d’exploration, et précise que ce n’est pas un mécanisme pour tenir une page hors de ses résultats. Dans son guide du budget d’exploration, écrit pour les grands sites, il le préfère à noindex pour cet usage : avec noindex, il demande quand même chaque page avant de l’écarter.
Pour les robots d’IA, c’est aussi le seul des deux que leurs éditeurs documentent : les pages d’OpenAI, d’Anthropic et de Perplexity décrivent des règles robots.txt par jeton, et ne disent rien de noindex.
Les deux sur un même site, jamais sur la même URL
La balise robots et l’en-tête X-Robots-Tag ne sont découverts que si l’URL est explorée. Bloquée dans robots.txt, la page n’est pas lue, son noindex n’est pas vu, et son adresse peut rester dans l’index : la Search Console range ce cas sous « Indexée malgré le blocage par le fichier robots.txt ». Pour faire sortir une page à la fois bloquée et indexée, l’ordre est donc : retirer le Disallow, laisser le noindex, attendre que Google repasse.
- Écrire
noindexdansrobots.txt: Google ne le prend pas en charge. - Contenu confidentiel : ni l’un ni l’autre. Le respect de
robots.txtdépend du robot, et le fichier se lit comme n’importe quelle page ; il faut une authentification. - Doublons : ni l’un ni l’autre non plus. Désigner la bonne version est le rôle de la balise canonical.
Le sujet, traité en entier
Sources
- Google Search Central — Block Search indexing with noindex Effet de noindex, condition d’exploration, délai de prise en compte, noindex dans robots.txt non pris en charge. Ouverte le 20 novembre 2026.
- Google — Introduction to robots.txt Rôle du fichier, URL bloquée affichée sans description, respect laissé au robot, alternatives pour tenir une page hors des résultats. Ouverte le 20 novembre 2026.
- Google — Robots meta tag, data-nosnippet, and X-Robots-Tag specifications Les règles d’indexation ne sont découvertes que si l’URL est explorée. Ouverte le 20 novembre 2026.
- Google — Optimize your crawl budget Préférence pour robots.txt plutôt que noindex quand l’enjeu est l’exploration. Guide destiné aux grands sites. Ouverte le 20 novembre 2026.
- Aide Search Console — Rapport sur l’indexation des pages Motif « Indexée malgré le blocage par le fichier robots.txt ». Version française, ouverte le 20 novembre 2026.
- OpenAI — Overview of OpenAI Crawlers Citée pour ce qu’elle ne dit pas : des règles robots.txt par jeton, aucune mention de noindex. Même constat, le même jour, sur les pages d’Anthropic et de Perplexity.
Page revue le